팀, 현재 spring-xd에서 데이터 분석 및 원사 작업의 런타임 컨테이너로 사용하고 있습니다.스프링 클라우드 데이터 흐름 - 마이크로 서비스 배포
내 질문
1) 나는 봄-XD에 사용되는 것과 동일한 환경 설정을 활용할 수 있습니까?
2) 문서에서 마이크로 서비스로 배포 할 수 있으며 스트림 처리에 내장 된 드라이버를 사용하고 있습니까? 임베디드 드라이버를 사용하는 경우 spring-xd와 동일한 인프라 스트럭처를 사용하여 클러스터 된 환경에 배포 할 수 있습니까?
3) Apache Spark 용으로 작성된 특정 래퍼가 있습니까?
내 환경 : 3.2 레디 스 스파크 1.6.1, 하둡 2.7.2, 사육사 3.6.8, 봄-XD-1.3.1
이 특정 쿼리에 어떤 도움은 매우 극명하게 될 것이다.
spring-xd와 동일한 환경 설정을 활용할 수 있습니까?
봄 클라우드 데이터 흐름 (SCDF는) spring-cloud-deployer SPI에 의존하고 클라우드 파운드리, 아파치 원사, 아파치 메소와는 Kubernetes에 대한 구현이 있습니다. 이미 YARN을 사용하는 Hadoop 클러스터를 사용하고 있다면 SCDF 서버의 YARN implementation을 제공 할 수 있습니다.
스트림 처리에 임베디드 드라이버를 사용하고 있습니까?
이 의미가 명확하지 않습니다. jdbc-drivers를 언급하는 경우; 특히 jdbc을 싱크 응용 프로그램으로 사용할 때 OSS 친화적 인 드라이버를 포함합니다.
임베디드 드라이버를 사용하는 경우 동일한 인프라를 spring-xd에 사용하는 클러스터 된 환경에서 배포 할 수 있습니까?
아마 # 1에 대한 대답이이 문제를 다루고 있습니다. 동일한 인프라를 활용하고 Ambari plugin을 사용하여 YARN SCDF 서버를 제공 할 수 있습니다.
Apache Spark 용으로 작성된 특정 래퍼가 있습니까?
우리는 client 및 cluster 응용 프로그램으로 스파크가 있습니다. 당신은 register을 SCDF에 넣어 작업/배치 파이프 라인을 만들 수 있습니다.
귀하의 설득력있는 답변에 감사드립니다. 나는 임베디드 드라이버를 spark-driver로 설정하고 Spring-boot와 함께 실행 컨테이너에 배포 할 수 있도록했다. 이 옵션이 실현 가능한지를 확인하고 훌륭한 참고 자료를 보내 주시면 감사하겠습니다. –
YARN에서 작은 Spark 테스트 앱을 실행하기위한 지침을 만들었습니다. - https://gist.github.com/trisberg/79d50dc46c11c0fb7020c8ccc72d1234#running-a-spark-application-on-yarn-using-spring-cloud-data-flow를 참조하십시오. Google은 GA 출시 전에 문서를 개선하기 위해 노력할 것입니다. –
@ 토마스, 샘플을 보니 정말 도움이되었습니다. 또한 Java에서 몇 가지 예를 더 게시 할 수 있습니까? –