0
Google Cloud Dataproc에서 맞춤 Apache Spark을 컴파일하고 빌드 할 수 있습니까? 우리가 Apace Spark를 조정하고 dataproc에 맞춤 스파크를 만들고 싶다고합시다.Dataproc에서 맞춤 스파크 빌드를 실행 중이십니까?
A
답변
1
가능해야합니다. Dataproc은 당신을 위해 일반 컴퓨팅 엔진 VM을 회전시키고 Hadoop과 YARN을 설정합니다.
모든 컴퓨터에 로그인하여 맞춤 스파크 빌드를 설치하고 Dataproc의 YARN 및 Hadoop 설치를 지정할 수 있습니다. 그러나 GCP 콘솔이나 dataproc 명령 줄 인터페이스를 사용하여 더 이상 수정하지 않고 직접 설치하여 작업을 제출하고 모니터 할 수 있을지는 의문입니다.
init 액션을 사용하여 모든 노드가 여러분의 spark 버전을 사용하고 있고 미리 설치된 스파크를로드하지 않으려 고합니다. Init 액션은 기본적으로 모든 노드에서 실행되는 임의의 스크립트입니다. https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/init-actions –