0
EMR 템플릿을 사용하여 AWS DataPipeline을 만들었지 만 EMR 클러스터에 스파크를 설치하지 않았습니다. 이를 위해 특별한 조치를 취해야합니까? 일부 bootstrapaction은 스파크 설치가 필요하지만 작동하지 않습니다.스파크가있는 AWS DataPipeline EMR 클러스터
A
답변
0
install-spark 부트 스트랩 작업은 3.x AMI 버전에만 해당됩니다. releaseLabel (emr-4.x 이상)을 사용하는 경우 설치할 응용 프로그램이 다른 방식으로 지정됩니다.
파이프 라인을 만들 때 하단의 "편집자에서 편집"을 클릭하거나 파이프 라인 홈 페이지에서 파이프 라인을 편집 한 다음 EmrCluster 노드를 클릭하고 "옵션 필드 추가"에서 응용 프로그램을 선택할 수 있습니다. ." 쓰러지 다. Spark를 추가 할 수 있습니다.