2016-10-14 7 views
1

를 설치하는 데 실패 :통해 Dataproc 내가 구글 클라우드 통해 Dataproc에 명령 아래에 노력하고 oozie 패키지

apt-get install oozie-client 

을하지만 Dataproc에서이 저장소에 oozie 패키지를 나열 실패합니다.

오류 :

[email protected]<master>:#> apt-get install oozie-client 
Reading package lists... Done 
Building dependency tree 
Reading state information... Done 
E: Unable to locate package oozie-client 

중 하나가이 문제를 해결하는 방법을 알고 있나요?

+0

정말 귀하의 질문에 대답,하지만 당신은 oozie의 통조림 초기화 조치를 시도 : https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/ blob/master/oozie/oozie.sh – tix

+0

나는 초기화 된 초기화 작업을 시도했다. 같은 문제, 그리고 apt - get oozie 설치 같은 문제가 있습니다. – RanP

+0

예, 내부적으로 실행하는 동안 동일한 패키지를 찾는 초기화 된 초기화 스크립트와 동일한 문제가 발생합니다. – Revan

답변

1

대답은 아마도 입니다.입니다.

oozie-client는 현재 하이브 2 및 스파크 2에 대해 컴파일되지 않습니다. Cloud Dataproc의 Newer versions은 Spark 2 및 Hive so로 작성됩니다. 그러므로,이 시점에서, oozie-client는 다소 지저분하기 때문에 빌드에서 제외됩니다.

은 돼지와 MapReduce에서 작동합니다. 따라서 사용 사례에 따라 다릅니다. Pig/MR 또는 Hive/or/Spark에서 사용할 계획입니까?

Apache Airflow은 Cloud Dataproc에서 점점 더 많이 사용되어 잘 작동하는 것 같습니다. 물론, Airflow가 클러스터 자체와 별개로 설치가 오래 걸릴 수도 있고 잠복기 프로젝트 인 경우도 있습니다.

(출처 - 내가 클라우드 Dataproc에서 PM입니다)