2017-05-15 10 views
1

업데이트 된 정보가 많아서이 질문을 다시 작성하려고합니다.Amazon EMR - Yum Update Boostrap 작업이 슬레이브에서 실패 함

내가 1 개 마스터 노드와 1 개 슬레이브 노드와의 EMR 클러스터를 다음과 같이

내 문제입니다. 슬레이브 노드는 열려있는 인터넷에 자유롭게 액세스 할 수 있도록 구성됩니다 (보안 위험이라는 것을 알고 있습니다).

언제 설치 단순히 부트 스트랩 동작이 SSH 경우, 슬레이브 노드로,

그러나 (항상 마스터에 성공) 슬레이브 노드에서 실패했다는 말을, 실패, sudo yum -y update를 호출하는 부트 스트랩 동작이 클러스터 수동으로 sudo yum -y update을 실행하면 5.5.0 EMR 패키지에서 작업이 성공합니다.

올바르게 구성 했음에도 불구하고 EMR이 모든 로그를 S3에 복사하지 않았기 때문에 (로그 복사가 산발적으로 발생 함) CloudWatch가 모든 데이터를 선택하지 않았기 때문에 더 이상 디버깅 할 수 없습니다. VPC에서 로그를 남기므로이 문제를 디버깅하는 것이 아주 어둡습니다.

모든 정보를 제공해 주시면 감사하겠습니다.

편집 : 내 CloudWatch VPC 로그가 작동 할 수있었습니다. (분명히 IAM에 로그 업로드에 대한 트러스트 관계가 없었습니다.) 마스터 노드가 표시되지 않는 것처럼 보이지만 많은 REJECT를 표시합니다. 모든 REJECT. 어떤 일이 자동 설정되고 yum 패키지를 적절하게 다운로드하지 못하게하는 것으로 생각합니까?

답변

0

모호한 질문을하고 스스로 해결할 수있는 전통에서, 저의 저감을 말하게하겠습니다.

이 메시지는 으로 밝혀졌습니다. 이것은 EMR-5.5.0 릴리스 레이블에서 문제가되는 것입니다. EMR-5.3.0으로 다운 그레이드하면 스크립트 문제가 해결되어 스크립트가 예상대로 정상적으로 실행됩니다.

잠재적으로 스크립트가 실행되는 시간/방법이 5.5.0에서 변경된 것 같습니다.