0
8 노드 Windows HDP 클러스터에서 실행하려고하는 hadoop 작업이 있습니다. 작업에는 137,000 개 이상의 입력이 있으며 약 3.5 시간 내에지도 작업의 84 %에서 92 % 사이를 처리합니다. 그런 다음 감속기가 0 %에서 다시 시작되고 맵 작업이 다시 실행됩니다. 직업은 끝나지 않습니다.hadoop 감속기에 입력 시간 제한이 있습니까?
제 질문은 감속기가지도 출력 또는 블록을 읽고 감속기가 다시 시작되는 원인이되는 dfs에서 시간 초과가 있습니까? 또는 감속기가 일종의 한계에 도달하면 원인을 결정하는 데 도움이되는 오류 메시지가 생성됩니까? 내 첫 번째 장애물은 기본 대기열이 100000 개의 작업 만 허용한다는 것이었지만 그 작업은 그와 같은 메시지로 오류가 발생했습니다.
내가 사용하고있는 hadoop의 버전은 Microsoft HDInsight에서 얻은 버전입니다. Windows 용 숨겨진 1.1.0 스냅 샷 인 것으로 보입니다 (Windows 용 Hortonworks 데이터 플랫폼 1.0.1 개발자 미리보기). 클라이언트 작업에 8000MB의 메모리를 할당하는 속성을 설정했습니다. jobtracker는 Windows 서비스에서 시작된 것으로 실행되기 때문에 VM이 실제로 시작된 메모리 양을 알 수 없습니다.
Hadoop의 버전은 무엇입니까? JobTracker에는 어느 정도의 메모리가 있습니까? –
그건 버그, 난 그냥 그것에 대한 jira 문제를 찾을 수 없습니다. –