Hadoop 0.21.0,이 주어진다면, 프레임 워크는 각 개별 맵에 상대적으로 열린 파일 디스크립터의 수를 고려하고 작업을 줄이는 데 어떤 가정을합니까? 특히, Hadoop이 작업 실행 중에 새로운 파일 설명자를 열거 나 디스크로 유출되는 하위 작업은 무엇입니까? Hadoop 0.21.0에서 열린 파일 디스크립터의 예상 사용량
(이것은 의도적으로,MultipleOutputs
의 사용을 무시로 시스템이 제공하는 보증과 그것을 매우 명확 나사.)
여기 내 근거는 간단하다 : 나는 하둡 보장을 위해 쓰기 각 작업을 확인하고 싶습니다 각 매퍼 또는 감속기에 필요한 한정된 수의 필수 파일 기술자. Hadoop은 이것을 프로그래머로부터 유쾌하게 추상화합니다. 보통 서버 관리 중에 다른 신발이 떨어지면 좋을 것입니다.
원래는 클러스터 관리 측면에서 asked this question on Server Fault이었습니다. 또한 프로그래밍에 대한 책임도 있기 때문에이 질문은 여기에 똑같이 적용됩니다. 이 문제에 통찰력을 제공
관련하여, Hadoop이 각 작업자에 대해 1024 개의 사용 가능한 파일 설명자를 모두 사용하는 것을 보는 것은 그리 즐겁지 않았습니다. 제한을 임시 수정으로 제기했지만 장기 프로그래밍 및 클러스터 관리 전략으로 위장한 것 같습니다. – MrGomez
그리고 누구든지 스택 추적을 요청하거나 게시하기 전에 : 코드를 통해 추적하여 수집 한 가정에 대한 프레임 워크의 보증을 선호합니다. – MrGomez