1
Hadoop Streaming 1.0.3에서 -mapper의 인수로 org.apache.hadoop.mapred.lib.IdentityMapper를 사용하는 데 문제가있었습니다. "cat"은 효과가있다. cat을 사용하면 성능에 영향을 미칩니 까? 특히 Elastic MapReduce에서 그렇습니까?-mapper -apper org.apache.hadoop.mapred.lib.IdentityMapper 대신 -mapper cat을 사용하면 Hadoop Streaming의 성능이 저하됩니까?
성능면에서 큰 차이가 없다고 생각합니다.'cat' 명령은 java 구현이 일반적인 경우 * nix 슬레이브의 클러스터에 의존합니다. – morsik
모든 작업 (맵, 축소)이 tasktrackers (또는 yarn in container)에서 실행 중입니다. * nix 서버에서만 cat 명령을 사용할 수 있다는 것을 의미했습니다. 질문을 명확히하기 위해 코드를 게시하십시오. 어떻게 당신을 Job으로 실행합니까? – morsik