Hadoop Streaming 용 Hadoop Job 객체 빌드하기

Question

Java에서 Hadoop Streaming 작업을 구성하고 실행하려고합니다 (작업중인 시스템이 Hadoop 작업을 Java 메소드로 호출 할 수 있기를 원합니다).

나는 org.apache.hadoop.streaming.StreamJob (http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/streaming/StreamJob.html#createJob(java.lang.String[]))에서 createJob 방법을 발견했지만,이 메소드는 추천 된 JobConf 객체를 반환합니다. 스트리밍을 위해 Job 개체를 만들거나 JobConf을 Job으로 변환 할 수있는 방법이 있습니까?

Answer 1

이 새로운 API를 지원하는 스트리밍 코드를 포팅에 대한 몇 JIRA 티켓이 있지만, 내 지식 아직 https://issues.apache.org/jira/browse/MAPREDUCE-3619

https://issues.apache.org/jira/browse/MAPREDUCE-1122

사용할 수 일반적으로 만들 수있다 JobConf를 사용하여 이전 API 작업을 제출하는 방법은 더 이상 사용되지 않지만 Hadoop의 최신 1.0.3 릴리스에서 계속 지원됩니다.