Hadoop 작업에서 복잡한 쓰기 가능한 값을 저장하고 읽음

Question

첫 번째지도 축소 작업의 출력에서 ​​다른지도 축소 작업의 입력으로 복잡한 값 (쓰기 가능 구현)을 이동해야합니다. 첫 번째 작업의 결과가 파일에 저장되었습니다. 파일은 텍스트 데이터 또는 BytesWritable (기본 출력 \ 입력 형식)을 저장할 수 있습니다. 그래서 Writable을 Text 나 ​​To BytesWritable로 변환하는 간단한 방법이 필요합니다. 그것이 존재합니까? 이 작업을 수행 할 수있는 다른 방법은 없습니까? 감사합니다.

Answer 1

사용자가 정확합니다. SequenceFileOutputFormat을 사용하십시오. SequenceFile은 Text Writable로 변환하지 않고이 정확한 문제를 해결합니다. 작업을 설정할 때 사용중인 쓰기 가능한 하위 클래스를 설정하는 job.setOutputKeyClass 및 job.setOutputValueClass를 사용

job.setOutputKeyClass(MyWritable1.class); 
job.setOutputValueClass(MyWritable2.class); 
job.setOutputFormatClass(SequenceFileOutputFormat.class); 

이 당신의 Writables를 저장하기 위해 하둡 SequenceFile 형식을 사용합니다. 원래 이전 작업의 출력으로 지정된 두 개의 쓰기 가능 클래스가 될 것입니다이 작업의 매퍼에 대한

job.setInputFormatClass(SequenceFileInputFormat.class); 

그런 다음 입력 키와 값 : 그런 다음 작업에서, SequenceFileInputFormat를 사용합니다.

복잡한 Writable 하위 클래스가 올바르게 구현되는 것이 중요합니다. 빈 생성자가 있어야한다는 것 외에도 클래스의 Writable 필드가 정보를 쓰고 읽도록 write 및 readFields 메서드를 구현해야합니다.