Hadoop의 Mapper 및 Reducer에서 하위 클래스를 제공하는 방법은 무엇입니까?

Question

슈퍼 (상위) 클래스에서 확장되는 하위 (하위) 클래스가 있습니다. Mapper의 입력 값에 일반적인 유형을 제공하여 다음과 같이 유효한 값으로 자식과 부모를 모두 제공 할 수있는 방법을 원합니다.

public static class MyMapper extends Mapper < ..., MyParentClass, ..., ...>

MyParentClass에서 확장되는 MyChildClass도 유효하게하고 싶습니다. 지도에서 값

유형 불일치 : 값이 나는 예외 얻고 자식 클래스의 경우 내가 프로그램을 실행하고 그러나

받았다 예상 MyParentClass을 MyChildClass

내가 어떻게 활성화 할 수 있습니다 자식 클래스와 부모 클래스 모두 유효한 매입/출력 입출력 값이어야합니다.

업데이트 :

package hipi.examples.dumphib; 

import hipi.image.FloatImage; 
import hipi.image.ImageHeader; 
import hipi.imagebundle.mapreduce.ImageBundleInputFormat; 
import hipi.util.ByteUtils; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.conf.Configured; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IntWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.Mapper; 
import org.apache.hadoop.mapreduce.Reducer; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 
import org.apache.hadoop.util.Tool; 
import org.apache.hadoop.util.ToolRunner; 

import java.io.IOException; 
import java.util.Iterator; 

public class DumpHib extends Configured implements Tool { 

    public static class DumpHibMapper extends Mapper<ImageHeader, FloatImage, IntWritable, Text> { 

    @Override 
    public void map(ImageHeader key, FloatImage value, Context context) throws IOException, InterruptedException { 

     int imageWidth = value.getWidth(); 
     int imageHeight = value.getHeight(); 

     String outputStr = null; 

     if (key == null) { 
    outputStr = "Failed to read image header."; 
     } else if (value == null) { 
    outputStr = "Failed to decode image data."; 
     } else { 
    String camera = key.getEXIFInformation("Model"); 
    String hexHash = ByteUtils.asHex(ByteUtils.FloatArraytoByteArray(value.getData())); 
    outputStr = imageWidth + "x" + imageHeight + "\t(" + hexHash + ")\t " + camera; 
     } 

     context.write(new IntWritable(1), new Text(outputStr)); 
    } 

    } 

    public static class DumpHibReducer extends Reducer<IntWritable, Text, IntWritable, Text> { 

    @Override 
    public void reduce(IntWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException { 
     for (Text value : values) { 
    context.write(key, value); 
     } 
    } 

    } 

    public int run(String[] args) throws Exception { 

    if (args.length < 2) { 
     System.out.println("Usage: dumphib <input HIB> <output directory>"); 
     System.exit(0); 
    } 

    Configuration conf = new Configuration(); 

    Job job = Job.getInstance(conf, "dumphib"); 

    job.setJarByClass(DumpHib.class); 
    job.setMapperClass(DumpHibMapper.class); 
    job.setReducerClass(DumpHibReducer.class); 

    job.setInputFormatClass(ImageBundleInputFormat.class); 
    job.setOutputKeyClass(IntWritable.class); 
    job.setOutputValueClass(Text.class); 

    String inputPath = args[0]; 
    String outputPath = args[1]; 

    removeDir(outputPath, conf); 

    FileInputFormat.setInputPaths(job, new Path(inputPath)); 
    FileOutputFormat.setOutputPath(job, new Path(outputPath)); 

    job.setNumReduceTasks(1); 

    return job.waitForCompletion(true) ? 0 : 1; 

    } 

    private static void removeDir(String path, Configuration conf) throws IOException { 
    Path output_path = new Path(path); 
    FileSystem fs = FileSystem.get(conf); 
    if (fs.exists(output_path)) { 
     fs.delete(output_path, true); 
    } 
    } 

    public static void main(String[] args) throws Exception { 
    int res = ToolRunner.run(new DumpHib(), args); 
    System.exit(res); 
    } 

} 

FloatImage는 수퍼 클래스이고 나는 그것에서 확장 ChildFloatImage 클래스가 있습니다. ChildFloatImage가 RecordReader에서 반환되면 이전 예외가 throw됩니다.

Answer 1

솔루션을, 나는 다음 모든 것을 위임하는 컨테이너/래퍼 클래스를 만드는 것입니다. FloatImageContainer 당신을이 경우 모두 FloatImage 및 ChildFloatImage에서

public static class MyMapper extends Mapper<..., FloatImageContainer, ..., ...> { 

에 캡슐화 할 수 있습니다

public class FloatImageContainer implements Writable, RawComparator<BinaryComparable> { 

    private FloatImage floatImage; 

    public FloatImage getFloatImage() { 
     return floatImage; 
    } 

    public void setFloatImage(FloatImage floatImage) { 
     this.floatImage = floatImage; 
    } 

    public FloatImageContainer() { 
     this.floatImage = new FloatImage(); 
    } 

    public FloatImageContainer(FloatImage floatImage) { 
     this.floatImage = floatImage; 
    } 

    @Override 
    public int compare(BinaryComparable o1, BinaryComparable o2) { 
     // TODO Auto-generated method stub 
     return floatImage.compare(o1, o2); 
    } 

    @Override 
    public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) { 
     // TODO Auto-generated method stub 
     return floatImage.compare(b1, s1, l1, b2, s2, l2); 
    } 

    @Override 
    public void write(DataOutput out) throws IOException { 
     // TODO Auto-generated method stub 
     floatImage.write(out); 
    } 

    @Override 
    public void readFields(DataInput in) throws IOException { 
     // TODO Auto-generated method stub 
     floatImage.readFields(in); 
    } 

} 

을 그리고 매퍼에서 다음 망하는 객체에 필요한 기능을 다음과 같이 Hadoop에서 부수적 인 문제를 제거하십시오. 직접 사용되는 클래스가 하나뿐이기 때문에 FloatImageContainer은 부모/자식이 아닙니다.

Answer 2

배경

그 이유 유형의 삭제는 자바에 대한 것이 불가능하게입니다 (런타임) 당신의 MyMapper 실제로 (Mapper에 제네릭 형식 매개 변수의 측면에서) 올바른 유형을 확장 있는지 확인합니다.

자바는 기본적으로 컴파일 :

List<String> list = new ArrayList<String>(); 
list.add("Hi"); 
String x = list.get(0); 

이 예를 들어 크레딧 here 갈

List list = new ArrayList(); 
list.add("Hi"); 
String x = (String) list.get(0); 

에. 런타임에 불가능 - 자바 A, B, C 및 D 특정의 Mapper<A, B, C, D> 을보고 싶어 어디

그래서 당신은 MyMapper를 입력합니다. 따라서 우리는 컴파일 타임에 그 체크를 강제해야합니다.

해결하는

당신은 모든 사용자 정의 서브 클래스가 다음을 수행 할 수

job.setMapperClass(DumpHibMapper.class); 

이

java.lang.Class#asSubclass를 사용하여이 대신 일을 :

job.setMapperClass(DumpHibMapper.class.asSubclass(Mapper.class));