에포크를 날짜 및 시간으로 변환 - HADOOP

Question

Iam이 hadoop (mapreduce)을 배우려고합니다. 나는 파서를 만들기 위해 Date 클래스를 사용하는 mapper 메서드를 가지고있다; epoch_time; 필드는 데이터 집합의 밀리 초 단위로 표시됩니다. 데이터 세트는 25.05.2015에서 10.08.2015 사이의 기간으로 구성됩니다.

시간을 날짜/시간으로 변환하고 싶지만 05.06.2015에서 15.06.2015 사이의 날짜/시간 만 반환하고 싶습니다.

여기까지 내가 지금까지 성취 한 바가 있습니다. 원하는 출력을

2015년 5월 6일 5 // 카운트를

2015년 5월 25일

2015년 6월 25일

등

:

출력 : 아래의 코드는 다음을 생성 이 날짜에 단어 발생

06.06. 2015 53

2015년 7월 6일 41

등

매퍼

public class mapper extends Mapper<Object, Text, Text, IntWritable> { 
    private Text data = new Text(); 
    private IntWritable one = new IntWritable(1); 
    String time; 

     public void map(Object key, Text value, Context context) throws IOException,  InterruptedException { 

String[] userinput = value.toString().split(";"); 
try{  


     LocalDateTime epoch = LocalDateTime.ofEpochSecond(Long.parseLong(userinput[0])/1000, 0, ZoneOffset.UTC); 
     DateTimeFormatter f = DateTimeFormatter.ofPattern("dd.MM.yyyy"); 
     time = epoch.format(f); 




    data.set(time); 
    context.write(data,one); 
} 
catch(Exception e){ 
    System.out.println("Error: " + e); 
} 

    } 
} 

감속기는

 public class reducer extends Reducer<Text, IntWritable, Text, IntWritable> { 

private IntWritable one = new IntWritable(); 

public void reduce(Text key, Iterable<IntWritable> values, Context context) 

    throws IOException, InterruptedException { 

    int sum = 0; 

    for (IntWritable value : values) { 

     sum+=value.get(); 

    } 

    one.set(sum); 
    context.write(key, one); 

} 

}

Answer 1

그래서 당신은이 데이터를 괄호 쳐진 관심을 .. . 25.05.2015 [05.06.2015 ... 15.06.2015] 10.08.2015

필요한 경우 if 문과 같이 간단합니다.

내가 자바 8이 익숙하지 해요,하지만이 Java: how do I check if a Date is within a certain range?

public class mapper extends Mapper<Object, Text, Text, IntWritable> { 
    private Text data = new Text(); 
    private static final IntWritable ONE = new IntWritable(1); 
    private static final DateTimeFormatter FMT = DateTimeFormatter.ofPattern("dd.MM.yyyy"); 
    String time; 

    // Define the boundaries 
    private LocalDateTime start = LocalDateTime.parse("2015.06.05", FMT); 
    private LocalDateTime end = LocalDateTime.parse("2015.06.15", FMT); 

    @Override 
    public void map(Object key, Text value, Context context) throws IOException,  InterruptedException { 

     String[] userinput = value.toString().split(";"); 
     try { 
      Long ms = Long.parseLong(userinput[0])/1000;  
      LocalDateTime inputEpoch = LocalDateTime.ofEpochSecond(ms, 0, ZoneOffset.UTC); 

      // Filter your data 
      if (inputEpoch.isAfter(start) && inputEpoch.isBefore(end)) { 
       data.set(inputEpoch.format(FMT)); 
       context.write(data,ONE); 
      } 
     } catch (...) { } 
    } 
}