프로그래밍 방식으로 전체 맵핑 및 감소 시간 가져 오기

Question

내 MR 코드의 모든 작업에 의한 매핑, 셔플 링 및 축소의 개별 총 시간을 계산하려고합니다.

각 MapReduce 작업에 대한 정보 검색에 도움이 필요합니다.

계산을 수행하는 코드 스 니펫을 게시 할 수 있습니까?

Answer 1

아래와 같이 JobClient API를 사용해야합니다. 그러나 API에는 몇 가지 단점이 있습니다. 나가 당신을 도울 것이라는 점을 알려주십시오 그것을 시도하십시오.

JobClient client = null; 

     Configuration configuration = new Configuration(); 

     configuration.set("mapred.job.tracker", jobTrackerURL); 
     client = new JobClient(new JobConf(configuration)); 

     while (true) { 


      List<JobStatus> jobEntries = getTrackerEntries(jobName, 
         client); 


        for (JobStatus jobStatus : jobEntries) { 


         JobID jobId = jobStatus.getJobID(); 
         String trackerJobName = client.getJob(jobId) 
           .getJobName(); 
         TaskReport[] mapReports = client 
           .getMapTaskReports(jobId); 
         TaskReport[] reduceReports = client 
           .getReduceTaskReports(jobId); 
         client.getJob(jobId).getJobStatus().getStartTime(); 


         int jobMapper = mapReports.length; 
         mapNumber = +jobMapper; 
         int jobReducers = reduceReports.length; 
         reduceNumber = +jobReducers; 


        } 
       }