축소가 16 %에서 멈추는 이유는 무엇입니까?

맵 축소 작업이 있는데 비교적 작은 데이터 세트로 실행하려고합니다. 계속 줄이기 작업이 16 %를 고수하는 문제가 계속 발생합니다. 내 작업 추적 로그를 읽었습니다 :축소가 16 %에서 멈추는 이유는 무엇입니까?

2012-03-21 17:09:23,829 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:09:26,865 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:09:32,902 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:09:38,938 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:09:41,973 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:09:48,010 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:09:51,045 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:09:57,086 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:03,120 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:06,154 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:12,198 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:18,234 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:21,271 INFO org.apache.hadoop.mapred.TaskTracker:> attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:27,310 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:33,342 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:36,374 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:42,403 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:48,435 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:51,462 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:10:57,495 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:11:03,523 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:11:06,545 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:11:12,578 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s) 
2012-03-21 17:11:18,607 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.16 MB/s)

출처

2012-03-21 rsman

매우 느리게 데이터를 복사하는 것처럼 보입니다. –

FileSystem 개체를 열었고 파일이 액세스 된 매퍼에서 닫히지 않았습니다. map() 정의의 끝에 fs.close()를 추가하면 문제가 해결되었습니다.

출처

2012-03-22 02:42:04 rsman

질문에 대한 답변을 게시 해 주셔서 감사합니다. 문제의 실제 궤도를 추적하는 데 도움을주었습니다. –

축소가 16 %에서 멈추는 이유는 무엇입니까?

답변

관련 문제