reducers

9열

3답변

이 예에서 감소 기 (reducers)를 사용하여 속도가 현저히 빨라지는 이유는 무엇입니까?

(require '[clojure.core.reducers :as r]) (def data (into [] (take 10000000 (repeatedly #(rand-int 1000))))) (defn frequencies [coll] (reduce (fn [counts x] (merge-with + counts {x 1}))

0열

5답변

주어진 입력을 파일에서 분리하는 방법은 무엇입니까?

텍스트 파일에서 정수 입력을 전달하기위한 Java 코드를 작성했습니다. 1 10 39 59 20 60 38 그리고 빈 공간이있을 때 문자열을 분할해야합니다. 입력이 input.txt 내 코드를 한 줄에 주어진 것은 : 나는 다른 작업을 위해 분리 된 값을 사용하여 행을 분할 한 후 public void reduce(Text key, Iterator<IntW

3열

1답변

clojure.core.reducers를 사용하여 "파티션"기능을 구현할 수 있습니까?

I 가지고 다음 함수 : (defn map-pairs [f coll] (map f (partition 2 1 coll))) 그것이 clojure.core.reducers를 이용하여 중간체 2 요소 컬렉션 만들기 회피 할 수있다?

0열

1답변

각 하위 노드에서 감속기 실행

하나의 이론적 질문을 지정하고 싶습니다 (몇 가지 이유가 있습니다). 실행 명령의 감속기 수가 설정되지 않은 경우 각 종속 노드에서 하나의 감속기가 실행됩니까?

0열

1답변

JobTRacker는 실제 데이터 전송 전에 셔플 단계에서 각 reduce 작업으로 전송되는 데이터의 양을 알 수 있습니까?

Hadoop에서 실제 데이터 이동 전에 ReduceTask가 검색해야하는 데이터 양을 JobTracker가 알 수 있습니까? 나는 셔플 링 단계에서 데이터 이동에 관한 통계를 수집하려고합니다.

6열

2답변

MRUnit을 사용하여 여러 출력 테스트

MRUnit을 사용하여 reduce 클래스를 테스트하는 방법은 MultipleOutputFormat을 사용하여 여러 출력 파일에 쓸 수 있습니까?

1열

2답변

Mapreduce job : 감속기가없는 결합기

감속기의 개수를 0으로 설정하면 결합기가 작동하지 않는 것으로 나타났습니다. 감속기가없는 결합기를 사용할 수 있습니까? 감사.

0열

1답변

MapReduce에서 X 레코드를 처리 한 후 감속기를 멈추는 방법

Mapper를 사용하여 많은 양의 데이터를로드합니다. 실행 시간과 큰 쿼리가 관련되어 있습니다. 가장 비싼 1000 개의 쿼리를 찾아야합니다. , 그래서 내 매퍼의 출력에 키로 실행 시간을 입력합니다. 나는 1 감속기를 사용하고 기록 만 작성하고 감속기는 처리를 중지하기를 원합니다. I 글로벌 카운터가 있고이 경우 작업을 수행 할 수 있습니다 { conte

-1열

1답변

하둡 출력 파일을 인식 할 수없는 문자가

나는 그것이 어떻게 일어 났는지 모르겠지만, 갑자기 내 hadoop reducer에서 내 출력 파일은 내가에 넣어 결코 문자의 무리를 포함하는 처음 몇 줄은 같은 있습니다. SEQ^F!org.apache.hadoop.io.LongWritable^Yorg.apache.hadoop.io.Text^@^@^@^@^@^@ <99><F1>a^O)(|7me<EB><C

0열

1답변

어 그리 게이터 기능이있는 하둡 결합 자

리듀서 대신 집계 기능을 사용하는 경우 Hadoop이 결합 자 단계와 동일한 기능을 사용할만큼 충분히 똑똑합니까?