reducers

10열

2답변

MapReduce 프레임 워크에서 매퍼가 생성 한 각 키에 대해 하나의 감속기가 사용됩니다. 그래서 Hadoop MapReduce에서 리 듀서의 개수를 지정하는 것은 프로그램에 의존하기 때문에 아무런 의미가 없다고 생각할 수 있습니다. 그러나 Hadoop에서는 사용할 감소 자의 수를 지정할 수 있습니다 (-D mapred.reduce.tasks = 감소 자

2열

3답변

Amazon EMR 애플리케이션의 이환기 수 설정

Amazon EMR에서 wordcount 예제를 실행하려고합니다. -1- 첫째, 나는 다음과 같은 명령을 사용하여 클러스터를 만들 : ./elastic-mapreduce --create --name "MYTEST"--alive 이 하나가있는 클러스터를 생성 인스턴스와에서는 jobID 반환,이 가 이 -2- 둘째, 나는 다음과 같은 명령을 사용하여 작업을 시

1열

1답변

Hadoop Basics : 맵퍼 작업 수를 줄이면 작업 감속기가 줄어 듭니다

매퍼와 맵 작업의 차이점은 무엇입니까? 마찬가지로 감속기 및 감속 작업이 필요합니까? 또한지도 작성 작업을 실행하는 동안 매퍼, maptasks, reducers, reducetasks 수를 결정하는 방법은 무엇입니까? 그들 사이에 상호 관계를 둡니다.

1열

1답변

Hadoop Reducers : 감속기가 여러 노드에서 균등하게 실행되도록하는 방법

위치를 줄여 프로세서를 줄이는 것이 확실하지 않은 경우가 있습니다.는 내가) 내가 입력 텍스트 파일을 가지고, 그것은 균형 잡힌 범위에서 정수의 1000 년대를 가지고 1 ~ 4 II) 우리가 4 노드 클러스터는 12 개 슬롯 각 노드에,이 가정하자 이는 4 감속기로 할당 - 우리에게 총 16 개를 제공 줄일 슬롯은 내가 드라이버에서 감속기의 수를 설정 I

1열

2답변

Hadoop - 감속기 번호를 0으로 설정했지만 같은 파일에 씁니까?

내 일은 계산이 집중적이므로 실제로는 하둡 배포 기능 만 사용하고 모든 출력을 1 개의 단일 파일로 만들어서 감속기의 수를 1로 설정합니다. 내 감속기는 실제로 아무 것도하지 않습니다. 명시 적으로 감속기의 수를 0으로 설정하면 매퍼에서 모든 출력이 동일한 1 출력 파일에 기록되도록 강제로 제어 할 수 있습니까? 감사.

0열

2답변

지도 작업 수 설정

지도 축소 작업을 구성하는 동안 job.setNumReduceTasks(2); 메서드를 사용하여 축소 작업 수를 설정할 수 있다는 것을 알고 있습니다. 맵 작업 수를 설정할 수 있습니까? 이 작업을 수행 할 방법이 없습니다. 이러한 기능이없는 경우이 프레임 워크가 작업을 1 개 이상 줄일 수 있지만지도 작업을 두 개 이상 가질 수없는 이유를 아는 사람이 있

1열

2답변

Hadoop Mappers는 로컬에서만 실행됩니까?

파일의 전체 블록이 하나의 시스템에 있고 기본 복제 인수가 1 인 상황이 있습니다. 이 시나리오에서 클러스터에 hadoop을 시작하면 모든 매핑 작업이 그 기계에만 블록이 존재하기 때문에 하나의 기계. 맞아? 로컬 매퍼 작업 실행이 제한 사항입니까 아니면 우선 순위입니까? 그렇다면 블록을 로컬 디스크에 복사하여 다른 컴퓨터에서 매퍼 작업을 실행할 수 있도록

4열

1답변

Hadoop의 이상적인 리듀서 수는 무엇입니까?

0.95 또는 1.75 * (노드 * mapred.tasktracker.tasks.maximum) 하지만 때 0.95 때 1.75를 선택하는 것입니다 이경 이상적인 수를 계산하기 위해 하둡 위키에 의해 주어진? 이 승수를 결정할 때 고려해야 할 요인은 무엇입니까?

0열

1답변

mrjob 매퍼 감속기를 사용하여 파이썬에서 반복을 작성할 수 있습니까? 카운터는 루프에서 계산의 일부입니까?

매퍼 (mapper)와 감속기 (reducer)를 반복하는 프로그램이 있습니다. n 번 연속합니다. 그러나 각 반복에 대해 각 키 - 값 쌍의 매퍼는 n에 종속 된 값을 계산합니다. from mrjob.job import mrjob class MRWord(mrjob): def mapper_init_def(self): self.co

1열

1답변

hadoop의 전체 주문 파티셔더

저는 totalorderpartitioner의 개념에 완전히 익숙하지 않습니다.이 개념을 적용했지만 글로벌 정렬을 생성하지 못했습니다. 이이 내 매퍼 public void map(LongWritable key, Text value, OutputCollector<NullWritable, Text> outputCollector, Reporter r