mapreduce

0열

2답변

각 reduce 작업의 출력 파일 이름을 파티션 번호로 지정하는 데 문제가 있습니다. 출력 파일의 이름을 그 파티션 번호로 어떻게 지정합니까? MultipleTextOutputFormat을 살펴 보았습니다. 각 키에 대해 선택한 이름으로 새 파일을 생성 할 수 있습니다. 하지만 각 파티션의 출력 파일 이름을 원하는대로, 즉 파티션 번호로 지정하고 싶습니다.

5열

4답변

2 차 정렬에 적합한 키 클래스는 무엇입니까?

하둡에서는 보조 정렬 메커니즘을 사용하여 값이 감소기에 전송되기 전에 정렬 할 수 있습니다. Hadoop에서이 작업을 수행하는 방법은 값을 추가하여 키에 정렬 한 다음 정렬 시스템에 연결하는 사용자 정의 그룹 및 키 비교 메소드를 보유하는 것입니다. 따라서 본질적으로 실제 키와 정렬 기준 값으로 구성된 키가 있어야합니다. 이 작업을 충분히 빠르게 수행하려면

10열

1답변

MongoDB MapReduce가 PHP에서 데이터를 반환하지 않습니다.

Mongo MapReduce를 사용하여 여러 문서에서 단어 수 계산을 수행하고 있습니다. 문서는 (그냥 ID와 단어의 해시) 매우 간단하다 : { "_id" : 6714078, "words" : { "my" : 1, "cat" : 1, "john" : 1, "likes" : 1, "cakes" : 1 } } { "_id" : 6715298, "words"

-1열

2답변

Hadoop - 항상 0 %로 멈추었 다.

Eclipse와 Hadoop 플랫폼에서 PageRank 알고리즘을 구현하려고하는데, 몇 가지 특이한 문제에 직면하고 있습니다. :) 나는 이것을 로컬로 시도했다. cygwin을 설치하고, Hadoop 0.19.2 (및 0.18.0)를 설정하고, 필요한 데몬을 시작하고 Eclipse 3.3.1을 설치했다. 나는 testinf .txt 파일을 업로드 한 후 단

7열

1답변

하둡가 : 예외

나는 창에서 하둡을 사용하고 파일을 찾을 수 없습니다와 나는 좋은 모든 것을 구성한 (Cygwin에서 암호없이 SSH를 설치하는 등) 나는 WC.jar의 단어 수 프로그램을 컴파일했습니다 실행하려고했습니다. 완벽하게 독립 실행 형 모드에서 실행 중입니다.하지만 완전 배포 모드에서는 다음과 같이 나타납니다. FileNotFoundException 로그를보고

1열

3답변

Elastic MapReduce로 파일 처리 - 감속기 단계가 필요하지 않습니까?

S3 디렉토리에 많은 수의 텍스트 파일이 있습니다. 각 텍스트 파일에 대해 함수 (부트 스트랩을 통해로드 된 실행 파일)를 적용한 다음 결과를 S3의 출력 디렉토리에 같은 이름의 다른 텍스트 파일에 쓰려고합니다. 따라서 MapReduce 작업에는 명백한 축소 단계가 없습니다. 내 감속기로 NONE을 사용했지만 출력 디렉토리에 part-00000, part-

0열

1답변

hadoop on vmware, namenode 찾지 못한 노예

나는 Vmware에 3 개의 동일한 linux (CentOS) 서버를 설치했다. 기본적으로 하나 만들어 완전히 2 클론했다. 각 서버 호스트 이름 server1, server2, server3을 편집하고 서로 다른 호스트에 추가했습니다. ssh 및 passwordless ssh 사용 가능. server1 # ssh server2 server2 # 이렇게 작

5열

2답변

두 개의 분리 된 문서에서 임베디드 배열로 JSON 객체를 구성하는 CouchDB보기

내 CouchDB 데이터베이스에 저장된 두 가지 유형의 문서가 있다고 가정 해 보겠습니다. 첫 번째 속성 유형은 으로 설정하고 두 번째 값은 입니다. 연락처 유형 문서에는 name이라는 또 다른 속성이 있습니다. 전화 유형은 특성 번호 number 및 contact_id를 가지므로 담당자에게 참조 할 수 있습니다. 이것은 하나의 연락처가 N 개의 전화 번호

3열

2답변

mapoduce에서의 거리 계산

hadoop map/reduce를 사용한 거리 계산 구현이 있습니까? 주어진 점 집합 사이의 거리를 계산하려고합니다. 모든 자원을 찾고 있습니다. 편집 이것은 매우 지능적인 솔루션입니다. 나는 첫 번째 알고리즘과 같은 것을 시도해 보았고, 내가 찾던 것을 거의 얻을 수 있었다. 나는 현재 프로그램을 최적화하는 것에 대해 관심이 없지만 dist (X, Y)

2열

1답변

왜 DistributedCache가 내 파일 이름을 mangle합니까?

이상한 문제가 있습니다. DistributedCache가 내 파일의 이름을 변경하는 것으로 보입니다. 원래 이름을 상위 폴더로 사용하고 하위 파일로 추가합니다. 즉 폴더 \ 여기서 filename.ext 될 폴더 \ 여기서 filename.ext \ 여기서 filename.ext 모든 아이디어, 내 코드는 다음과 같습니다. 감사 Akintayo String