mapreduce

0열

1답변

Hadoop (Fado) in Hadoop (Hadoop in Action exercise)

Hadoop의 실습 4 장에서는 시계열의 이동 평균을 계산하는 선형 필터를 구현하는 방법에 대해 설명합니다. 즉, N과 소정의 타임 스탬프의 시리즈 A (t), 계산 예, y(t) = a(t)*1/N + a(t-1)*1/N + ... + a(t-N)*1/N. I 문제 MapReduce의이 구현 봉착 값이다. 감속기는 y의 요소를 계산하는 데 필요한 N

0열

1답변

Google App Engine MapReduce은 얼마나 빠릅니까?

GAE MapReduce에서 얼마나 많은 연산 집약적 인 이득을 기대할 수 있습니까? 관심있는 시나리오는 계산 집약적 인 예입니다. 예를 들어 단일 스레드 단일 코어 응용 프로그램에서 1 조 개의 무작위 수레를 곱하면됩니다. 그런 다음 1000 명의 MapReduce 직원이 각각 10 억 개의 임의 숫자를 곱해서 모든 직원이 끝나면 "완료"한다고 알리는 것

5열

3답변

MongoDB MapReduce 호출 내에서 쿼리를 포함하려고 시도했습니다.

MapReduce API 호출에 쿼리를 통합하는 매우 기본적인 map-reduce 예제를 만들려고합니다. 다음과 같이 내 컬렉션 형식의 항목이 많이있다 : { "_id" : { "$binary" : "PdYV4WMTAEyYMQHXJZfzvA==", "$type" : "03" }, "firstname" : "Matthew", "surname

7열

1답변

Hadoop : 중간 병합 실패

이상한 문제가 있습니다. 내가 큰 데이터 세트를 통해 내 하둡 작업 (> 1TB 압축 된 텍스트 파일)의 감소 여러 작업을 다음과 같은 스택 추적에 실패 실행하면 : java.io.IOException: Task: attempt_201104061411_0002_r_000044_0 - The reduce copier failed at org.apac

2열

1답변

거의 실시간으로 클릭 스트림 데이터를 저장하고 내보내는 가장 좋은 방법은 무엇입니까

Google에서 많은 조회가 발생하는 웹 사이트가 있다고 가정 해 보겠습니다. 클릭 데이터를보고 및 모니터링 목적으로 사용할 수 있도록 일부 데이터베이스에 저장해야합니다. 클릭 데이터에는 사용자가 어디에서 왔는지, 몇시에 올지 등 사용자를이 사이트로 추천하는 사람과 같은 정보가 포함됩니다. 10 분 간격으로이 데이터를 저장하고 분석 할 수있는 방법이 있습니

1열

1답변

Hadoop 클러스터에서 mapreduce jar 실행

지도를 실행하려고하는데 Hadoop에서 2 차 체 알고리즘을 구현하려고합니다. 이 목적을 위해 Netbeans와 karmasphere Hadoop 커뮤니티 플러그인을 사용하고 있습니다. 프로그램은 플러그인을 사용하여 잘 작동합니다. 하지만 실제 클러스터에서 실행할 수 없습니다. 내가이 명령을 실행하고있어 MRIF.jar는 넷빈즈 프로젝트를 구축하고 689이

2열

2답변

쓰기 MongoDB를 맵리 듀스 결과

나는 컬렉션의 데이터는 다음과 같은 구조가 MongoDB를의 모음이 있습니다 {userid = 1 (the id of the user), key1 = value1 , key2 = value2, .... } 내가지도 기능에 사용자 ID를 넣을 수 MongoDB를 맵리 듀스 함수를 작성 할을 및 감소 기능에 내가 CSV 그들은 (키, 값) 쌍을 쓸 필요가있

16열

4답변

Hadoop gzip 압축 파일

나는 hadoop을 처음 사용하고 wikipedia 덤프를 처리하려고합니다. 6.7GB gzip 압축 xml 파일입니다. 나는 hadoop이 gzip 압축 파일을 지원하지만 오직 한 매퍼가 그것을 압축 해제 할 수 있기 때문에 한 번의 작업으로 매퍼에 의해서만 처리 될 수 있다는 것을 읽었다. 이것은 처리에 제한을 두는 것처럼 보입니다. 대안이 있습니까?

0열

1답변

Hadoop spiled records

hadoop에서 분할 된 레코드를 처리하는 방법에 대한 문서를 찾을 수 없습니다. 온라인에서 찾을 수있는 링크가 있습니까? 감사합니다.

8열

3답변

프로그래밍 방식으로 Hadoop Mapreduce 프로그램 출력 읽기

기본 질문 일 수 있지만 Google에서 답변을 찾을 수 없습니다. 출력 디렉토리에 여러 출력 파일을 만드는 map-reduce 작업이 있습니다. Java 응용 프로그램이 원격 hadoop 클러스터에서이 작업을 실행하고 작업이 완료된 후 org.apache.hadoop.fs.FileSystem API를 사용하여 프로그래밍 방식으로 출력을 읽어야합니다. 가능