mapreduce

3열

3답변

Hadoop/MapReduce 구현의 PHP와 다른 언어 및 일반적으로 Cloud에서

저는 약간의 Java와 Python을 사용하여 대부분 PHP 배경에서 오는 Hadoop/MapReduce를 배우기 시작했습니다. 하지만 Java, Ruby, C++ 또는 Python에서 MapReduce를 구현 한 것처럼 보입니다. 저는 PHP에서 Hadoop/MapReduce가있는 것처럼 보였습니다.하지만 압도적 인 문학 작품은이 4 가지 언어에 전념하는

5열

4답변

제로 기어를 사용할 때 Hadoop에서 무작위로 정렬 된 매퍼 출력을 얻을 수 있습니까?

나는 한 번에 하나씩 큰 파일을 조작해야하는 Hadoop 0.20에서 일하고있다. (파일 기반 데이터를 MapReduce에 더 적합한 더 깨끗한 라인 기반 형식으로 가져 오는 전처리 단계입니다.) 내가 가진 출력 파일의 수는 무제하지만 각지도의 출력은 다음과 같을 수 있습니다. 최대 하나의 출력 파일 및 각 출력 파일을 정렬해야합니다. numReducers

6열

1답변

Mapreduce for Java Appengine을 사용하여 순 사용자 수를 계산합니다.

Java App Engine 앱에서 하루에 고유 사용자 수를 계산하려고합니다. 나는이 계산을 오프라인으로하기 위해 java appengine에 mapreduce 프레임 워크 (mapreduce.appspot.com)를 사용하기로 결정했다. 나는 단일 사용자 세션 이벤트를 나타내는 모든 엔티티를 거치는 맵 축소 작업을 생성 할 수있었습니다. 간단한 카운터도

3열

3답변

여러 개의 Hadoop MapReduce 작업을 하나로 결합하는 방법은 무엇입니까?

많은 양의 입력 데이터가 있는데 (하둡을 사용하는 이유입니다) 첫 번째 매퍼에 모든 데이터가 입력되어야하는 다양한 MapReduce 단계로 해결할 수있는 여러 가지 작업이 있습니다. 내 목표 : 가능한 한 빨리 다른 작업을 계산하십시오. 현재 모든 데이터에서 각각의 판독 값을 순차적으로 실행하게합니다. 필자는 작업을 결합하고 유사한 부품을 실행할 때 (매퍼

1열

1답변

시퀀스 파일 이름이 Hadoop 출력의 키로 사용됩니까?

내가 효율성을 개선하기 위해이 예 http://dumbotics.com/2009/05/17/tf-idf-revisited/ 를 사용하여 작은 텍스트 파일들을위한 TF-IDF을 계산하는 덤보/하둡을 사용하려고 해요 , 나는 스튜어트를 사용하여 시퀀스 파일에 텍스트 파일을 포장했습니다 시에라의 도구 - http://stuartsierra.com/2008/04/

2열

1답변

Parititioned Data Map/Reduce

파티셔닝 데이터 세트에 대한 커스텀 파티셔너를 작성했습니다. 같은 파티션을 사용하여 두 개의 데이터 세트를 분할하고 다음 mapreduce 작업에서 각 맵퍼가 두 소스의 동일한 파티션을 처리하고 결합 등의 일부 기능을 수행하기를 원합니다. 한 맵퍼가 두 소스에서 같은 파티션에 해당하는 분할? 도움을 주시면 감사하겠습니다.

0열

2답변

각지도 작업의 ID를 찾는 방법은 무엇입니까?

매퍼 및 감속기 ID에 따라 이러한 매퍼 및 리듀서의 출력에 태그를 지정하기 때문에 각 매퍼 및 감속기 작업의 ID를 얻고 싶습니다. 어떻게 각각의 ID를 검색 할 수 있습니까? 감사

2열

2답변

Hadoop 애플리케이션의 확장 성을 최적화하는 도구는 무엇입니까?

저는 많은 입력 (로그 파일)을 필요로하고 몇 가지 (현재 4, 향후 10 개)의 map-reduce 단계 (Hadoop &) 후에 유용한 출력을 생성하는 작은 응용 프로그램에서 팀원과 함께 작업하고 있습니다. 자바). 이제이 앱의 부분 POC를 수행하고 4 개의 이전 데스크톱 (Hadoop 테스트 클러스터)에서 실행했습니다. 내가 눈치 챘을 때 파티션 분

1열

1답변

tic-tac-toe grid에서 유효한 모든 "행"을 표현하는 간결한 방법

나는 운동으로 다양한 언어로 tic-tac-toe를 작성해 왔으며 그 중 하나의 패턴은 모든 표현 I 유효한 유효 행을 정의하기 위해 실망스럽게 하드 코딩되었습니다. 이들은 일반적으로 두 가지 범주로 하락했다 : 먼저, 기판은 1 또는 2 차원 배열로 표현되며, 행 명시 위치 트리플릿에 의해 정의된다 (숫자는 빈 공간이다) board = [1, x, 3,

0열

1답변

키 - 값 쌍이 속하는 감속기에서 파티션 번호를 얻는 방법

감속기 기능에서 주어진 키 - {값의 세트} 쌍을 처리 할 때이 키 - {집합의 파티션 번호를 어떻게 얻을 수 있습니까? 값의}}에 속해 있습니까? 파티션하는 동안 각 키 - 값 쌍에 파티션 번호에 대한 추가 정보를 추가하지 않고이 파티션 번호를 얻는 방법은 무엇입니까? 건배