mapreduce

3열

2답변

PIG와 Hadoop을 사용하여 텍스트의 일부를 알 수없는 그룹 수와 어떻게 일치시킬 수 있습니까?

나는 Amazon의 탄력적 인 맵 축소를 사용하고 있습니다. 나는 random text foo="1" more random text foo="2" more text notamatch="5" noise foo="1" blah blah blah foo="1" blah blah foo="3" blah blah foo="4" ... 가 어떻게

1열

2답변

map/reduce에서 ETL을 수행하는 방법

텍스트 파일을 다른 텍스트 파일로 변환해야한다면 mapper/reducer를 어떻게 설계해야합니까? 첫 번째 행에 쉼표가 - 파일은 일반적으로 다음과 같이 구성되어 있습니다 : 아래의 세부 사항은 나는 간단한지도/작은 변화를 한 프로그램을 감소 쓴하지만 요구 사항은 좀 더 정교 열 이름의 분리 된 목록. 초 및 나머지 행은 열에 대해 값을 지정합니다. 일부

1열

1답변

CPU 집중 COM의 분산 처리

CPU 집중 처리 (현재는 단일 CPU로 제한)를 수행하는 32 비트 COM 개체가 있습니다. 매우 큰 데이터 세트와 사용자 커뮤니티를 위해이를 확장하기 위해 QizMt와 같은 MapReduce와 같은 프레임 워크를 통해 분산 처리를 사용하려고합니다. 제 질문은 QizMt가 COM과 함께 사용할 수 있습니까? 다른 대안이 있습니까? COM 내부의 논리는 다

2열

2답변

mongodb mapreduce - 축소판에 배열 또는 객체를 만드시겠습니까?

원래 모음 : { "_id" : ObjectId('xxxxxxxxxxxxxxxx'), "userId" : ObjectId('yyyyyyyyyyyyyyyy'), "urlId" : ObjectId('zzzzzzzzzzzzzzzzzz') }, { "_id" : ObjectId('uuuuuuuuuuuuuuuuuu'), "u

8열

3답변

HBase에서 여러 행을 효율적으로 삭제하는 방법

HBase에서 여러 행을 삭제하는 효율적인 방법이 있습니까? 아니면 HBase에 적합하지 않은 사용 사례 냄새가 있습니까? '차트'라는 표가 있는데 차트에있는 항목이 포함되어 있습니다. chart|date_reversed|ranked_attribute_value_reversed|content_id 때때로 나는 주어진 날짜에 대한 차트를 재생하려면, 그래서에

7열

4답변

Hadoop 스트리밍에서 다중 mapreduce 작업 체인화

두 개의 mapreduce 작업이있는 시나리오입니다. 필자는 python을 사용하여 mapreduce 스크립트를 작성하고이를 사용하여 동일한 스트리밍을 사용하기를 더 편하게 생각합니다. 두꺼운 스트리밍을 사용할 때 양식을 따르는 두 작업을 연결하는 것이 편리합니까? MAP1 -> Reduce1 -> Map2에 -> Reduce2 나는 자바에서이 작업을 수행

0열

1답변

AWS MapReduce 용 데이터 준비 및 애프터 케어 방법

대학 프로젝트 용으로 Amazon Web Services와 협력하고 있습니다. MapReduce에 데이터를 사용하려면 관계형 데이터베이스 (AWS RDS)에서 S3로 덤프해야합니다. MapReduce가 끝나면 출력 파일을 분할하고 그 파일을 자신의 S3 버킷에로드해야합니다. 아마존 웹 서비스 환경에서 이것을 수행하는 좋은 방법은 무엇입니까? 최상의 경우 :

5열

2답변

Python에서 Hadoop 스트리밍 작업 실패 (성공하지 못했습니다)

Hadoop Streaming에서 Python 스크립트로 Map-Reduce 작업을 실행하려고하는데 같은 오류가 Hadoop Streaming Job failed error in python이지만 그 해결책이 제대로 작동하지 않았습니다. ./bin/hadoop jar contrib/streaming/hadoop-0.20.2-streaming.jar \

1열

1답변

Hadoop의 MapReduce에서 관계 이름/테이블 이름/파일 이름 사용

MapReduce의 Map 및 Reduce에서 관계 이름을 사용하는 방법이 있습니까? Hadoop의 MapReduce를 사용하여 Set 차이를 만들려고합니다. 입력 : 2 개의 파일 R 및 S에는 용어 목록이 들어 있습니다. 목적 (암이 용어를 표시하기 위해 t을 사용하려고) : 찾을 R - S, R 및하지 S의 예 용어를는 접근 :는 매퍼 : t을 뱉어

4열

2답변

는 일반화 된 순차 패턴 알고리즘 맵리 듀스

나는 위키 백과 문서 반면 일반화 된 순차 패턴 알고리즘의 구현 예 (GSP) http://en.wikipedia.org/wiki/GSP_Algorithm 을 찾고 는 약간 혼란, 사이비 코드를 제공하며 좀 적절한 코드를보고 싶다 (이상적으로 파이썬이나 자바). 누구든지 좋은 참고를 알고 있습니까? 먼저 알고리즘을 이해하고 잠재적으로 MapReduce 세계