elastic-map-reduce

4열

1답변

EC2 스팟 인스턴스 (Ruby CLI)를 사용하도록 Amazon EMR 스트리밍 작업을 구성하는 방법은 무엇입니까?

Amazon Elastic MapReduce (Amazon EMR)를 사용하여 Ruby 명령 줄 인터페이스를 사용하여 스트리밍 작업을 만들 때 EC2 지점 인스턴스 만 사용하도록 지정할 수 있습니까 (마스터 제외)? 네, 아래의 명령은 작동하고 있지만 "힘"저를 임대 한 핵심 인스턴스에서 사용하는 ... ./elastic-mapreduce --create

2열

2답변

Amazon mapreduce를 사용하여 freebase quad dump를 구문 분석하는 방법

나는 freebase에서 영화 정보를 추출하려고하는데, 나는 영화의 이름, 감독 및 배우의 이름과 이름이 필요합니다. 나는 디렉터 ID에 대한 참조가 없기 때문에 freebase 항목 덤프를 사용하는 것이 어렵다는 것을 알았습니다. 디렉터 이름입니다. 이 작업에 올바른 접근 방법은 무엇입니까? 아마존 구름을 사용하여 어떻게 든 전체 쿼드 덤프를 구문 분석해

1열

1답변

Amazon MapReduce 입력 분할 및 다운로드

저는 EMR을 처음 접했고 몇 가지 질문을 던졌습니다. 지난 며칠 동안 고민하고 있습니다. 첫 번째는 처리하고자하는 로그가 이미 .gz로 압축되어 있고 이러한 유형의 파일을 emr로 나누어서 하나 이상의 매퍼가 파일에서 작동 할 수 있는지 궁금합니다. 또한 나는 그들이 5 기가 바이트 않는 한 그 입력 파일을 분할되지 않습니다 읽고있다, 내 파일이 너무 큰

1열

1답변

Amazon MapReduce에서 컴파일 된 바이너리 호출

Amazon Elastic MapReduce에서 일부 데이터 분석을 시도하고 있습니다. 매퍼 단계는 "./formatData"라는 컴파일 된 C++ 바이너리 호출을 포함하는 파이썬 스크립트입니다. 예 : # myMapper.py from subprocess import * inputData = sys.stdin.readline() # ... p1 =

1열

1답변

는

하이브 1과 동일한 맵리 듀스 작업의 수를 설정하는 방법 나는이지도 작업을 생성하기 줄일 참조 Inspite 1에 최대 수의 감소 작업의 수를 설정하는 set hive.exec.reducers.max = 1; set mapred.reduce.tasks = 1; from flat_json insert overwrite table aggr_pgm_mea

18열

3답변

내보내기 하이브 표는 다음과 같이 파일 탄성 맵리 듀스 대화 형 세션을 통해 하이브 테이블을 생성하고 CSV에서 그것을 채워했습니다

S3 버킷에 S3 버킷 그래서 일단 MapReduce 인스턴스를 종료하면 테이블이 보존됩니다. 누구든지이 작업을 수행하는 방법을 알고 있습니까?

0열

1답변

Karmasphere Analyst 및 Amazon Elastic MapReduce를 사용하여 jobconf 매개 변수 설정

Karmasphere Analyst 프로파일 러에서 jobconf 매개 변수를 설정하는 것이 좋습니다 (예 : mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec). . 그러나 나는 이것을 어디에서 설정해야할지 모르며 Karmasphere Analyst 문서에서 찾을 수

4열

1답변

Apache Pig의 데이터 유형을 어떻게 수정할 수 있습니까?

데이터 유형 오류로 인해 값의 모음을 합산하는 데 문제가 있습니다. 나는 누구의 라인과 같이 CSV 파일로드 할 때 : 사용 6 574 false 10.1.72.23 2010-05-16 13:56:19 +0930 fbcdn.net static.ak.fbcdn.net 304 text/css 1 /rsrc.php/zPTJC/hash/50l7x7eg.css ht

2열

1답변

하이브에서 mysql @ AWS로 데이터를 가져 오는 중입니까?

Sqoop을 사용하고 싶지만 ElasticMapReduce (가장 좋아하는) 이상의 Cloudera 스택 @ AWS를 실행할 가치가 있다고 생각하지 마십시오. 나의 현재의 생각은 @ S3에 저장된 외부 테이블로 옮겨야하는 데이터를 작성한 다음 mysql으로 가져 오기위한 스크립트를 작성하는 것이다. 아마존은 SimpleDB (example)를 가지고 약간의

-1열

3답변

MapReduce 프로그래밍 모델을 사용하여 두 개의 큰 데이터 세트 비교

두 개의 꽤 큰 데이터 세트가 있다고 가정 해 봅니다. 첫 번째 세트는 "Base"이고 두 번째 탭에는 2 억 개의 탭 구분 행이 있고 두 번째 세트에는 1,000,000 개의 탭이있는 "MatchSet" 구분 된 행의 유사한 데이터. 그럼 Match (row1, row2)라고하는 임의의 함수도 있고 MatchSet에는 row1 (MatchSet)을보고 r