elastic-map-reduce

1열

1답변

Map/Reduce를 사용하여 solr 인덱스를 만드는 방법에 대한 제안이 필요합니다.

저는 Map/Reduce에 익숙하지 않고 Solr에서 인덱스를 생성하는 데 활용할 수있는 최상의 옵션을 평가하려고합니다. 현재 정기적 인 크롤링을 사용하여 데이터를 가져 와서 Solr에서 직접 색인을 생성합니다. 이것은 아무런 문제없이 일하고 있습니다. 하지만 앞으로 Amazon S3에있는 크기가 큰 데이터에 액세스해야합니다. S3에 현재 저장된 약 5 백

1열

2답변

Ganglia 및 Amazon Elastic Map Reduce - 설치 문제

"작업 흐름에서 Ganglia 초기화"지침에 따라 클러스터를 가동했지만 Ganglia 프로세스가 실행되지 않습니다 (8157). http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/init_Ganglia.html 탄성 맵리 듀스 --create --alive --name "톰 일

0열

1답변

Elastic MapReduce가 다음과 함께 실패합니다. 1 : 구문 오류 : "(예기치 않은

x86 데비안 압착 상자에서 컴파일 한 원시 바이너리를 실행하려고합니다. (Amazon AMI와 일치시키기 위해) 오류가 /mnt/var/lib/hadoop/mapred/taskTracker/hadoop/jobcache/job_201206011019_0001/attempt_201206011019_0001_m_000000_0/work/./word-count:

3열

1답변

Amazon EMR : 데이터 노드에 스토리지 구성

저는 Amazon EMR을 사용하고 있으며 대부분의 작업을 정상적으로 실행할 수 있습니다. EMR 클러스터에서 더 많은 데이터를로드하고 생성 할 때 문제가 발생합니다. 클러스터에 저장 공간이 부족합니다. 각 데이터 노드는 c1.medium 인스턴스입니다. here 및 here 링크에 따르면 각 데이터 노드에는 350GB의 인스턴스 저장소가 있어야합니다. E

0열

1답변

Hadoop Streaming -file 플래그를 Amazon ElasticMapreduce에 전달하려면 어떻게해야합니까?

-file 플래그를 사용하면 실행 파일을 작업 제출의 일부로 묶을 수 있으므로 먼저 실행 파일을 S3에 수동으로 복사하지 않고 MapReduce를 실행할 수 있습니다. Amazon의 elastic-mapreduce 명령에 -file 플래그를 사용하는 방법이 있습니까? 그렇지 않다면 실행하려는 바이너리를 업로드하는 가장 쉬운 방법은 무엇입니까?

0열

1답변

성능에 미치는 영향은 스케일 아웃 대 스케일 업에 대한 감소 시나리오의

난 그냥 탄성지도 샘플 응용 프로그램 절감 실행 : "아파치 로그 처리를" 기본 : 내가 기본 구성으로 실행 (2 개 작은 크기의 코어 인스턴스) - 그것은 19분했다 스케일 아웃 : 가 그럼 난 구성을 실행 : - : 가 그럼 난 구성을 실행 : 2 개 대형 핵심 인스턴스 8 개 작은 크기의 코어 인스턴스가 18분 스케일 업했다 - 14 분이 걸렸어. 더

3열

1답변

왜 EMR 인스턴스에는 매퍼만큼 많은 축소 기가 있습니까?

기본적으로 EMR 작업 중에 인스턴스는 매퍼보다 축소 기가 적게 구성됩니다. 그러나 감속기에는 여분의 기억이 주어지지 않으므로 동일한 양을 가질 수 있어야합니다. 예를 들어, 초대형 하이 cpu 인스턴스에는 7 개의 매퍼가 있지만 리덕터는 2 개 뿐이지 만 매퍼와 축소 기는 512 MB의 메모리로 구성됩니다. 왜이 사람이 알고 있으며 매퍼로 많은 수비수를

1열

3답변

어떻게 아마존의 EMR 자주 묻는 질문에서 탄성 맵리 듀스

와 외부 데이터를 사용하는 : Q : 나는 아마존 S3보다 다른 곳에서 인터넷에서 내 데이터를로드하거나 수 있습니까? 예. Hadoop 애플리케이션은 인터넷이나 다른 AWS 서비스에서 데이터를로드 할 수 있습니다. 인터넷에서 데이터를로드하는 경우 EC2 대역폭 요금이 부과됩니다. Amazon Elastic MapReduce는 DynamoDB의 데이터에 하이

2열

1답변

EMR을 사용하지 않고 DynamoDB 및 Hive를 사용하는 사람은 누구입니까?

아래의 Hive를 사용하여 DynamoDB에서 데이터를 쿼리하는 통합 과정을 읽었습니다. http://aws.typepad.com/aws/2012/01/aws-howto-using-amazon-elastic-mapreduce-with-dynamodb.html 해당 링크 당 하이브는 EMR 상단에 설치해야합니다. 그러나 EMR을 사용하는 대신 독립 실행 형

2열

1답변

AWS MapReduce에서 Elastic MapReduce 작업 흐름이 실패한 이유는 무엇입니까?

AWS MapReduce에서 작업 흐름을 만들었습니다. 문맥 광고 (하이브 스크립트) 작업 흐름을 만들었습니다. '대화식 하이브 세션 시작'을 수행하고, m1.small 인스턴스를 선택하고, VPC 서브넷 ID없이 진행하고 Configure Bootstrap에서 Hadoop 구성 행위. 이제 작업 흐름이 시작 상태가되고 15-20 분 후에 실패한 상태가되고