amazon-emr

2열

2답변

S3에 파일을 업로드하는 프로세스가 있습니다. 사실 그것은 간접적입니다. Amazon Elastic MapReduce (EMR)를 사용하고 Hadoop은 여러 다른 작업 노드에서 파일을 S3에 커밋합니다. 그런 다음 Hadoop 작업이 성공적으로 완료되면 Hadoop의 FileSystem.createNewFile()을 사용하여 마스터 노드에서 일부 파일을

0열

1답변

자바 코드를 사용하여 amazon의 hadoop 구성을 설정하는 방법

이 구성을 hadoop에 설정하려면 textinputformat.record.delimiter=;을 설정해야합니다. 지금 나는 ami에서 돼지 스크립트를 실행하기 위해 다음 코드를 사용합니다. 다음 코드를 사용하여이 구성을 설정하는 방법을 아는 사람은 누구입니까? 코드 : StepConfig installPig = new StepConfig() .with

1열

1답변

S3에서 AWS EMR로드

S3 버킷을 입력 소스로 사용하여 새 EMR 작업을 만들 때 S3에서 노드의 HDFS로 데이터가 자동으로 복사됩니까? 또는 데이터가 S3에만 남아 있고 맵 축소 작업에 필요할 때 읽을 수 있습니까? 나는 인상을 얻는다. 그러나 데이터가 S3에 저장되고 프로비저닝 된 EC2 인스턴스에서 처리가 수행되면 맵 축소의 기본 원칙에 어긋나지 않습니다 : 데이터 로컬

1열

1답변

아마존 EMR에서 100 % CPU 사용량을 줄이기위한 하이브 팁

다음 테이블을 사용하여 약 15GB (.gz 압축)의 iislogs를 처리하고 있습니다. 아마존 EMR (중간 규모 마스터 인스턴스 1 개, 대형 코어 인스턴스 4 개, 작업 인스턴스 2 개) select uri, cs_Cookie as Cookie, count(*) as hits from tmp1 group by cs_Cookie, uri order by

1열

2답변

Elastic Map Reduce (AWS)의 Hadoop에서 강제 정수 정렬

Elastic Map Reduce (AWS)의 Hadoop에서지도 감속기를 사용하고 있지만이를 문자열로 정렬하므로 정수 정렬을 수행하려고합니다. 그것을하는 방법? 나는 정수로 키를 가져 가고 키에 정수 정렬을 수행하려고합니다.

0열

1답변

내 프로그램을 map-reduce 구조체에 맞게 다시 작성

InvertedIndex Java 프로그램을 작성했습니다. 주어진 단어의 경우 특정 정적 문자열 배열에서 단어를 검색합니다. 여기서 각 문자열은 해당 URL입니다. 검색 할 필요가있다. 드디어 모든 URL의 목록을 반환하는 단어에서 발견 된 것 여기 내 관련 코드입니다 :. 이제 static final String[] URL_SEARCH_LIST = {

1열

1답변

s3distcp를 사용하여 기간 선택 방법?

아래에 s3의 로그와 이름에 타임 스탬프가있는 로그가 있습니다. 하이브를 사용할 수 있도록 s3distcp를 사용하여 EMR로 데이터를 가져오고 싶습니다. https://s3.amazonaws.com/mybucket/test/201305031003_0_ubuntu.gz https://s3.amazonaws.com/mybucket/test/201305031

1열

1답변

Amazon Elastic Map에서 사용자 정의 MapReduce Jar를 실행하십시오. Amazon DynamoDB의 데이터를 줄입니다.

mapreduce 작업을 실행하려는 DynamoDB에 데이터가 있습니다. 하이브를 사용하여 EMR의 dynamoDB 데이터에 대해 SQL을 실행하는 많은 자습서를 찾았지만 수행하려고하는 작업에 대해 SQL로 효율적으로 작업을 작성하는 것이 어려울뿐 아니라 커스텀 맵 축소 병. 이것이 가능합니까 아니면 다이나믹 DB 쿼리를 위해 하이브 SQL 만 쓸 수 있습

1열

1답변

Amazon EMR에서 부트 스트랩 작업에 제한이 있습니까?

내 데이터에서 일부 조작을 수행하기 위해 쉘 스크립트를 사용하고 있습니다. 1 시간 이상 걸립니다. 그러나 매 시간마다 한 시간이지나갑니다. 내 부트 스트랩 작업이 실패합니다. 아무도 이걸 알아 차리지 못 했니?

0열

1답변

Amazon EMR에서 인스턴스 수를 계산하는 방법은 무엇입니까?

아마존 EMR에서 실행할 map-reduce 작업이 있습니다. 최대 400 개의 매퍼와 리듀서를 갖고 싶습니다. 중형 또는 대형 인스턴스를 사용하고 싶습니다. 필요한 인스턴스의 수를 어떻게 예측할 수 있습니까? 게다가 한 작업이 2 분 이내에 끝나면 4 분 정도 걸리는 다른 작업을 실행하면 2 시간 동안 청구되거나 1 시간으로 간주됩니까?