amazon-emr

3열

2답변

FAILED : ParseException : 열 지정에서 'exchange' 'string' ','근처의 입력을 인식 할 수 없습니다.

최신 AWS 하이브 버전 0.13.0을 사용 중입니다. FAILED: ParseException: cannot recognize input near 'exchange' 'string' ',' in column specification 아래의 (테이블 생성) 쿼리를 실행할 때 위의 오류가 나타납니다. CREATE EXTERNAL TABLE test (

0열

2답변

S3-> Redshift와 S3-> EMR-> Redshift의 차이점은 무엇입니까?

나는 S3에서 가져온 데이터를 redshift로 직접 가져오고 S3를 EMR을 통해 redshift로 가져 오는 것에 대한 찬반론은 무엇인가? 내가이 질문을 게시하는 이유는 S3-> redshift를 선택하면 SQL을 사용하여 redshift에서 transfrom을 수행 할 수 있습니다. 다른 한편으로는 EMR을 선택하면 SQL 대신 pig/hive 또는

0열

1답변

Amazon Elastic Map Hadoop 작업 축소

Amazon Web Services 및 Map Reduce에 익숙하지 않습니다. 기본적인 문제는 기본적으로 학술 프로젝트를 만들려고 노력하고 있다는 것입니다. 많은 양의 이미지를 처리하고 있으며 특정 이미지를 감지해야합니다. 개체의 키 = averageRGB 및 값 = BufferedImage로 이루어진 개체로 채워진지도가 필요합니다. 나는이 응용 프로그램

0열

2답변

Hadoop - 내 사례의 성능을 향상시키는 방법은 무엇입니까?

현재 AWS-EMR을 클러스터로 사용하고 있습니다. 라이브러리의 경우, 나는 계단식을 사용한다. 입력 데이터는 aws S3의 디렉토리에 저장됩니다. 디렉토리에는 약 100MB 크기의 많은 파일 (압축되지 않은 일반 텍스트)이 포함되어 있으며 매일 100 개의 파일에 쉽게 도달 할 수 있습니다. 각 파일의 파일 이름에는 날짜가 들어 있습니다. 하루가 끝나면

2열

1답변

Amazon EMR에서 입력 매개 변수가있는 사용자 정의 jar 파일 실행

그래서 Amazon EMR에서 WordCount hadoop 응용 프로그램을 실행하려고합니다. 내 데이터 파일을 abc bucket에 업로드했습니다. abc bucket 아래에 wordcount.jar 파일도 추가했습니다. 아무도 우리가 클러스터를 만들 때 말해 줄 수있는 방법, 우리는 데이터 파일에 대한 경로를 줄 수 있고 또한 출력 디렉토리 경로를 제공

5열

1답변

AWS EMR에 YARN 로그 집계 - UnsupportedFileSystemException

아마존 EMR 클러스터에 YNN 로그 집계를 사용하려고 고민 중입니다. 나는 구성이 문서를 다음 오전 : "는 AWS CLI를 사용하여 아마존 S3에 로그를 집계하기"라는 제목의 섹션에서 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-debugging.html#emr-p

4열

1답변

다중 입력 매개 변수가있는 Amazon EMR 작업

Amazon 데이터 파이프 라인에서 하이브를 사용하여 S3을 EMR로 복사하는 활동을 만들고 있습니다. 그것을 달성하기 위해서는 EMR 작업에 두 개의 입력 매개 변수를 단계로 전달해야합니다. 모든 대부분의 데이터 파이프 라인 문서를 검색했지만 여러 입력 매개 변수를 지정하는 방법을 찾지 못했습니다. AWS 지원 팀과도 이야기하지만 그 내용도 분명하지 않습

3열

1답변

데이터 파이프 라인을 통해 실행되는 EMR 클러스터의 인스턴스 역할을 설정하는 방법은 무엇입니까?

데이터 파이프 라인을 통해 실행중인 클러스터에 인스턴스 역할을 연결하려고합니다. DynamoDB에 쓰기 권한이 필요한 내 자신의 매퍼 스크립트를 실행하고 싶습니다 ("일반"HIVE 업로드는 저를 위해 속임수를 쓰지 않습니다). 나는 API 문서를 살펴 봤는데 EMR이 머신의 인스턴스 역할을 지정할 수 있지만 데이터 파이프 라인 API에서는 지원되지 않는 것

0열

1답변

ElasticMapReduce 스트리밍 압축 출력

나는지도 용 파이썬 스크립트로 스트리밍 작업을 실행 중입니다. boto 라이브러리로 작성한 작업 흐름. gzip 입력 파일을 사용하고 있습니다. 그래도 gzip 출력 파일을 만들 수 있습니까?

0열

1답변

AWS EMR의 -file 인수는 무엇입니까

콘솔을 통해 EMR 클러스터를 시작합니다. 콘솔은 자동으로 매퍼에 대해 제공 한 위치 인 인수 필드에 -files s3://jmilloy/milp_mapper.py을 추가했습니다. 어디서나 문서화 된 -file 옵션을 찾을 수 없습니다. 그것은 무엇을합니까? 왜 자동으로 추가 되었습니까? 제거하면 어떻게됩니까? S3에서 내 스크립트에 필요한 다른 파일을 넣