emr

0열

1답변

DynamoDB으로 매핑하여 EMR에 2 EXTERNAL TABLE을 생성했습니다. 테이블 이름은 이고 속성은 및 입니다. 속성 유형은입니다. 속성에서 나는 이 이고, 속성 유형가이 attributeTypeId입니다. JOIN, WHERE, ORDER 및 LIMIT가 포함 된 NodeJS 응용 프로그램에서 EMR 하이브에 대한 쿼리를 어떻게 실행하려고합니까

1열

1답변

Amazon EMR - Yum Update Boostrap 작업이 슬레이브에서 실패 함

업데이트 된 정보가 많아서이 질문을 다시 작성하려고합니다. 내가 1 개 마스터 노드와 1 개 슬레이브 노드와의 EMR 클러스터를 다음과 같이 내 문제입니다. 슬레이브 노드는 열려있는 인터넷에 자유롭게 액세스 할 수 있도록 구성됩니다 (보안 위험이라는 것을 알고 있습니다). 언제 설치 단순히 부트 스트랩 동작이 SSH 경우, 슬레이브 노드로, 그러나 (항상

1열

1답변

S3에 대한 EMR 출력

EMR 주문형 서버에서 Python 스크립트를 실행하고 있습니다 (EMR 클러스터 이름을 지정하지 않았습니다). 그것은 내 로컬 시스템으로 입력 & 출력 잘주는 작동합니다. 내 입력 & 출력으로 S3 버킷을 사용하고 싶습니다. 아래 내 명령을 참조하십시오. S3 버킷으로부터 입력을받습니다. 그러나 출력을 내 로컬 시스템에만 표시하고 S3에는 표시하지 않습니

0열

2답변

AWS EMR 클러스터의 디스크 공간 문제

AWS에서 11 노드 (1 마스터 + 10 코어) EMR 클러스터를 프로비저닝했습니다. 각 노드의 디스크 공간을 100GB로 선택했습니다. 클러스터가 프로비저닝되면 EMR은 자동으로 루트 파티션 (/ dev/xvda1)에 10GB 만 할당합니다. 루트 파티션의 디스크 공간이 꽉 차서 며칠이 지나면 작업을 수행 할 수 없거나 yum 명령을 사용하여 git과

0열

1답변

API 호출에서 데이터를 읽도록 Amazon EMR을 구현하려면 어떻게해야합니까?

내가 본 모든 예제는 Java 프로그램과 관련이 있습니까? 사용자가 수행 한 모든 API 호출을보고 내 웹 사이트를 탐색하는 동안 사용자의 동작을 추적 할 수 있기를 원합니다. 모든 API 호출은 SQL 데이터베이스에 저장된 데이터를 기반으로합니다. 예를 들어 검색 API에 전달 된 모든 키워드를 확인하여 대부분의 검색어 목록을 확인하고자 할 수도 있습니다

0열

1답변

스파크가있는 AWS DataPipeline EMR 클러스터

EMR 템플릿을 사용하여 AWS DataPipeline을 만들었지 만 EMR 클러스터에 스파크를 설치하지 않았습니다. 이를 위해 특별한 조치를 취해야합니까? 일부 bootstrapaction은 스파크 설치가 필요하지만 작동하지 않습니다.

0열

1답변

EMR의 hdfs : // 경로에 대한 hadoop fs 경로 변환

EMR 클러스터의 HDFS 파일 시스템에서 S3 버킷으로 데이터를 이동하는 방법을 알고 싶습니다. 나는 Spark의 S3에 직접 글을 쓸 수 있다는 것을 알고 있지만, 원칙적으로 이후에 그것을 수행하는 것은 또한 간단해야하며, 지금까지는 실제로 그것이 사실이라고 알지 못했습니다. AWS 설명서에서는 HDFS와 S3간에 데이터를 이동하기 위해 s3-dist-

2열

1답변

oozie 코디네이터 오류가 발생했습니다. - emr : 빈 문자열에서 경로를 생성 할 수 없습니다.

원사 클러스터에서 oozie로 코디네이터를 구성하는 데 문제가 있습니다. 작업이 콘솔에서 작업 흐름을 실행할 때 스파크 작업입니다. 시작과 실을 제대로 실행,하지만 난이 coordinator.xml에서 같은 워크 플로우를 호출 할 때이 오류가 : ERROR org.apache.spark.SparkContext - Error initializing Spark

0열

1답변

EMR 클러스터의 apache spark 작업에 대한 log4j 사용자 정의

log4j에 관한 질문이 있으며 Java for Spark 작업에는 log4j.properties 구성 파일이 있습니다. 는 EMR 클러스터 log4j.properties 파일을 초기합니다 내 응용 프로그램에 제출 한 후에 내가 내 스파크 작업 "항아리"파일로 log4j.properties 함께 붙어있다. EMR 클러스터에서 작동하지 않습니다, 내 로컬 컴

2열

2답변

Spark, Fat Jar 대체품

Spark EMR 작업에 내 의존성을 부여하는 방법은 적어도 2 가지입니다. 하나는 fat jar를 만들고 다른 하나는 --packages 옵션을 사용하여 spark submit에 원하는 패키지를 지정하는 것입니다. 뚱뚱한 항아리는 압축하는 데 꽤 오랜 시간이 걸립니다. 그게 정상인가요? ~ 10 분. 우리가 잘못 구성했을 가능성이 있습니까? 명령 줄 옵션