emr

3열

1답변

AWS Athena : 'msck repair table'에 비용이 발생합니까?

I는 다음과 같습니다 S3에서 ORC 데이터가 있습니다 s3://bucket/orc/clientId=client-1/year=2017/month=3/day=16/hour=20/ s3://bucket/orc/clientId=client-2/year=2017/month=3/day=16/hour=21/ s3://bucket/orc/clientId=client

0열

1답변

EMR 작업/슬레이브 노드에 하이브를 설치하는 방법은 무엇입니까?

EMR 마스터 노드에서 하이브를 실행했지만 EMR 작업/슬레이브 노드에서 하이브 명령 줄을 실행해야합니다. 누구나 어떻게해야할까요? 감사!

1열

1답변

EmrActivity - AWS 데이터 파이프 라인에 대한 입력/출력

데이터 파이프 라인을 사용하여 Spark 어플리케이션을 실행하려고합니다. Spark 애플리케이션 내에서 EmrActivity에 대해 지정한 입출력 (S3DataNode)에 어떻게 액세스합니까? 내 질문이 비슷합니다 - https://forums.aws.amazon.com/message.jspa?messageID=507877 이전에 내가 단계에서 스파크 응용

0열

2답변

하이브에 S3 멀티 AWS 사용자와

불꽃이 내 시나리오 나는 불꽃과 AWS 매니아와 나는이 기술에 대한 자세한 내용을 이해하는 것이 가려움하고있다. 사례 1 : 내 스파크 애플리케이션이 EMR 클러스터에서 실행되고 스파크 애플리케이션 이 s3 테이블의 하이브에서 읽은 다음 s3의 하이브 테이블에 기록합니다. 이 경우 S3 버킷은 동일한 사용자 usera에 속하므로 config 파일에 fs.s

2열

1답변

pyspark.sql.utils.AnalysisException : u'Path가 존재하지 않습니다.

amd emr에서 표준 hdfs를 사용하여 스파크 작업을 실행 중입니다. 내 파일을 저장하는 S3가 아닙니다. hdfs : // user/hive/warehouse /에 하이브 테이블이 있지만 스파크 작업이 실행될 때 찾을 수 없습니다. 내 HDFS 디렉토리의를 반영하기 위해 스파크 속성 spark.sql.warehouse.dir을 구성하고 실 로그가 말을

0열

1답변

람다에서 EMR의 스파크 작업을 동시에 제출하십시오

내 응용 프로그램은 EMR 스파크 작업을 사용하여 실시간으로 데이터를 처리해야합니다. 람다에서 EMR의 addJobFlowSteps API를 사용하고 있지만 사실상 순차적입니다. 본질적으로 동시 발생하는 람다 (Lambda)의 EMR에 채용을 제출하는 다른 방법이 있습니까?

0열

1답변

하이브를 사용하여 S3 XML 파일 쿼리를 읽는 방법

AWS S3 버킷에 XML 파일이 저장되어 있습니다. XML 메타 데이터를 추출하고 HDFS의 HIVE 테이블에로드하려고합니다. 이 활동을 신속하게 진행하는 데 도움이되는 도구가 있습니까?

1열

1답변

하이브는 EMR에서 분산 캐시의 파일을 찾을 수 없습니다

하이브에서 UDF를 실행하려고합니다. 기본적으로 테이블의 값을 다른 인수로 사용하여 외부 CSV 파일을 스캔해야합니다. 쿼리 내가 사용 add jar s3://bucket_name/udf/hiveudf.jar; add FILE hdfs:///myfile/myfile.csv; CREATE TEMPORARY FUNCTION MyFunc AS '....udf

0열

1답변

EMR/PrestoDB의 다중 MySQL 카탈로그

EMR의 presto-connector-mysql 구성 옵션을 사용하여 EMR에 mysql이라는 카탈로그를 만들 수 있습니다. 그러나 여러 개의 mysql 데이터 소스에 연결하고 싶습니다. 거기에 테이블을 쿼리, /etc/presto/conf/catalog에 2 데이터 소스를 추가하고 내가 제대로 MySQL의 데이터 소스를 조회 할 수 있고, 둘째 카탈로그

-1열

1답변

집행 인 및 코어 수

스파크 작업에 사용되는 코어 및 실행 프로그램의 수와 2 개의 슬레이브 c4.8xlarge 노드와 1 개의 c4.8x 대형 마스터 노드가있는 경우 AWS가 얼마나 많은지 알고 싶습니다. . 다른 조합을 시도했지만 개념을 이해할 수 없습니다. 감사합니다. ,의 당신이 당신의 노드 (I이 정확히 귀하의 케이스라고 생각합니다)에 16 개 개의 코어가 있다고 가정