amazon-emr

0열

2답변

Spark-shell에서 2 분 걸리는 Dataframe로드 Zeppelin에서 영원히 가져옴

spark-shell에서 2 분이 소요되는 데이터 프레임로드는 emp-5.0.0 을 사용하여 단일 노드 Master를 실행하는 Zeppelin에서 영원히 계속됩니다.

1열

1답변

Spark 2.0 스트리밍을 이상으로 배포하려고합니다. EMR 5.0. application_14111979683_1111 신청 보고서 (상태 : ACCEPTED) 이 응용 프로그램은 정보 클라이언트 로그 "의 무한 루프"로 무한 루프에 갇히지 것 같다. " 다음 종료 다음 내가하려고하는 방법입니다 deploy- - AWS EMR 유형 = 불꽃을 --ste

2열

1답변

spark 1.6 및 Zeppelin이있는 amazon EMR에서 R 실행 0.5.6

현재 EMR에서 실행중인 Zeppelin에서 실행되도록 R 인터프리터를 설정하려고합니다. Zeppelin은 완벽하게 작동하며 Scala와 Python으로 스크립트를 작성할 수 있습니다. % r, % sparkR 또는 % knitr을 사용할 때 "r interpreter not found"가 표시됩니다. emr-4.7.2 클러스터에서 실행중인 응용 프로그램은

0열

3답변

온라인 애플리케이션을 위해 AWS S3에 HBase 데이터를 저장할 수 있습니까? 방법?

나는 AWS에서 꽤 새로운 사람이다. 저의 HBase를 데이터베이스로 사용하고 스토리지 비용을 낮추고 EMR과의 통합 성이 좋기 때문에 EC2와 S3의 실제 데이터 파일에 설치하려고합니다. 나는 24/7에 이용할 수 있고 단순한 HBase를 위해 Amazon EMR을 사용하고 싶지 않고 추가 비용을 피한다. 그러나 나중에 일부 분석에이를 사용하려고합니다.

1열

1답변

AWS EMR에서 장시간 실행되는 스파크 스트리밍 단계를 중지하는 방법

스파크 스트리밍을 위해 AWS EMR을 사용합니다. Kinesis 스트림에서 데이터를 읽는 EMR에 단계를 추가합니다. 필요한 것은이 단계를 중단하고 새 단계를 추가하는 접근법입니다. 지금 Spark 드라이버에서 스레드를 생성하고 메시지에 대한 SQS 대기열을 수신하고 메시지를 받으면 sparkContext.stop()으로 전화합니다. 나는 배치 자동화에

0열

1답변

RDD에서 외부 프로세스로 out.file에서 RDD로

EMR Spark 작업에서 외부 프로세스를 호출해야합니다. 나는 rdd.pipe을 통해 RDD를 프로세스에 파이프 할 수 있음을 알았습니다. (제쳐두고, RDD 당 하나의 프로세스 또는 요소 당 하나의 프로세스입니까?) 그러나 외부 프로세스는 파일 이름을 입력으로 요구하며 출력으로 파일을 생성합니다. 이 외부 프로세스를 호출하고 이후에 출력 파일을 RDD로

0열

2답변

AWS EMR 스파크 및 Zeppelin 버전 불일치 문제를 해결하는 방법은 무엇입니까?

AWS EMR 5.0은 Spark: Spark 2.0.0 on Hadoop 2.7.2 YARN with Ganglia 3.7.2 and Zeppelin 0.6.1이 미리 포장되어 있지만 Zeppelin 0.6.1은 Spark 1.6.x 만 지원합니다. Zeppelin의 맞춤형 버전을 구축 및 배포하지 않고 버전 불일치를 해결할 수있는 방법이 있습니까?

0열

1답변

EMR의 각 노드에 파일을 다운로드하기위한 부트 스트랩 작업을 작성하는 방법은 무엇입니까?

내 클러스터의 각 노드에 postgres 드라이버를 다운로드하려고합니다. 나는 다음과 같은 부트 스트랩 동작을 쓴하지만 근무하지 않는 것 : #!/bin/bash aws s3 cp s3://path/to/driver/jars/postgresql-9.4.1210.jre7.jar . 나는이 할 수있는 쉬운 일이 있어야합니다 알지만, 명백한 예를 찾을 수

0열

1답변

EMR 클러스터에서 SSL을 통해 AWS Aurora에 mysql java 커넥터 연결 : 하나의 접근법

EMR 클러스터에서 SSL을 통해 오로라로 작업을 연결하는 방법은 무엇입니까? 이 문제에 대한 부분적인 해결책을 제시하는 포럼에는 많은 정보가 흩어져 있으므로 여기서 요약하려고합니다.

11열

2답변

Spark 2.0은 'DirectParquetOutputCommitter'를 사용하지 않으려 고합니다.

최근에 "EMR on HDFS"- "EMR on S3"(일관된보기가 설정된 EMRFS)에서 S3에 대한 Spark 'SaveAsTable'(마루판 형식) 쓰기가 HDFS에 비해 ~ 4 배 느리지 만 우리는 DirectParquetOutputCommitter - [1] w/Spark 1.6을 사용하는 해결 방법을 발견했습니다. S3 속도 저하 이유 - 우리는