amazon-emr

1열

1답변

YARN에서 Spark 응용 프로그램을 시작하기 전에 모든 실행 프로그램이 할당 될 때까지 기다리는 방법은 무엇입니까?

원사 클러스터에서 스파크 작업을 실행하고 리소스가 충분하지 않아도 스파크 작업이 시작된다는 것을 알았습니다. 극단적 인 예로, 스파크 작업은 1000 명의 실행자 (코어 4 개와 램 20GB)를 요구합니다. 전체 클러스터에는 r3.xlarge (노드 4 코어 및 32GB 램)의 노드가 30 개 밖에 없습니다. 작업은 30 명의 집행자 만 실제로 시작하고 실

0열

1답변

Apache pyspark에서 python 스크립트를 실행하는 AWS 설정 env

pyspark 프레임 워크에서 python 스크립트 인 RDD를 실행하여 데이터 분석 및 데이터 세트 시각화 생성이 필요합니다. AWS에서 로컬 시스템 (VM) 대신에 할 수 있다면 도움이 필요합니다. EMR 또는 EC2를 사용하는 AWS에서 몇 가지 옵션을 사용할 수 있지만 AWS에서 12 개월 동안 무료 평가판을 사용할지라도 관련 단계 및 가격 정책에

0열

2답변

권한 문제는

내가 우리 CDH의 하둡 클러스터 우리는 를 실행하는 EMR 클러스터가) 2 S3에 백업 할 1) 내 문제를 상태로 S3하기 3) em3 클러스터에서 s3distcp를 실행하려고합니다. src를 cd3 원격 클러스터 및 대상의 hdfs URL로 제공합니다. 가 다음 오류 갖는 org.apache.hadoop.ipc.RemoteException (org.ap

2열

2답변

RDD를 6 부분으로 나누는 방법은?

저는이 RDD의 각 요소가 XML 레코드를 나타내는 JAXB 루트 요소 인 Spark RDD를 작성했습니다. 이 RDD를 분할하여이 세트에서 6 개의 RDD를 생성하려고합니다. 기본적으로이 작업은 계층 적 XML 구조를 6 세트의 플랫 CSV 레코드로 간단하게 변환합니다. 나는 현재 6 번 RDD 6 번을이 작업에 사용하고 있습니다. 내 입력 데이터 세트는

2열

1답변

EMR에서 Spark/Zeppelin 용 spark.driver.memory를 설정하는 방법

EMR (Spark, Zeppelin)을 사용할 때 Zeppelin Spark 인터프리터 설정에서 spark.driver.memory을 변경하면 작동하지 않습니다. EMR 웹 인터페이스 (aws CLI 아님)를 사용하여 클러스터를 만들 때 Spark 드라이버 메모리를 설정하는 가장 좋은 방법은 무엇입니까? 부트 스트랩 작업이 해결책 일 수 있습니까? 예인

2열

1답변

pyspark/EMR의 큰 DataFrame에서 collect() 또는 toPandas()를 사용했습니다.

여러 리소스를 읽은 후 하나의 머신 "c3.8xlarge"의 EMR 클러스터를 가지고 있는데, 한 집행 : spark.executor.memory 6g spark.executor.cores 10 스파크 내가 pyspark를 사용하고 있기 때문에 힙, 그래서 나는 다음과 같은 클러스터를 구성한 .yarn.executor.memoryOverhead 4 096

0열

1답변

EMR에서 다중 업로드 사용 안 함

목표는 Amazon EMR에서 다중 업로드를 사용하지 않도록 설정하는 것입니다. guide에 classification=core-site,properties=[fs.s3.multipart.uploads.enabled=false]을 넣고 EMR 클러스터를 만들 때 소프트웨어 설정 편집을 입력하십시오. 내 질문은 : 우리는 EMR 클러스터를 기존 에 대한 구성

0열

2답변

DynamoDB에서 데이터에 대한 적절한 분석 대시 보드를 작성하는 방법은 무엇입니까?

일련의 Dynamo DB 테이블이 있습니다. 그리고이 테이블의 데이터에 대해 동적 실시간 (또는 거의 실시간) 대시 보드를 구축 할 수있는 적절한 솔루션을 설계하려고합니다. 예를 들어 테이블 "사용자"가 있고 각 사용자 항목에 "성별"속성이있는 경우 필자는 남성/여성 사용자의 수를 모니터링하여 기능을 공개 한 후 증가/감소하는 방식을 확인하는 실시간 대시

0열

1답변

HadoopJarStepConfig.StepProperties를 사용하는 방법?

AWS docs는이 속성이 "작업 흐름 단계가 실행될 때 설정되는 Java 속성 목록입니다. 이러한 속성을 사용하여 JAR 파일의 기본 기능에 키 - 값 쌍을 전달할 수 있습니다."라고 설명합니다. 하지만 전달 방법과 주요 기능 측면에서 키 - 값 쌍의 컬렉션에 올바르게 액세스하는 방법에 대한 설명은 없습니다 (적어도 필자는 찾지 못했습니다). 빠른 확인은

1열

1답변

Spark Streaming 응용 프로그램의 통계 끝점에 액세스하는 방법은 무엇입니까?

Spark 2.2.0부터는 스트리밍 작업에 대한 정보를 얻기 위해 API에 새로운 끝 점이 있습니다. 클러스터 모드에서 Spark 2.2.0을 사용하여 EMR 클러스터에서 스파크를 실행합니다. 내 스트리밍 작업에 대한 엔드 포인트에 충돌 할 때, 모두가 나에게주는 오류 메시지입니다 :에는 스트리밍 청취자 내가 통해 발굴 한 > < 스트림 이름에 첨부되지 스