amazon-emr

0열

1답변

EMR에 서비스가 있습니까 또는 S3에 쪽매 세공 파일 작성 작업을 제출할 때 진행률 막대 (또는 경과 시간)를 볼 수있는 방법이 있습니까? 코드 : df.write.partitionBy("date").mode("append").parquet("s3n://uk-adp-vault/semasio/output")

0열

1답변

장기 실행 EMR 클러스터에서 AWS 데이터 파이프를 설정하십시오.

장기간 실행중인 EMR 클러스터가 있고 그 후에 해당 클러스터에서 데이터 파이프 라인을 설정하고 싶다면 어떻게해야합니까? 이 EMR 클러스터에 Task Runner를 설치해야합니까? 또는 Task Runner가 사전 설치되어 있습니까? 아니면 다른 간단한 방법이 있을까요?

2열

2답변

Amazon EMR Pyspark : rdd.distinct.count() failling

현재 2 개의 테이블을 수집하기 위해 RDS에 연결하는 EMR 클러스터로 작업 중입니다. 생성 된 2 개의 RDD가 매우 크지 만 다른 .take (x) 작업을 수행 할 수 있습니다. unique_users = rdd.distinct.count() 나는 시도했다 : info_rdd = somerdd.map(lambda x: (x[1], x[2])).gr

1열

2답변

클러스터 모드에서 스파크 단계를 사용하는 AWS EMR. 애플리케이션 application_이 실패 상태로 완료했습니다.

AWS Cli를 사용하여 클러스터를 시작하려고합니다. 다음 명령을 사용합니다 : aws emr create-cluster --name "Config1" --release-label emr-5.0.0 --applications Name=Spark --use-default-role --log-uri 's3://aws-logs-813591802533-us-wes

0열

1답변

크로스 조인 작업을위한 클러스터 구성

AWS EMR에서 스파크 애플리케이션을 실행 중입니다. 이 응용 프로그램에는 300000 열에서 mllib 함수 (columnSimilarities)를 수행하고 교차 조인 작업이 포함됩니다. 현재 클러스터 구성에서 Out-Of-Memory 오류가 발생했습니다. 내 의심은 내가 노드의 수를 늘리거나 인스턴스 유형을 업그레이드하고 노드 수를 동일하게 유지해야하

-1열

2답변

AWS EMR - 업로드 내가 AWS의 CLI를 사용하고 응용 프로그램 마스터

에 제출하고 난 다음 명령을 사용하여 클러스터를 시작 : : 그 후 aws emr create-cluster --name "Config1" --release-label emr-5.0.0 --applications Name=Spark --use-default-role --ec2-attributes KeyName=ChiaveEMR --log-uri 's3://

1열

1답변

AWS 데이터 파이프 라인 작업에서 코어 인스턴스 수를 제공하는 방법

요구 사항 : S3 백업 위치에서 DynamoDB 테이블을 복원하십시오. 데이터 파이프 라인 작업을 생성 한 다음 아키텍트 마법사에서 리소스 섹션을 편집했습니다. 코어 인스턴스 수에 20 개의 인스턴스를 배치했지만 데이터 파이프 라인 작업 활성화 후 하나의 마스터 인스턴스와 하나의 코어 인스턴스로 EMR 클러스터가 생성되었습니다. 당신은 자료 섹션

0열

1답변

람다를 사용하여 클러스터를 가져오고 쓰러 뜨림

예약 된 람다 함수를 사용하여 EMR 클러스터를 주기적으로 가져 오거나 분리하려고합니다. CloudFormation을 통해이 작업을 수행하고 있습니다. 아마도 람다를 사용하여 EMR 클러스터를 시작할 수 있습니다. 온라인에서 찾은 모든 자료는 CloudFormation을 사용하여 람다 함수를 시작하지만 다른 방법을 원합니다. 아무도 아이디어가 있거나 적절한

1열

1답변

AWS EMR에서 nltk를 다운로드하면 '[Errno 28] 기기에 남은 공간이 없음'

Amazon AWS EMR 클러스터에서 아래 코드를 실행하는 중에 '공간 없음'오류가 표시됩니다. import nltk nltk.download('all') 나는 다음은 사용 가능한 메모리 available memory in the cluster의 스크린 샷이다, 명령 행에서 메모리를 확인했습니다. 제발 날 안내해 줘.

0열

1답변

Amazon은 클러스터 시작 및 종료 시간을 청구 할 것입니다.

Amazon EMR에서 클러스터를 생성 할 때 시작하는 데 시간이 걸립니다. 생성되기 전에 클러스터를 종료하면 비용이 청구됩니다. 클러스터는 종료하는 데 약간의 시간이 걸립니다. 58 분에 클러스터를 종료하고 클러스터를 종료하는 데 5 분이 더 소요된다고 가정합니다. 1 시간 또는 2 시간 동안 청구 되나요? 아마존 EC2와 아마존 EMR 두 아마존 EC2