클라우드 형성을 통해 EMR 클러스터를 작성 중입니다. AWS 관리 콘솔에서 이미 보안 구성을 만들었습니다. 클라우드 형성에서 EMR을 생성하는 동안이 보안 구성을 추가 할 수있는 방법을 찾을 수 없습니다. 또는 람다 함수를 활용할 수 있지만 클러스터를 만든 후에 EMR 보안 구성을 추가하는 방법은 무엇입니까? 어떤 도움을 주시면 감사하겠습니다 ...
내 감속기에이 메모리 오류를 받고 있어요 : Container is running beyond physical memory limits. Current usage: 6.1 GB of 6 GB physical memory used; 10.8 GB of 30 GB virtual memory used. 그래서 그래, mapreduce.reduce.memory.m
현재 AWS EMR을 Talend와 통합하려고합니다. 나의 목적은 AWS EMR에서 Talend 작업 (Talend 스튜디오에서 내 보낸)을 실행하는 것입니다. 나는 이미 "사용자 정의 jar로 단계 추가"를 시도했지만 Talend 작업은 또한 lib 폴더와 스크립트를 사용하여 실행되는 것으로 보입니다. 뚱뚱한 항아리로 실행하고 싶지만이 질문은 JAR 파일
AWS에서 emr-5.3.1과 spark 2.1.0을 실행 중입니다. 내 JAR (FAT의 JAR) 나는 다음과 같은 오류를 받고 있어요와 스파크 작업을 제출하고 있습니다 : user class threw exception: java.lang.NoSuchMethodError: com.amazonaws.auth.DefaultAWSCredentialsProvi
AWS EMR Hadoop 클러스터에서 색조를 다시 시작할 수 없습니다. hue.ini 파일을 수정했고 변경 사항을 적용하기 위해 색조를 다시 시작하려고했습니다. "서비스 색조 다시 시작"을 실행하면 "명령을 찾을 수 없습니다"오류가 발생합니다. 색조가 환경 경로에 추가되지 않기 때문에 이것이되어야 함을 이해할 수 있습니다. 그러나 bin/hue를 실행하면
에 내가 하이브 2.1.1을 사용하고 있는데 내가 열 이름에 .있는 테이블을 만들려고 해요 : 내가 할 때 CREATE TABLE `test_table`(
`field.with.dots` string
);
그래서 얻을 : FAILED: ParseException line 4:0 Failed to recognize predicate ')'. Fa
클러스터의 노드가 비정상 상태가되는 이유는 무엇입니까? 제한된 이해에 따라 일반적으로 주어진 노드의 HDFS 사용이 임계 값을 초과하면 발생합니다. 이 임계 값은 max-disk-utilization-per-disk-percentage 속성으로 정의됩니다. 메모리 집약적 인 스파크 작업이 spark-sql에서 트리거되거나 pyspark 노드를 사용하면 비정
내 스파크 애플리케이션이 AWS EMR 클러스터에서 실행되지 않습니다. 일부 클래스는 응용 프로그램 jar가 아니라 EMR에 의해 설정된 경로에서로드되기 때문에 이것이 나타났습니다. 파일 : 예를 들어 java.lang.NoSuchMethodError: org.apache.avro.Schema$Field.<init>(Ljava/lang/String;Lorg