EMR에서 스파크 작업 (버전 2.1.1)을 실행할 때 각 실행은 데이터 프레임에서 다른 양의 행을 계산합니다. 먼저 s3에서 4 개의 다른 데이터 프레임으로 데이터를 읽었습니다.이 개수는 데이터 프레임에 합류 한 후 항상 일치합니다. 조인의 결과는 서로 다릅니다. 이후 나는 또한 결과를 필터링하고 각 실행마다 다른 카운트를 갖는다. 변형은 1 ~ 5 행
클러스터 관리자 실패 원사를 배포 모드 : 없음 배포 모드가 없음으로 설정되어있는 경우 내가 들었다 , 드라이브 프로세스의 표준 출력은 루트 경로에 온다, 드라이버 프로세스의 내부 컨테이너 ID 대신. SparkUI 로그 : 오류를 Container executed on lost node... 을 부여 내가 다른 모든 dataframes를 unpersist
대부분 내 스크립트는 다음과 같이하고 있습니다. 내 처리를 withing에 그룹화, 더 응집이 없기 때문에 spark.read().csv("s3://")
.filter(..).map(...)
.write().parquet("s3://");
불꽃을 지정할 수있는 방법은, 내가 메모리에서 수행이 모든 일을 원하는 있나요? 이것은 디스크를
내가 작성한 돼지 스크립트는 4GB의 데이터를 로컬에서 실행하지만 EMR 클러스터에서 실행하려고하면 statement.Below가 특정 그룹에 걸려있다. 나는 점점 오전 오류 ... at org.apache.tez.dag.app.dag.impl.VertexImpl$NoOpVertexManager.onVertexStateUpdated(VertexImpl.ja
AWS EMR-Spark에서 응용 프로그램을 실행하고있었습니다. 여기에 불꽃 제출 작업이 있습니다. - Arguments : spark-submit --deploy-mode cluster --class com.amazon.JavaSparkPi s3://spark-config-test/SWALiveOrderModelSpark-1.0.assembly.jar s
AWS EMR에서 Java 작성 스파크 애플리케이션을 실행하는 데 문제가 있습니다. 로컬에서는 모든 것이 정상적으로 실행됩니다. EMR에 일자리를 제출할 때, 일자리가 수 분이 걸릴지라도 항상 20 초 동안 "완료"됩니다. 출력이 생성되지 않고 로그 메시지가 인쇄되지 않습니다. 날씨가 혼동 스럽기 때문에 Spark 신청서 또는 CUSTOM_JAR 유형으로
AWS EMR-Spark에서 응용 프로그램을 실행하고있었습니다. 여기에 불꽃 제출 작업이 있습니다. - Arguments : spark-submit --deploy-mode cluster --class com.amazon.JavaSparkPi s3://spark-config-test/SWALiveOrderModelSpark-1.0.assembly.jar s
그것이로 다음과 같이 나는 나의 machine.the 구성에서 실행하고 스파크 작업 aggregationfinal_2.11-0.1 병이 있습니다 package deploy
object FinalJob {
def main(args: Array[String]): Unit = {
val spark = SparkSession
AWS에서 설정하지 않은 EMR을 사용하고 있습니다. 파이썬 인터프리터 스파크가 사용하고 나는 우리 불꽃 제출 명령을 실행하면 내 .bashrc에에 내가 할 수있는 경로로 인쇄 할 sys.executable 사용한 다음 설치 export PYSPARK_PYTHON=/mnt/anaconda/bin/python 을 이해하는 것을 시도하고있다 파이썬 인터프리터와