Spark Application이 계속 실행 중이고 고생하고있는 것처럼 보입니다 - org.apache.spark.sql.hive.thriftserver.HiveThriftServer2

Question

Hadoop 클러스터에서 HDFS 2.7.3 및 Spark2 2.0.0을 사용하고 있습니다. Spark2 Thrift Server를 시작하면 성공적으로 시작되지만 하이브 사용자로부터 자동으로 작업이 시작되어 영원히 멈춘 것 같습니다. 내가 수동으로 작업을 죽이면 다시 새로운 applicationId로 새로운 작업을 시작합니다.

하지만이 Spark2 드리프트 Server 사용을 중지 할 경우는 작업을 죽인다. 이 문제를 이해하도록 도와 주시겠습니까?

미리 감사드립니다.

Answer 1

나는 spark 2.0이 thriftserver 모듈에서 안정적이지 않다면, 2.1 spark 2.1로 업그레이드하는 것이 더 좋다.