커스텀 StatsD를 사용하여 실행 프로그램을 구성하는 방법 Spark 메트릭 싱크

Question

Executor 용으로 StatsD sink에 Spark Streaming 메트릭을 싱크하려면 어떻게해야합니까? 다른보고 된 문제 (sink class not found, sink class in executor)와 유사

, 나는 드라이버 통계를 얻을 수 있지만, 집행 내 설치를 ClassNotFoundException을 던져 :

• StatsD sink 클래스 내 스파크 - 스트리밍 응용 프로그램 (my.jar)
로 컴파일
이
• --files ./my.jar (항아리를 끌어 :
• spark-submit

  이 실행됩니다

• --conf "spark.executor.extraClassPath=my.jar"

• 스파크 컨퍼런스가 함께 드라이버에서 구성) 집행에 싱크되는 포함 :

  val conf = new SparkConf() 
  
  conf.set("spark.metrics.conf.*.sink.statsd.class", 
       "org.apache.spark.metrics.sink.StatsDSink") 
      .set("spark.metrics.conf.*.sink.statsd.host", conf.get("host")) 
      .set("spark.metrics.conf.*.sink.statsd.port", "8125") 
  

Answer 1

하면 버그 https://issues.apache.org/jira/browse/SPARK-18115 충돌 보인다. 나는 그것도 때리고 당신의 질문을 봤다. (

Answer 2

jar 파일을 $ SPARK_HOME/jars 폴더에 복사하십시오.