하나의 실행 프로그램 만 사용하여 실행중인 스파크 작업이있는 이유는 무엇입니까?

Question

My Spark 클러스터에는 마스터가 1 명, 작업자가 2 명 있습니다. 응용 프로그램은 s3에서 DataFrames로 csv 파일을 읽어 임시 테이블로 등록하고 sqlContext를 사용하여 sql 쿼리를 실행하여 새 DataFrames를 만듭니다. 그런 다음이 DF는 MySql DB에 저장됩니다. 이러한 작업은 모두 여러 노드에서 실행됩니다.

그러나이 테이블을 DB에서 DataFrames로 읽어 들인 후 임시 테이블로 등록하고 sqlContext 쿼리를 실행하면 모든 노드가 하나의 노드로 처리됩니다. 무엇이 이것을 일으킬 수 있습니까?

DataFrame a = sqlContext.read().format("com.databricks.spark.csv").options(options) 
       .load("s3://s3bucket/a/part*"); 
DataFrame b = sqlContext.read().format("com.databricks.spark.csv").options(options) 
       .load("s3://s3bucket/b/part*"); 

a.registerTempTable("a"); 
b.registerTempTable("b"); 

DataFrame c = sqlContext.sql("SELECT a.name, b.name from a join b on a.id = b.a_id"); 

c.write().mode(SaveMode.Append).jdbc(MYSQL_CONNECTION_URL, "c", prop); 

// other jobs are similar 

Map<String, String> dOptions = new HashMap<String, String>(); 
dOptions.put("driver", MYSQL_DRIVER); 
dOptions.put("url", MYSQL_CONNECTION_URL); 

dOptions.put("dbtable", "(select * from c) AS c"); 
rC= sqlContext.read().format("jdbc").options(dOptions).load(); 
rC.cache(); 

dOptions.put("dbtable", "(select * from d) AS d"); 
rD= sqlContext.read().format("jdbc").options(dOptions).load(); 
rD.cache(); 

dOptions.put("dbtable", "(select * from f) AS f"); 
rF= sqlContext.read().format("jdbc").options(dOptions).load(); 
rF.cache(); 

rC.registerTempTable("rC"); 
rD.registerTempTable("rD"); 
rF.registerTempTable("rF"); 

DataFrame result = sqlContext.sql("SELECT rC.name, rD.name, rF.date from rC join rD on rC.name = rD.name join rF on rC.date = rF.date"); 

result.write().mode(SaveMode.Append).jdbc(MYSQL_CONNECTION_URL, "result_table", prop); 

Answer 1

당신이 우리와 함께 SparkConf() 객체를 공유 할 수 없습니다 : 여기

내 코드의 예입니다?

SparkConf() 개체에는 Spark 응용 프로그램의 구성이 포함되어 있습니다. 그것은 다음과 같은 키값 쌍 각종 점화 파라미터를 설정하기 위해 사용된다 : 실행기 코어

실행기 넘버의

넘버

-THE 마스터

-heap 메모리

할당

- 기타 ..