는 아파치 스파크 2.2 버전

Question

을 사용 SparkContext 개체를 만들 수 없습니다 나는 MS 윈도우 7

처음에, 나는 스파크 1.6에서 스칼라를 사용하여 하나 개의 프로그램을 시도하고 괜찮 았는데 사용합니다. 나는 PARALLELIZE 방법 아래 실행하려고 그것은 나에게 하나의 오류를 줄 때 지금

import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 
val sc = new SparkConf().setAppName("myname").setMaster("mast") 
new SparkContext(sc) 

: 나는 2.2 스파크했을 때

, 내가 자동으로 sc을 받고 있지 않다 그래서 나는 다음 단계를 수행하여 하나를 만들어

val data = Array(1, 2, 3, 4, 5) 
val distData = sc.parallelize(data) 

오류 :

Value parallelize is not a member of org.apache.spark.SparkConf 

나는 FOLLO 이 단계는 공식 문서만을 사용하십시오. 아무도 나 잘못 설명해 줄 수 있니? 미리 감사드립니다. :)

Answer 1

경우가에서 스파크에 대한 진입 점이기 때문에

Spark context available as 'sc' (master = local[*], app id = local-XXX).

실행

val sc = SparkContext.getOrCreate() 

Answer 2

SparkConfig이 아닌 sc은 SparkContext이 아니며 (둘 다 동일한 머리 글자가 있음) 문제가 발생했습니다. 스파크 2.0 버전 또는 다른 버전에있어서 병렬화하여 들어

---

, sc는 SparkContext하지 SparkConf이어야한다. 올바른 코드는 다음과 같아야합니다.

import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 
val sparkConf = new SparkConf().setAppName("myname").setMaster("mast") 
val sc = new SparkContext(sparkConf) 
val data = Array(1, 2, 3, 4, 5) 
val distData = sc.parallelize(data) 

이렇게하면 원하는 결과를 얻을 수 있습니다. 처음에이 라인이 표시되지 않습니다스파크 쉘

Answer 3

당신은 SparkSession를 사용하는 것을 선호한다 버전 2. 다음과 같이 시도해보세요.

import org.apache.spark.sql.SparkSession 

val spark = SparkSession.builder. 
    master("local") 
    .appName("spark session example") 
    .getOrCreate() 
val sc = spark.sparkContext 
val data = Array(1, 2, 3, 4, 5) 
val distData = sc.parallelize(data) 

Answer 4

Apache Spark의 2.2.0 version에는 약간의 문제가 있습니다. 나는 가장 최근의 2.2.1 version으로 바꿨고 spark-shell을 통해 cmd을 windows 7으로 시작할 때 sc과 spark 변수를 자동으로 얻을 수 있습니다. 누군가가 도움이되기를 바랍니다.
아래 코드를 실행하여 rdd를 생성하고 완벽하게 작동합니다. 패키지를 가져올 필요가 없습니다.

val dataOne=sc.parallelize(1 to 10) 
dataOne.collect(); //Will print 1 to 10 numbers in array