apache-spark-1.6

1열

1답변

"WARN TaskSetManager : 4 단계에는 매우 큰 작업이 포함되어 있습니까?"

나는 불꽃 1.6.1을 사용한다. 내 spark 응용 프로그램은 s3에 저장된 10000 개가 넘는 쪽지 파일을 읽습니다. val df = sqlContext.read.option("mergeSchema", "true").parquet(myPaths: _*) myPaths는 10000 개 마루 파일의 경로를 포함하는 Array[String]입니다. 각

1열

2답변

공백으로 구분 된 텍스트 파일을 읽고 하이브에 저장하는 방법?

다음과 같은 문자열이 있습니다. 첫 번째 행은 머리글이고 나머지는 열 값입니다. 문자열에서 데이터 프레임 (Spark 1.6 및 Java7)을 만들고 col3 및 col4의 값을 DOUBLE로 변환하려고합니다. col1 col2 col3 col4 col5 val1 val2 val3 val4 val5 val6 val7 val8 val9 val10 val

1열

2답변

saveAsTable에 다른 하이브 메타 스토어를 사용하는 방법은 무엇입니까?

나는 PySpark를 사용하여 Spark SQL (Spark 1.6.1)을 사용하고 있으며 하나의 Hive metastore에서 테이블을로드하고 데이터 프레임의 결과를 다른 Hive metastore에 쓰는 요구 사항이 있습니다. 하나의 스파크 SQL 스크립트에 대해 두 개의 다른 메타 스토어를 사용하려면 어떻게해야합니까? 내 스크립트는 다음과 같습니다.

0열

1답변

Spark thrift 서버에 액세스하는 중 오류가 발생했습니다.

스파크 버전 : 1.6.3 스파크 절약 서버를 프록시로 실행 중입니다. 하지만 예상만큼 오래 달릴 수는 없습니다. 높은 하중이 가해지면 항상 멈 춥니 다. 액세스 할 때 이것은 오류입니다. Java 힙 공간 그러나 내가 증가 필요한 메모리 모른다 : <html> <head> <meta http-equiv="Content-Type" content=

0열

1답변

Cassandra 테이블에서 로컬 파일보다 데이터 집합을 읽을 때 Spark 응용 프로그램을 실행하는 데 시간이 오래 걸리는 이유는 무엇입니까?

다음 코드가 있으며 결과를 생성 한 직후 응용 프로그램이 종료됩니다. 내가 스파크 카산드라 커넥터와 카산드라에 대해 아래의 코드를 실행하면 def textProcess(sc: SparkContext) { val baseRDD = sc.textFile("C:\\myDrive\\test.log") val result = baseRDD.ma

1열

1답변

데이터 프레임에 rdd 객체의 인수가 너무 많습니다.

this question을 사용하여 rdd 객체를 spark의 dataframe으로 변환하려고했습니다. 내 유스 케이스의 클래스는 100 개 이상의 인수 (열) case class MyClass(val1: String, ..., val104: String) val df = rdd.map({ case Row(val1: String, ..

0열

1답변

스칼라 데이터 프레임 필터 문자열 배열

스파크 1.6.2 및 스칼라 2.10 여기. 스파크 데이터 프레임 열을 문자열 배열로 필터링하고 싶습니다. val df1 = sc.parallelize(Seq((1, "L-00417"), (3, "L-00645"), (4, "L-99999"),(5, "L-00623"))).toDF("c1","c2") +---+-------+ | c1| c2| +--

1열

1답변

spark 1.X에서 CSV로 excel 파일 변환

Spark 1.X를 사용하여 Excel 파일을 CSV로 변환 할 수있는 도구가 있습니까? https://github.com/ZuInnoTe/hadoopoffice/wiki/Read-Excel-document-using-Spark-1.x Exception in thread "main" java.lang.NoClassDefFoundError: org/zuinn

1열

1답변

PySpark에서 PageRank 및 BFS 함수를 실행하는 동안 오류가 발생했습니다.

Spark를 처음 접했고 Cloudera Distr for Hadoop (CDH)에서 학습 중입니다. 오류 메시지와 함께 아래 pyspark --packages graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-csv_2.11:1.2.0 내가 실행하려고 랭크 기능 명령을한다 : 나는 다음과 같은

0열

2답변

Spark SQL의 분해 필드에서 GROUP BY를 수행하는 방법은 무엇입니까?

제플린 0.6 스파크 1.6 SQL 나는 어떤 트윗에서 상위 20 발생하는 단어를 찾기 위해 노력하고있다. filtered에는 각 짹짹에 대한 단어 배열이 들어 있습니다. 사용자가 예상하는대로 select explode(filtered) AS words from tweettable 에는 각 단어를,하지만 내가 원하는 모든 트윗을 통해 각 단어의 수를 가