apache-spark

0열

1답변

py4j.Py4JException : 방법 분할 ([]) 내 스파크 작업을 실행할 때 나는 다음과 같은 오류가

존재하지 않습니다이 points = df.rdd.map(lambda x: ((x['col1'], x['col2'], x['col3']), x[i + '_func'])) points.cache() dim = points.first()[1].size print points._jrdd.splits().size() 마지막 행 예외 : py4j.protoc

python apache-spark pyspark rdd py4j 2017-12-27

---

1열

1답변

스파크 : 일괄 단부

버전 카프카 오프셋 커밋 스파크 2.2 카프카 0.11 카프카의 오프셋을 저지 documentation에 따른 I가 사용해야 stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges) 결과 오프셋은 sta에서만 커밋됩니다. 다음 배치의 rt. 그것은 '일정한'지체를 야기합니다. 현재 배치가 끝날 때 오

apache-spark apache-kafka 2017-12-27

---

0열

1답변

spark datframe, scala에서 행을 열로 변환하는 방법

데이터 프레임 행을 열에 조인 할 수있는 방법이 있습니까? I는 입력으로 구조를 다음과 같은 한 : 행을 열로 전치 사용할 수있는 최적화 된 직접 API가있는 경우 val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pi

scala apache-spark spark-dataframe transpose 2017-12-27

---

0열

1답변

Apache Spark nullable 값을 가진 그룹당 레코드 수

레코드 수를 계산할 때 NULL이있는 그룹은 레코드가 없지만 올바르지 않습니다. 입력 DataFrame : +--------+ | Name| +--------+ | Andrei| | Andrei| | null| | null| |Grigorii| +--------+ 코드 : Dataset<Row> df = inputDf.groupBy("Na

java apache-spark 2017-12-27

---

0열

1답변

Neo4j : 세션에 대한 작업자 .. 크래싱. 자바 힙 공간 OutOfMemoryError가

스파크 작업 내가 실행하고 있습니다 : 그것은 자바에서 스칼라로 변환 '병렬'한 아주 간단한 프로그램입니다 (이것은 병렬로 실행되도록 의도되지하지만에 실험이다) spark와 neo4j를 배우고 b) 더 많은 작업을하는 더 많은 노드를 가진 스파크 클러스터에서 실행하여 속도 향상을 얻을 수 있는지 확인하십시오. 그 이유는 큰 bottle neck이 neo4j

apache-spark neo4j 2017-12-27

---

0열

1답변

Spark - ArrayBuffer가 아직 트래버스되지 않은 요소를 가져 오는 것 같습니다

MapPartition의 ArrayBuffer에는 아직 트래버스되지 않은 요소가있는 것 같습니다. 예를 들어이 코드를 살펴보면 첫 번째 항목에는 요소 1, 요소 2, 요소 3, 요소 3이 있어야합니다. 첫 번째 ArrayBuffer 출력에 9 개의 항목이있을 수 있습니다. 이것은 첫 번째 결과가 나오기까지 9 번의 반복이 있었음을 암시하는 것으로 보이지만,

scala apache-spark 2017-12-27

---

0열

1답변

16 개의 작업 (1048.5MB)의 직렬화 된 결과의 총 크기가 spark.driver.maxResultSize (1024.0MB)보다 큽니다.

을 spark-submit 명령에 추가하면 다음 오류가 발생합니다. (오류 위) 어쨌든 따라서, I는 2.5 GB의 maxResultSize 증가 py4j.protocol.Py4JJavaError: An error occurred while calling o171.collectToPython. : org.apache.spark.SparkException:

python apache-spark pyspark spark-dataframe 2017-12-27

---

0열

1답변

튜플의 데이터 집합을 절감하는 방법

나는 다음과 같은 형식의 데이터가 포함 된 데이터 집합이 : 나는 그것을 기반에이 감소 실행하고 싶습니다 (티란데를, 1,0,1를) 첫 번째 요소. 둘째, 셋째, 넷째 나는 합치기를 원합니다. 저는 스칼라/스파크에 익숙하지 않고 아마도 나 자신보다 앞설 것 같지만 일부는 인정 될 것입니다. 감사

scala apache-spark 2017-12-27

---

0열

1답변

스파크 --- zookeeper.ClientCnxn : 서버는 null 세션이 0x0, 예기치 않은 오류

나는 다음과 같은 명령 의 로직을 포함 소스 파일에 대한 파일 경로 점 spark-shell --master local[*] --jars ./library/ejml-0.23.jar,library/jollyday.jar,library/protobuf.jar,library/stanford-corenlp-3.6.0-models.jar,library/stanfor

scala apache-spark hbase apache-zookeeper spark-submit 2017-12-28

---

-1열

2답변

"Task not serializable"예외로 UDF가있는 쿼리가 실패하는 이유는 무엇입니까?

저는 UDF를 만들었고 조인 내부에서 병합 결과에 적용하려고합니다. 는 이상적으로는 가입 기간 동안이 일을하고 싶습니다 : def foo(value: Double): Double = { value/100 } val foo = udf(foo _) df.join(.....) .withColumn("value",foo(coalesce(

scala apache-spark serialization apache-spark-sql 2017-12-28

---