spark-dataframe

0열

1답변

문자열이나 RDD를 인수로 사용하지만 데이터 프레임을 반환하는 함수를 만들려고합니다. 코드 : def udf1 (input: String) = { val file = sc.textFile(input); file.map(p => Person( (p.substring(1, 15)), p.substring(16, 20))).to

0열

1답변

apache zeppelin이 CSP를 사용하여 CSP를 읽지 못하는 경우

Zeppelin-Sandbox 0.5.6을 Spark 1.6.1과 Amazon EMR으로 사용하고 있습니다. s3에있는 csv 파일을 읽습니다. 문제는 때때로 파일을 읽는 중 오류가 발생했습니다. 나는 그것이 작동 할 때까지 인터프리터를 여러 번 다시 시작해야한다. 내 코드가 변경되지 않습니다. 나는 그것을 복원 할 수 없으며 그것이 언제 일어나는지 알 수

0열

1답변

pyspark sql DataFrame을 xml 형식으로 저장하는 방법

pyspark sql 데이터 프레임을 쪽모 세 형식으로 저장했습니다. 이제 XML 형식으로 저장하려고합니다. 어떻게해야합니까? 직접 pyspark sql 데이터 프레임을 XML로 저장하거나 parquet을 xml로 변환하면 해결됩니다. 미리 감사드립니다.

2열

1답변

pyspark. 난수를 생성하는 트랜스포머는 항상 동일한 숫자를 생성합니다

dataframe을 스칼라에서 파이썬으로 복사 한 다음 큰 파이프 라인으로 다시 가져와야 할 때 성능에 미치는 영향을 측정하려고합니다. from pyspark.ml.pipeline import Transformer from pyspark.ml.param.shared import HasInputCol, HasOutputCol, Param from pysp

0열

1답변

스파크 데이터 프레임 reducebykey (비 고유 키 값 사용) 및 사용자 정의 값 연산

나는 Spark 1.5.0 코드를 가지고 있습니다. 경우 클래스 myCaseClass (USER_ID : 문자열, 설명 : 문자열) 여기 내 UDF입니다 다음 val getConcatenated = udf((first: String, second: String, third: String) => { first + " " + second + " " + thir

0열

1답변

성능 향상 저장 Spark ORC

저는 Spark 1.6.1을 사용하고 있으며 저는 Spark 세계에서 여전히 아주 새롭습니다. 파일을 ORC 형식으로 저장하는 중입니다. 비교적 큰 텍스트 파일 (8GB)을 ORC로 구문 분석하려고합니다. 일반적으로 파일은 매우 넓습니다 (예 : 200 개 이상의 열). 열 유형은 기본 : Int, String, Date입니다. 모든 줄을 구문 분석 한 다

9열

1답변

Spark SQL에서 큰 데이터 프레임을 결합하는 방법은 무엇입니까? (모범 사례, 안정성, 성능)

Spark SQL에서 큰 데이터 프레임을 결합 할 때 Missing an output location for shuffle과 같은 오류가 발생합니다. 권장 사항은 MEMORY_AND_DISK 및/또는 spark.shuffle.memoryFraction 0으로 설정하는 것이 좋습니다. 그러나 spark.shuffle.memoryFraction은 Spark>

0열

1답변

spark-sql 경우 REPL에서 작동하지만 코드가 컴파일되지 않습니다

이 코드는 REPL에서 작동하지만 컴파일하지 않습니다. 나는 암묵적인 것을 놓치고 있다고 생각한다. 그러나 비 REPL 코드는 다음 수입 사용해야에서 people.select(when(people("gender") === "male", 0) .when(people("gender") === "female", 1) .otherwise(2))

9열

3답변

Spark Dataframe의 Row 개체에서 값을 가져 오는 방법은 무엇입니까? <pre><code>averageCount = (wordCountsDF .groupBy().mean()).head() </code></pre> <p></p>에 대한

나는 Row(avg(count)=1.6666666666666667) 를 얻을 수 있지만, 내가하려고하면 averageCount = (wordCountsDF .groupBy().mean()).head().getFloat(0) 나는 다음과 같은 오류 얻을 : AttributeError: getFloat ----------------------

0열

1답변

sparkR 데이터 프레임을 unpivot하는 방법은 무엇입니까?

SparkR에서 데이터 프레임을 조 변경/unpivot하려고합니다. 필자는 데이터 프레임을 unpivoting하기 위해 SparkR 패키지에서 직접 사용할 수있는 방법을 찾지 못했습니다. includePackage 메서드를 사용한 후에도 SparkR 데이터 프레임에서 R 패키지를 사용할 수 없습니다. SparkR이나 하이브 (Hive)와 같은 다른 대안을