spark-dataframe

0열

1답변

계산 된 rdd를 다른 위치에 저장하는 방법을 알고 싶습니다. 또한 계산없이 알림을 위해 같은 것을 확장하십시오. rdd = <do some action> 내가 rdd.saveAstextFile("s3://<location1>")는 location1, 에 저장합니다하지만 location2에 저장하려면 방법도 그것을 어떻게 알고? persist/cache

0열

1답변

하나의 DataFrame에 3 개의 DataFrames를 결합하는 방법은 무엇입니까?

세 가지 다른 DataFrames를 하나로 결합하려고 시도하고 있지만 세 가지 모두에 참여하는 데 문제가 있습니다. 나는 둘을 합칠 수 있었다. 어떻게 세 개의 DataFrame을 올바르게 결합 할 수 있습니까? Pyspark : 아래 1.6.0 내 지금까지 노력하고 있습니다 : # EXPECTED OUTPUT: # -------file1.csv----

-1열

2답변

Python에서 샘플 스파크 dataFrame을 만드는 방법은 무엇입니까?

나는 다음 코드는 df = spark.createDataFrame(["10","11","13"], ("age")) ## ValueError ## ... ## ValueError: Could not parse datatype: age 예상 결과를 작동하지 않습니다이 같은 샘플 DataFrame을 만들 age 10 11 13

-1열

1답변

Pyspark의 새로운 DataFrame에 반복적으로 저장

3 개의 다른 PySpark DataFrames를 기반으로 계산을 수행하고 있습니다. 이 스크립트는 계산을 수행한다는 의미에서 작동하지만, 상기 계산의 결과와 올바르게 작동하는 데 어려움을 겪습니다. 각 열 및 데이터의 각 행에 대한 import sys import numpy as np from pyspark import SparkConf, SparkC

0열

1답변

데이터 프레임을 스칼라/스파크의 [String, List [String]] 맵으로 변환하는 것을 어떻게 최적화 할 수 있습니까?

많은 신호가있는 DataFrame이 있고이를지도로 변환하고 싶습니다. [String, List [String]] 코드를 실행하고 있지만 실행하는 데 시간이 오래 걸리는 문제가 있습니다. . 100 개의 신호 만 들어 있으면 약 13 분이 필요합니다. +----------+-----+ |SignalName|Value| +----------+-----+

0열

1답변

Spark CSV로 저장하지 마십시오. 공백을 무시하지 마십시오.

Dataframe을 CSV 파일로 저장하려고합니다. 공백을 유지하려고합니다. Spark 2.1.1을 사용하고 있습니다. 그러나 CSV 파일로 저장하려고하면 모든 공백이 제거됩니다. 이러한 옵션을 시도했지만 작동하지 않았습니다. option("ignoreLeadingWhiteSpace",false") .option("ignoreTrailingWhit

0열

1답변

spark-sql에서 SELECT WHEN을 사용하여 여러 열 선택

select에서 여러 열을 얻는 방법? 예를 들어, 나는이와 함께 1 열을 얻을 수 있습니다 : df1.alias("l") .join(df2.alias("r"),Seq("id")) .select(when($"l.score" > $"r.score", $"l.name").otherwise($"r.name")) 을하지만이 전 이상 1 열 (또는 데이터 프

0열

1답변

Spark에서 C++ UDF 실행

Spark에서 C++ UDF를 실행할 방법을 찾으려고합니다. 지금까지는 Java UDF를 실행할 수있는 방법을 찾을 수만 있었고 C++ UDF를 실행하는 방법을 찾을 수 없었습니다. 누구나 스파크 (스칼라 또는 PySpark)에서이를 수행하는 방법을 알고 있습니다.

0열

2답변

pespark에서 사전을 만드는 가장 빠른 방법 DF

SQL 쿼리를 실행하고 출력 DF를 사전으로 변환하여 mongo에 대량 삽입하기 위해 pyspark와 함께 Snappydata를 사용하고 있습니다. 나는 스파크 DF를 사전으로 변환하는 것을 테스트하기 위해 많은 비슷한 질문을했다. 현재 map(lambda row: row.asDict(), x.collect())이 방법을 사용하여 bulk DF를 사전으로

0열

1답변

스파크 필터 데이터 프레임이 빈 결과를 반환합니다.

저는 HDFS에 저장된 스칼라 및 스파크 처리 파일을 사용하는 프로젝트에서 작업하고 있습니다. 그 파일들은 아침에 HDFS에 매일 방문합니다. 매일 HDFS에서 해당 파일을 읽고 처리 한 다음 그 결과를 HDFS에 기록하는 작업이 있습니다. 파일을 Dataframe으로 변환하면이 작업은 필터를 실행하여 마지막 파일 내에서 처리 된 가장 높은 타임 스탬프보다