spark-dataframe

-1열

1답변

값을 중복 한 행을 제거 I는 다음 데이터 프레임을 가지고 field_A | field_B | field_C | field_D cat | 12 | black | 11 dog | 128 | white | 19 dog | 35 | yellow | 20 dog | 21 | brown | 4 bird | 10 | bl

-1열

1답변

pyspark : distinctCount - AnalysisException :. u는 "해결할 수없는 주어진 입력 열을 'X':

나는 다음과 같은 데이터 프레임을 가지고 : 나는 단지 이드 distinctCount(field_A') = 1이있는 행을 유지하고 싶은 Id | field_A | field_B | field_C | field_D 1 | cat | 12 | black | 11 1 | dog | 128 | white | 19 2 | dog | 35 | yellow

0열

1답변

스파크 - 범위, 데이터 프레임 및 메모리 관리

범위가 데이터 프레임 및 스파크와 함께 작동하는 방식에 대해 궁금합니다. 아래 예제에서 파일 목록을 가지고 있습니다. 각각 데이터 프레임에로드되고 일부 작업이 수행 된 다음 디스크에 dfOutput을 씁니다. val files = getListOfFiles("outputs/emailsSplit") for (file <- files){ val

1열

1답변

SPARK를 사용하여 HDFS에서 거대한 데이터 (약 800GB)를 하이브 오크 테이블로 작성 하시겠습니까?

저는 최근 3-4 개월 이후로 Spark Project에서 일하고 있습니다. 커다란 내역 파일 (800GB)과 작은 증분 파일 (3GB)을 사용하여 계산 중입니다. 는 계산 hqlContext & dataframe를 사용하여 불꽃에 매우 빠르게 일어나고,하지만 난 GB가 거의 800의 데이터 크기가 거의 200 억의 레코드를 포함하는 hive tableor

1열

1답변

pyspark를 사용하여 하나의 RDD에서 완전히 독립적 인 변환을 수행하는 2 개의 함수를 병렬로 실행하는 방법은 무엇입니까?

하나의 RDD에서 pyspark를 사용하여 병렬로 완전히 독립적 인 변환을 수행하는 2 개의 함수를 실행하려고합니다. 같은 것을 수행하는 몇 가지 방법은 무엇입니까? def doXTransforms(sampleRDD): (X transforms) def doYTransforms(sampleRDD): (Y Transforms) if

3열

1답변

내 Spark DataFrame이 RDD보다 속도가 느린 이유는 무엇입니까?

내가 아주 간단한 스파크 DataFrame을하고 DataFrame의 GROUPBY을 실행할 때 성능이 끔찍 - 내 캐시 DF 단지 두 개의 열입니다 ... RDD reduceByKey (머리로)보다 약 8 배 느리게 동등한, 단지 50,000 행이 고객 이름 : 나는 다음과 같은 두 가지 미리보기를 실행하면 == Physical Plan == InMemo

0열

2답변

데이터 프레임의 열의 평균 문자열 길이 계산

scala를 사용하여 데이터 프레임의 모든 열의 평균 문자열 길이를 계산할 수있는 방법이 유용하지 않습니다. 나는 수 있었다 쉽게 val avgDF = df.dtypes.filter(x => x._2 == "DoubleType").map(ct =>avg(col(ct._1))).toList

3열

2답변

스파크/스칼라에서 배열 [행]을 DataFrame으로 변환

Array[org.apache.spark.sql.Row]을 DataFrame으로 변환하고 싶습니다. 누구든지 나에게 더 나은 방법을 제안 할 수 있습니까? 나는 먼저 RDD으로 변환하려고 시도한 다음 Dataframe으로 변환하려고했지만, DataFrame에서 어떤 작업을 수행하면 예외가 표시됩니다. 여기 myfun() val arrayOfRows = my

0열

1답변

여러 numpy 배열을 spark rdd에로드하는 가장 빠른 방법은 무엇입니까?

스파크를 처음 사용했습니다. 내 응용 프로그램에서, 나는 많은 numpy 배열에서 RDD를 만들고 싶습니다. 각 배열은 (10,000, 5,000)입니다. 현재, 나는 다음과 같은 노력하고있어 :이 rdd_list = [] for np_array in np_arrays: pandas_df = pd.DataFrame(np_array) sp

2열

1답변

pyspark : 스키마를 사용하여 가입 하시겠습니까? 또는 스키마를 목록으로 변환 하시겠습니까?</p> <pre><code>new_df = df_1.join(df_2, on=['field_A', 'field_B', 'field_C'], how='left_outer') </code></pre> <p>위의 코드는 잘 작동하지만 때로는 <code>df_1</code> 및 <code>df_2</code> 수백 개의 컬럼이 있습니다

나는 두 개의 데이터 프레임에 가입하려면 다음 코드를 사용하고 있습니다. 수동으로 모든 열을 추가하는 대신 스키마를 사용하여 가입 할 수 있습니까? 또는 스키마를 목록으로 변환 할 수있는 방법이 있습니까? 고마워요!