pyspark

1열

1답변

처리를 위해 parkpark를 사용하여 spark-redshift 및 redshift 데이터를 쿼리하고 있습니다. 작업대 등을 사용하여 적색 변이를 실행하면 쿼리가 제대로 작동합니다.하지만 spark-redshift가 s3에 데이터를 언로드 한 다음이를 검색하고 실행할 때 다음 오류가 발생합니다. 생성됩니다 py4j.protocol.Py4JJavaError

1열

1답변

Pyspark : 나는 PySpark의 v1.6.1을 사용하고 다른 dataframe

를 사용하여 dataframe을 만들고 나는 다른 사용하여 dataframe를 만들려면 : 다른 세 값의 구조체가있는 필드로 변환 을 열 는 타임 스탬프를 변경 열 이름과 유형 의 나머지 부분을 사용하여 더 많은 열을 생성 datatime 에 문자열에서 타임 스탬프를 변환 지금은 해당 함수를 사용하여 RDD를 만드는 .map (func)을 사용하고 있습니다

0열

1답변

Pyspark - RDD의 키를 기반으로 합계 및 합계

아래 RDD가 있습니다. [[1,101,001,100,product1], [2,102,001,105,product2], [3,103,002,101,product3]] 예상 출력은 그래서 당신이 가고, 휴일 기분 [('001', ['product1','100'],['product2','105']),('002',['product3','101'])]

-1열

2답변

문자열

에 팬더 dataframe의 모든 컬럼의 데이터 유형을 변환하는 방법은 전 이것을 달성하기 위해 여러 가지 방법을 시도 작동하지. 내가 초보자 인이 질문에 대해 유감스럽게 생각한다.

-1열

1답변

jupyter 노트북 (pyspark)에서 Seaborn을 사용할 때의 오류

Seaborn을 사용하여 데이터를 시각화하려고합니다. pyspark에서 SQLContext를 사용하여 데이터 프레임을 만들었습니다. 그러나 lmplot을 호출하면 오류가 발생합니다. 나는 내가 무엇을 놓치고 있는지 확신하지 못한다. 내 코드는 다음과 같습니다. (주피터 노트를 사용하고 있습니다) import pandas as pd from matplot

0열

1답변

16 개의 작업 (1048.5MB)의 직렬화 된 결과의 총 크기가 spark.driver.maxResultSize (1024.0MB)보다 큽니다.

을 spark-submit 명령에 추가하면 다음 오류가 발생합니다. (오류 위) 어쨌든 따라서, I는 2.5 GB의 maxResultSize 증가 py4j.protocol.Py4JJavaError: An error occurred while calling o171.collectToPython. : org.apache.spark.SparkException:

-3열

1답변

데이터 프레임을 비교하는 pyspark intersection() 함수

다음은 두 개의 데이터 프레임을 비교하고 교차 함수를 부과하기 위해 작성한 코드입니다. import os from pyspark import SparkContext sc = SparkContext("local", "Simple App") from pyspark.sql import SQLContext, Row sqlContext = SQLContext

0열

1답변

평균 및 표준 편차를 계산할 때 아무 값도 없음

PySpark DataFrame에서 중첩 된 데이터 products의 평균 및 표준 편차를 계산 중입니다. +----------+--------------------------------+ |product_PK| products| +----------+--------------------------------+ | 686 | [[686,

0열

1답변

파이프 라인 된 RDD를 pyspark의 Dataframe으로 변환하는 중 오류가 발생했습니다.

아래의 파이프 라인 된 RDD를 데이터 프레임으로 변환하려고합니다. - 파이프 라인 RDD> user_rdd ['new_user1', 'new_user2', 'Onlyknows', 'Icetea', '_coldcoffee_'] 가 나는 아래의 오류가 무엇입니까 schema = StructType([StructField('Username', Str

0열

1답변

다중 키와 단일 값에 대해 pyspark에서 reduceByKey를 사용하는 방법

우분투에서 jupyter를 사용하고 있습니다. 그래서 내가 다음 문제가있어 이 내 코드입니다 : from pyspark import SparkContext sc = SparkContext.getOrCreate() ut = sc.textFile("hdfs://localhost:54310/hduser/firstnames") rows= ut.map(lamb