pyspark-sql

1열

1답변

GROUP BY Pandas/iPython 노트북 (Jupyter)의 DataFrame/table 행?</p> <p>현재 DataFrame/표 :

나는이처럼 보이는 테이블이 'original_table' col_1 col_2 col_3 0 Non-Saved www.google.com 10 1 Non-Saved www.facebook.com 20 2 Non-Saved www.linkedin.com 20 3 Saved www.Quora.com 30 4 Saved www.g

0열

1답변

Pyspark : 서로 및 시간 contition으로 파생 된 새 열을 추가

내가 가진 DataFrame A, B, C의 startyear이 값 endyear 열 # 1 : year B C startyear endyear 2010 2 A 2012 2014 2011 2 A 2010 2013 2013 2 B .. .. 2012 2 C`` 내가 결과라는 새 열을 만들려면 df = df.Withcolumn(...) R

0열

1답변

pyspark 코드에서 collect() 함수를 사용하지 않는 가장 좋은 방법은 무엇입니까? 최적화 된 pyspark 코드를 작성하는 가장 좋은 방법은 무엇입니까?

안녕하세요, 나는 데이터 프레임에서 목록을 만들려면 pyspark에 코드를 작성하려고합니다. 내 코드에서 collect() 함수를 사용하고 있지만 확실하지 않은 경우 데이터 프레임 열에서 값의 필터 목록을 가져 오는 지 확실하지 않습니다. 부터 collect()은 데이터 노드로 데이터를 가져 오므로 크기가 큰 데이터 프레임 (예 : 10GB)의 경우 잘못된

2열

1답변

pyspark의 목록에있는 값의 열을 필터링하는 방법?

나는 값이 CB, CI 및 CR 인 열 X에 필터 조건을 적용해야하는 데이터 프레임 rawdata를 가지고 있습니다. 그래서 아래의 코드를 사용 : df = dfRawData.filter(col("X").between("CB","CI","CR")) 을하지만 다음과 같은 오류가 점점 오전 : between() takes exactly 3 arguments

0열

1답변

Pyspark 오류 + 메서드 __getnewargs __ ([])가 존재하지 않습니다.

저는 불꽃 버전 2.2.0, & Python 2.7을 사용하고 있습니다. pyspark &을 사용하여 BigSQL을 연결하려고합니다. 다음은 내가 피클 스파크 분산 객체로 할 수없는 내가 오류 메시지가 Py4JError: An error occurred while calling o79.__getnewargs__. Trace: py4j.Py4JExcepti

1열

1답변

Pyspark - fpgrowth - 연관 규칙 - StackOverflow 오류

거대한 데이터 프레임 (5 백만 행)이 있고 각 행은 항목 모음이며 빈번한 항목 집합 및 연결 규칙을 얻으려고합니다. 하지만 그것은 StackOverflowErrors를주었습니다. 체크 포인트 디렉토리를 설정하려고 시도했지만 문제가 해결되지 않았습니다. 어떤 생각이 어떻게 해결할 수 있습니까? 미리 감사드립니다 fpGrowth = FPGrowth(items

3열

1답변

Window()를 사용하여 Pyspark에서 롤링 중간 값을 계산하는 방법은 무엇입니까?

이전 3 개 값의 창 크기에 대한 달러의 롤링 중간 값은 어떻게 계산합니까? 입력 데이터 dollars timestampGMT 25 2017-03-18 11:27:18 17 2017-03-18 11:27:19 13 2017-03-18 11:27:20 27 2017-03-18 11:27:21 13 2017-03-18 11:27:22 43

1열

1답변

SQL 쿼리를 통해 열의 숫자 값에 알파벳이 포함되어 있는지 확인하는 방법

AWS S3에 AWS Glue에로드되는 CSV 파일이 있습니다. S3에서 소스 데이터 파일에 변환을 적용하는 데 사용됩니다. PySpark 스크립팅 환경을 제공합니다. 데이터는 다음과 같이 다소 같습니다 알파벳을 포함 할 수 있습니다 내가 형 정수의 이름 'PRIME_KEY'에 의해 현장에서 일하고 있어요 여기 "123","IND","25632349","1

0열

2답변

pyspark groupedData 객체를 데이터 프레임으로 변환하십시오.

pyspark 데이터 프레임에서 2 레벨 그룹화를해야합니다. 내 임시 : 'GroupedData' object has no attribute 'groupby' 내가 먼저 pySpark DF로 그룹화 된 개체를 변환해야 같아요 grouped_df=df.groupby(["A","B","C"]) grouped_df.groupby(["C"]).count()

0열

1답변

PySpark : 하나 이상의 열을 dataFrame에 어떻게 추가 할 수 있습니까?

저는 두 개의 inicial 열, id 및 colA이있는 데이터 프레임에서 작업하고 있습니다. +---+-----+ |id |colA | +---+-----+ | 1 | 5 | | 2 | 9 | | 3 | 3 | | 4 | 1 | +---+-----+ 나는 COLB, 더 다른 열 해당 dataFrame을 병합해야합니다. 나는 colB이 da