pyspark-sql

3열

1답변

오류 발생 : '상관 스칼라 하위 쿼리를 집계해야 함 : 전역 제한 1 \ n + - SPARK SQL의 로컬 제한 1 \ n

spark SQL에서 새로운 기능입니다. 최근에 불꽃 문제가 SQL 문을 수행하는 데 직면 오전 spark.sql("select f.ID as TID ,f.BldgID as TBldgID, f.LeaseID as TLeaseID, f.Period as TPeriod,coalesce((select f ChargeAmt from Fact_CMCharges f

0열

1답변

PySpark에서 대형 테이블 조인 최적화

저는 하루에 약 500M 행의 큰 팩트 테이블을 가지고 있습니다. 테이블은 region_date에 의해 분할됩니다. 매일 데이터를 6 개월 동안 스캔해야하며 ID & 날짜 컬럼을 기반으로 한 더 작은 하위 세트 (1M 행)와 외부 조인을하고 두 개의 집계 값을 계산하십시오. id (오른쪽 테이블에 ID가있는 경우) & 합 (사실은) 내 SparkSQL은 다

1열

2답변

PySpark SQL의 LEFT와 RIGHT 함수

PySpark의 새로운 기능입니다. 팬더를 사용하여 CSV 파일을 가져 왔습니다. 그리고 registerTempTable 함수를 사용하여 임시 테이블을 만들었습니다. from pyspark.sql import SQLContext from pyspark.sql import Row import pandas as pd sqlc = SQLContext(sc)

1열

1답변

pyspark 선택 및 맵은 출력 값의 관점에서 어떻게 다릅니 까?

왜이 데이터 프레임을 변환하는 두 가지 방법이 서로 다른 출력 데이터 프레임을 생성합니까? rdd에 대한 데이터 프레임과 맵에서 select를 사용하면 같은 값을 출력하는 것처럼 보입니다. 그러나 열의 평균을 취하면 다른 결과를 얻습니다. 무슨 일 이니? wrong_parsed_data_df = parsed_points_df.select((parsed_po

1열

1답변

데이터 프레임의 한 열에 인덱스가있는 목록을 사용하여 PySpark 데이터 프레임에 열을 만듭니다.

저는 Python과 PySpark를 처음 사용합니다. 도착 = [10, 12, 13] I는 dataframe에서 열 X4를 만들 예는 것이 : I 배열이 ## +---+---+------+ ## | x1| x2| x3 | ## +---+---+------+ ## | 0| a | 13.0| ## | 2| B | -33.0| ## | 1| B | -6

0열

1답변

문자열 연결 문제 RTRIM() 사용

나는이 쿼리에서 pyspark의 SQL 쿼리 spark.sql("select *,rtrim(IncomeCat)+' '+IncomeCatDesc as trimcat from Dim_CMIncomeCat_handled").show() 동안 특유의 또는 알 수없는 연결의 문제에 직면하고있다 IncomeCat 및 IncomeCatDesc 필드 모두가 그렇게 논

0열

1답변

pyspark에 데이터 프레임의 열을 가질 수 있습니까?

필자는 pyspark/bigdata에 조금 새로운 것이므로 나쁜 생각 일 수 있습니다. 그러나 몇 백만 개의 개별 CSV 파일이 각각 메타 데이터와 연관되어 있습니다. 모든 메타 데이터 필드에 대한 열이있는 pyspark 데이터 프레임을 원하지만 각 메타 데이터 집합과 관련된 (전체) CSV 파일의 항목이있는 열도 필요합니다. 저는 지금 직장에 없지만 거의

1열

1답변

PySpark Dataframes : 압축 된 코드로 여러 조건을 필터링하는 방법은 무엇입니까?

열 이름 목록이 있고 해당 열 값이 0보다 큰 경우 행을 필터링하고 싶다면 여기에서 내가 할 수있는 것과 비슷한 것이 있습니까? columns = ['colA','colB','colC','colD','colE','colF'] new_df = df.filter(any([df[c]>0 for c in columns])) 이 반환합니다. ValueError

-2열

1답변

Spark DataFrame 및 Window 함수를 사용하여 롤링 평균 반환 계산

스파크 데이터 프레임을 사용한 작업이 처음이었고 창 함수를 사용하여 모든 날짜의 모든 평균 재고를 계산하는 방법을 알아 내려고했습니다. 나는 티커로 그룹화하려고 시도하고 롤링 차이 창 함수를 적용하려고 시도하지만 창 함수 또는 작동 방법에 대한 많은 문서를 찾을 수 없습니다. 데이터는 날짜, 공개 가격, 고가, 저가, 마감 가격, 거래량 및 시세입니다. 어

1열

1답변

하나의 열당 DataFrame을 변환하여 pyspark에 두 개의 새로운 열을 만드는 방법은 무엇입니까?

나는 두 열 "X1"및 "X2" x1(status) x2 kv,true 45 bm,true 65 mp,true 75 kv,null 450 bm,null 550 mp,null 650 가 I 데이터는 그 상태 값에 따라 필터링 된 포맷으로이 dataframe 변환 할 그들의시킨 dataframe "X"를 가지고 x1 true null