pyspark-sql

2열

2답변

큰 파일을 작업하고 있습니다. mmddyy 형식의 필드 중 하나에 문자열을 데이터 형식으로 가지고 있는데이를 YYYY-MM-DD로 변환해야합니다. 나는 UDF를 만들려고 시도하고 게시물 중 하나를 언급하지만 변환 오류는 던지는 오류. 샘플 코드 : dataframe에서 실제 필드 : +-----------+ |DATE_OPENED| +----------

1열

1답변

PySpark 기능 선택 및 해석 기능

기능 선택을 수행하는 PySpark가 있지만 원래의 기능 색인/설명으로 다시 매핑을 유지하거나 얻는 방법이 있습니까? 예를 들어 : I 원시 피쳐 스트링 (COL = "rawFeatures")의 열은 StringArray있다. CountVectorizer (col = "features")을 사용하여 수치로 변환했습니다. 는 다음 나는이 ChiSqSelect

1열

2답변

Spark DataFrame에서 목록에있는 여러 열 이름을 삭제하는 방법은 무엇입니까?

나는 n의 값을 기반으로 만들어진 동적 목록을 가지고 있습니다. n=3 drop_lst = ['a'+str(i) for i in range(n)] df.drop(drop_lst) 그러나 위의 코드는 작동하지 않습니다. 참고 : 내 용도에는 동적 목록이 필요합니다. 난 그냥리스트를 사용하지 말고, 아래의 할 경우 그것은 df.drop('a0','a1'

-1열

1답변

pyspark 그룹 by sum

4 개의 열이있는 pyspark 데이터 프레임이 있습니다. ID/수/값/X 내가 열 ID, 번호를 GROUPBY 다음 ID와 수에 따라 값의 합으로 새 열을 추가 할 . 나는 아무것도하지 않고 colunms x을 유지하고 싶다. ID/수/값/X/sum_of_value) 사람이 도움을 줄 수 있습니까 : 나는 5 열 데이터 프레임을 원하는 끝에 df= df.

0열

1답변

Pyspark - pyspark에서 현재 비즈니스 뷰를 생성합니다.

pyspark에서 bussiness 현재 뷰를 생성해야하며, 내역 파일과 델타 파일 (ID와 날짜 포함)이 있습니다. 최종 데이터 프레임을 생성해야합니다. 각 id에 대한 단일 레코드가 있고 그 레코드는 최신 날짜 여야합니다. df1=sql_context.createDataFrame([("3000", "2017-04-19"), ("5000", "2017-0

1열

1답변

람다 안에서 정규 표현식을 사용하는 pyspark 분할 문자열

람다 함수 내부의 정규 표현식을 기반으로 문자열을 분할하려하지만 문자열이 분할되지 않습니다. 나는 정규 표현식이 잘 동작하고 있다고 확신한다. 정규식 테스트 링크 https://regex101.com/r/ryRio6/1 을 확인 from pyspark.sql.functions import col,split import re r = re.compile(

2열

1답변

Spark SQL : 다른 SELECT 문의 열 (이진 검색 트리)

SparkSQL을 사용하여 BST를 작성하려고합니다.이 작업은 기본 SELECT 문에서 다른 SELECT 문을 사용하여 쉽게 수행 할 수 있지만 SparkSQL은 SELECT 열에서 SELECT를 지원하지 않습니다. BST의 그래픽 표현은 아래와 같다 : 입력 BST.Goal의 행 - 열 표현 입력 테이블 데이터를 사용하여 출력 테이블을 생성하는 것이다.

0열

1답변

때 java.io.IOException가 : 프로그램 "파이썬"을 실행할 수 없습니다 : CreateProcess를 오류 = 2, 파일을 찾을 수 없습니다 내가 pyspark</p> <p>내가 SPARK 및 PYTHON의 최신 버전을 사용하고 이클립스를 구성

를 지정했습니다. 내가 코드를 작성하려고 할 때. 나는 아래 오류가. ''' Created on 23-Dec-2017 @author: lenovo ''' from pyspark import SparkContext,SparkConf from builtins import int #from org.spark.com.PySparkDemo impor

0열

1답변

Error : com.mongodb.MongoCursorNotFoundException : MongoDB에서 Spark로 읽는 중

2 억 3 천 4 백만 레코드로 Spark에서 MongoDB의 모음을 읽으려고합니다. 1 필드 만 원한다. case class Linkedin_Profile(experience : Array[Experience]) case class Experience(company : String) val rdd = MongoSpark.load(sc, ReadCon

-3열

1답변

데이터 프레임을 비교하는 pyspark intersection() 함수

다음은 두 개의 데이터 프레임을 비교하고 교차 함수를 부과하기 위해 작성한 코드입니다. import os from pyspark import SparkContext sc = SparkContext("local", "Simple App") from pyspark.sql import SQLContext, Row sqlContext = SQLContext