pyspark-sql

2열

3답변

여기 내 문제입니다 : 나는이 RDD있어 : 나는 다음 시도 a = [[u'PNR1',u'TKT1',u'TEST',u'a2',u'a3'],[u'PNR1',u'TKT1',u'TEST',u'a5',u'a6'],[u'PNR1',u'TKT1',u'TEST',u'a8',u'a9']] rdd= sc.parallelize (a) 을 : rdd.map(lambda

0열

1답변

pyspark collect_list() 실행 도중 "java.lang.OutOfMemoryError : 요청 된 배열 크기가 VM 제한을 초과합니다"

나는 약 40 열의 플로트와 함께 5 천만 행의 큰 데이터 세트를 가지고 있습니다. 각 열에 대한 for column in columns: set_values(column, df.select(collect_list(column)).first()[0]) 는, 그것은 collect_list() 기능과 설정을 실행 : 사용자 지정 변환 이유로 , 나

0열

1답변

Pyspark - Sql 필터 - id 값이 배열로 표시되는지 확인하여 모든 행 선택

ID 값이 배열로 표시되는 행을 선택해야하는 Pyspark에 DataFrame이 있습니다. 아무도 도와 줄 수 없어, 제발? 예 : +---+-----+ | id| col2| +---+-----+ |123| 2 | |245| 32 | | 12| 34 | |234| 1 | +---+-----+ 배열 : 123, 12, 234] 소망 결과 :

0열

2답변

pyspark에서 백분율 주파수를 얻는 방법

pyspark에서 백분율 주파수를 얻으려고합니다. # Dates in descending order of complaint frequency df.createOrReplaceTempView('Comp') CompDF = spark.sql("SELECT Company, count(*) as cnt \ FROM Comp \

0열

1답변

어떻게 monotonically_increasing_id()가 아닌 Pyspark의 데이터 프레임에 'Ident'열을 계속 추가 할 수 있습니까?

데이터 프레임이 'df'이고 값이 연속되는 'Ident'숫자 열을 추가하고 싶습니다. monotonically_increasing_id()로 시도했지만 값이 연속적이지 않습니다. 설명대로 : "생성 된 ID는 단조롭게 증가하지만 고유하지만 연속적이지는 않습니다. 그럼, 어떻게해야합니까? 이렇게하면 0에서 N-1, N은 안양에있는 레코드의 총 개수로 시작하는

0열

1답변

값 그룹을 번갈아 표시하는 Pyspark 자동 증분

Pyspark를 사용하여 Spark DataFrame에 새로운 열을 만들려고합니다.이 열은 교대로 부울 값 그룹을 기반으로하는 자동 증가 (또는 ID)를 나타냅니다. df.show() +-----+------------+-------------+ |id |par_id |is_on | +-----+------------+-------------+

0열

1답변

Spark Dataframe 열을 벡터에서 집합으로 변환하는 방법은 무엇입니까?

자주 항목 집합을 식별하려면 데이터 집합을 처리해야합니다. 따라서 입력 열은 벡터 여야합니다. 원래 열은 쉼표로 구분 된 항목 문자열입니다, 그래서 내가 다음 않았다 functions.split(out_1['skills'], ',') 문제는 skills의 일부 행에 대해, 내가 복제 한 값이며하려고 할 때이 오류를 일으키는 자주 항목 집합을 식별합니다.

8열

1답변

Mongo Spark 커넥터가 쿼리에 대해 서로 다른 개수와 잘못된 개수를 반환하는 이유는 무엇입니까?

프로젝트 용 Mongo Spark 커넥터를 평가 중이며 일치하지 않는 결과가 나타납니다. MongoDB 서버 버전 3.4.5, Spark (PySpark를 통해) 버전 2.2.0, Mongo Spark Connector 버전 2.11; 2.2.0을 로컬로 사용합니다. 내 테스트 DB의 경우 엔 Enron 데이터 세트를 사용합니다 http://mongodb-

0열

1답변

모든 공칭 변수를 pyspark의 범주 형 변수로 변환

나는 Pyframe 데이터 프레임의 모든 String 유형 변수를 범주 형 변수로 변환 한 직후에 데이터 프레임에서 의사 결정 트리를 실행할 수 있습니다. 나는 팬더를 사용할 수 없으며 자원 제약 때문에 PySpark 라이브러리 만 사용할 수 있습니다. 가능한 해결책으로 VectorIndexer을 확인했는데 documentation이 (가) 가능한 모든 S

0열

1답변

Spark 2.1에서 pyspark 데이터 프레임 메타 데이터를 업데이트하는 방법은 무엇입니까?

SparkML의 OneHotEncoder와 관련된 문제는 데이터 프레임 메타 데이터를 읽어서 생성하는 희소 벡터 객체에 할당해야하는 값 범위를 결정하기 때문에 발생합니다. 구체적으로는, 지금 I의 "변형"방법 외경을 이용하여 하나의 행 데이터 구조를 기록하고있어 0 내지 23의 모든 개별 값을 포함하는 트레이닝 세트를 사용하여 "시간"필드를 인코딩있어 파이