spark-dataframe

0열

1답변

Databrics spark API를 사용하여 xml 처리를위한 스키마 옵션을 계발하십시오

"0001546"과 같은 문자열 값을 가진 xml을 처리해야합니다. 데이터 프레임 xml API를 사용하여 데이터 프레임에로드하면 실제 문자열 값이 double 유형으로 변환됩니다. 이중 값이 "0001546"에서 1546으로 전체 값을 변경하는 문제가 있습니다. 이것은 숫자에 대한 문자열의 암시 적 유형 캐스팅 때문에 발생하지만 이런 행동을 원하지 마라.

-1열

1답변

대체 재귀 스파크 제출 작업

을 실행하기 위해 아래 나에 대한 제안을해야 시나리오, 시나리오입니다. 스파크 프로그램은 하이브의 데이터에서 ETL 연산과 복잡한 결합을 수행해야합니다. Nifi에서 수집 한 데이터가 연속 스트리밍이므로 Spark 작업을 가져온 데이터에서 1 ~ 2 분마다 실행하고 싶습니다. 어떤 것이 가장 좋은 옵션입니까? 스케줄러를 사용하여 1 분마다 촉발 작업을 트리

1열

1답변

"데이터 집합에 저장된 형식의 인코더를 찾을 수 없습니다"와 함께 사례 클래스를 사용하여 DataFrame을 통한 매핑이 실패하는 이유는 무엇입니까?

이미 spark.implicits._을 가져온하지만 아직도 내가 얻을 오류 Error:(27, 33) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by impor

0열

1답변

Pyspark와 Pandas는 공인 인증을 받았습니까?

나는 기존 Pandas 코드에 Pyspark 데이터 프레임을 통합/추가하는 데 많은 어려움을 겪고 있습니다. 1) Pandas 데이터 프레임을 Pyspark 데이터 프레임으로 변환하면 Pyspark 데이터 프레임이 Pandas 데이터 프레임만큼 풍부하지 않으므로 여러 작업이 제대로 변환되지 않습니다. 2) 동일한 코드 내에서 다른 데이터 세트를 처리하기 위

0열

2답변

Apache Spark : 성공률 쿼리

저는 SQL과 Apache Spark을 배우기 시작했습니다. Spark에서 SQL 테이블을 가져 왔습니다. 이제 '예'일 필요가있는 필드를 기준으로 성공률을 찾아야합니다. 그래서 나는 '예'와 같은 특정 필드가 행 수로 나눈 행의 총 수를 찾을 필요가 나는 개별적으로 결과를 찾을 수 있었다 그러나이 두 개의 쿼리를 결합하는 방법을 알고하지 않았다 . sql

0열

1답변

PySpark의 파티션 내에서 데이터 프레임에 합류합니다.

두 개의 데이터 프레임에 수백 (수천만에서 수백만) 개의 행이 있습니다. 나는 그들 사이에 조인을하고 싶습니다. 현재 사용하고있는 BI 시스템에서 특정 키를 먼저 분할 한 다음 해당 키를 조인하여이 작업을 빠르게 수행 할 수 있습니다. 이 패턴은 내가 스파크에서 따라야 할 패턴입니까, 그렇지 않습니까? 언뜻보기에는 미리 파티션 된 것이 아니기 때문에 많은

3열

2답변

Spark : Dataframe Serialization

스파크 직렬화와 관련하여 2 가지 질문이 있습니다. 단순히 인터넷 검색으로 답변을 찾을 수 없습니다. 현재 사용중인 시리얼 라이저의 이름을 어떻게 인쇄 할 수 있습니까? 나는 spark.serializer가 Java인지 Kryo인지를 알고 싶다. 나는 Kryo 직렬화를 사용하기로되어있는 다음 코드를 가지고있다; 데이터 프레임에 사용 된 메모리 크기는 21

0열

1답변

spark datframe, scala에서 행을 열로 변환하는 방법

데이터 프레임 행을 열에 조인 할 수있는 방법이 있습니까? I는 입력으로 구조를 다음과 같은 한 : 행을 열로 전치 사용할 수있는 최적화 된 직접 API가있는 경우 val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pi

0열

1답변

16 개의 작업 (1048.5MB)의 직렬화 된 결과의 총 크기가 spark.driver.maxResultSize (1024.0MB)보다 큽니다.

을 spark-submit 명령에 추가하면 다음 오류가 발생합니다. (오류 위) 어쨌든 따라서, I는 2.5 GB의 maxResultSize 증가 py4j.protocol.Py4JJavaError: An error occurred while calling o171.collectToPython. : org.apache.spark.SparkException:

0열

1답변

평균 및 표준 편차를 계산할 때 아무 값도 없음

PySpark DataFrame에서 중첩 된 데이터 products의 평균 및 표준 편차를 계산 중입니다. +----------+--------------------------------+ |product_PK| products| +----------+--------------------------------+ | 686 | [[686,