apache-spark-sql

0열

2답변

시간이 흐르면서 바뀔 수있는 열이있는 세션이라는 데이터 프레임이 있습니다. (수정을 위해 : 열에 대한 사례 클래스가 없습니다. 반영된 스키마 만 있습니다.) 추적 이벤트를 구성 할 수있는 다른 내부 및 외부 범위 열과 함께 외부 범위에 uuid 및 clientId를 일관되게 사용합니다. 그래서 ... 뭔가 같이 : val mergeTEs = udf((ol

2열

1답변

점화 작업이 99 %에서 멈추고 계속되지 않습니다.

두 개의 조인을 수행하는 기본적인 스파크 작업이 있습니다. 합쳐진 3 개의 데이터 프레임은 어느 정도 크기가 크며 각 프레임에 약 20 억 개의 레코드가 있습니다. 필요한 경우 자동으로 노드를 확장하는 스파크 인프라가 있습니다. 그것은 매우 간단한 spark SQL 쿼리와 같은 결과를 디스크에 기록하는 것처럼 보입니다. 그러나 내가 보았을 때 직장은 항상

0열

2답변

스파크 SQL 창 함수의 결과를 이해하는 방법

나는 스파크 SQL 창 기능을 시도하는 다음 코드가 : test("spark sql time window 2") { val spark = SparkSession.builder().master("local").appName("SparkSQLWindowTest").getOrCreate() import spark.implicits._

0열

2답변

PySpark에서 브로드 캐스팅 된 객체를 사용하여 UDF를 호출 할 때 오류가 발생했습니다.

PySpark에서 브로드 캐스트 된 객체를 사용하는 UDF를 호출하려고합니다. 여기 상황 및 오류를 재현 최소한의 예입니다 import pyspark.sql.functions as sf from pyspark.sql.types import LongType class SquareClass: def compute(self, n): r

1열

1답변

내가 다음 스키마와 DataFrame이 불꽃

1열

1답변

Spark SQL에서 비 ASCII 컬럼 이름을 처리하는 방법은 무엇입니까?

일부 열 이름에 덴마크어 문자가있는 테이블이 있습니다. 이 테이블의 데이터 프레임을 만들 수 있지만 오류가 발생하지 않고 where 절에 열 이름을 쓸 수 없습니다. 예를 들어 : jdbcDF.where("GÆLDER_FRA_DT > '2016-12-01'") 는 == SQL == GÆLDER_FRA_DT > '2016-12-01' and ryk_type

0열

1답변

구조체의 Array에 대해 Spark SQL의 스키마를 만드는 방법은 무엇입니까?

아래 json이 스키마를 읽도록 스키마를 만드는 방법. hiveContext.read.schema() .json ("input.json")을 사용하고 있는데 처음 두 개의 "ErrorMessage"및 "IsError"읽기 전용 보고서를 무시하고 싶습니다. 아래는 JSON입니다 : val schema = StructType( Array(

0열

1답변

sparkSQL "CASE WHEN THEN"pyspark에 두 개의 테이블 열이있는 경우

table_a 및 table_b 임시 테이블이 두 개 있고이 쿼리와 모든 조건이 올바르게 작동하려고합니다. SparkSQL를 사용하여 이러한 두 테이블에서 위의 쿼리를 실행이 SELECT DISTINCT CASE WHEN a.id IS NULL THEN b.id ELSE a.id END id, CASE WHEN a.num IS NULL THEN b

-1열

1답변

pyspark tsv 중복 열

spark_csv 패키지를 사용하여 pyspark에서 tsv 파일을 읽으려고합니다. 내 스파크 버전은 1.6.3입니다. 내 데이터 세트에는 두 개의 열이 같은 이름을 가지고 있습니다. 다음 코드를 사용하여 데이터를 읽습니다. pyspark.sql.utils.IllegalArgumentException: u"The header contains a duplic

0열

1답변

psepark의 parseException

3 개의 JSON 파일을 읽고 JSON 파일을 DataFrames로 변환하고 DataFrames를 SQL 쿼리가 수행되는 테이블로 변환하는 pyspark 코드가 있습니다. import pyspark.sql from pyspark.sql import SparkSession from pyspark.sql import SQLContext