apache-spark-sql

0열

2답변

하이브, 스파크 SQL 및 Azure U SQL에서 테이블 관계를 유지 관리 할 수있는 방법이 있습니까? 이들 중 하나가 Oracle 또는 SQL Server와 같은 관계를 생성하는 것을 지원합니까? 오라클에서 나는 user_constraints 테이블을 사용하여 관계를 얻을 수 있습니다. ML에서 처리하는 것과 비슷한 것을 찾고 있습니다.

0열

1답변

쓰기 및 다시 읽을 때 스파크가 누락 됨

데이터 집합을 만들고이 파일을 s3에 ${BasePath}/y=2107/m=11/d=16/쪽 마루 형식으로 쓰려고합니다. 오늘 날짜의 데이터를 작성한 다음 s3에 기록한 후 지난 10 일 동안 데이터를 다시 읽어야합니다. dataset.write.mode(SaveMode.Overwrite) .format(sourceConfig.format).

0열

1답변

scala_spark _dataframe_hivecontext

하이브 테이블이 있습니다. 그것은 "쿼리"로 몇 가지 하나의 열을 포함하고 거기에 4 개의 레코드가 있습니다. 하이브를 다음과 같이 읽으겠습니다 : val query_hive=sqlContext.sql(s"select * from hive_query limit 1") 계산을 위해 다른 하이브에서이 쿼리를 사용해야합니다. 나는이 방법을 시도했다 : val

0열

2답변

스파크 Dataframe GROUPBY 및 복잡한 경우 문 유도

나는 불꽃 스칼라를 사용 dataframes에 다음과 같은 시나리오를 구현해야합니다 Scenarios-1: If the "KEY" exist one time, take the "TYPE_VAL" as is . Eg: KEY=66 exist once so take the TYPE_VAL=100 Scenarios-2: If the "KEY" ex

0열

1답변

Spark 2.1 functionRegistry에 UDF를 등록하십시오.

안녕하세요, 이미 생성 된 UDF 객체를 등록하고 싶습니다. Spark 2.1을 사용 중이며 sparkSession.udf.register() 함수는 UDF 매개 변수를 일반 스칼라 함수 만 허용하지 않습니다. 큰 Spark API에서 뭔가를 놓치기 쉽습니다. 그래서 2.1에서 이것을 허용 할 함수 나 생성자가 있습니까? 이 경우

1열

2답변

다른 열의 값을 기반으로 pyspark 열을 변경하십시오.

dys라는 이름의 pyspark 데이터 프레임이 있습니다. "데이터"holydays 목록에있는 경우 "휴일"그렇지 않으면 내가 그것으로 종료 : DAY_TYPE 경기장을 떠나지하려는 holydays=[u'2016-12-25',u'2016-12-08'....] 내가 종료 : DAY_TYPE을 전환하려면 : ONE LINE EXAMPLE: df.take

0열

1답변

SparkR 데이터 프레임을 데이터 프레임 목록으로 분할

sparkR을 처음 사용하고 sparkR 데이터 프레임을 열 기반 데이터 프레임 목록으로 분할하려고합니다. 데이터에는 Sls_D(date), mdse_item_i(item id), co_loc_i(location id), traffic_ti_8_00, traffic_ti_9_00, traffic_ti_10_00, traffic_ti_11_00의 10 억 개

-1열

1답변

PySpark 데이터 프레임에서 n 행에 대한 핵심 요소를 추가하십시오.

아래와 같은 데이터 프레임이 있습니다. id | run_id -------------- 4 | 12345 6 | 12567 10 | 12890 13 | 12450 나는 새 열이 다음 n 행의 처음 n 행에 대한 값 1과 2를해야합니다 Key 말을 추가하고 싶습니다. 결과는 다음과 같습니다 : id | run_id | key ----------

-3열

1답변

두 개의 데이터 프레임을 스파크의 같은 열로 비교하여 변경된 열 값 수를 계산하는 방법

두 개의 데이터 프레임을 비교하고 첫 번째 데이터 프레임에서 두 번째 데이터 프레임으로 변경되는 열 수를 계산하는 방법 불꽃. df1 id val1 val2 val3 val4 1 a b c d 2 d f k e 4 r t y u df2 id val1 val2 val3 val4 1 a h c l 2 d f k e 4 g a w u cou

0열

1답변

Spark Dataframe join awaitResult에서 예외가 발생했습니다.

두 개의 Dataframes에 합류하려고합니다. 하나는 약 1,000 만 개의 레코드이고 다른 하나는 약 1/3입니다. 작은 DataFrame이 집행 메모리에 편안하게 맞는 때문에, 나는 방송에 가입 한 후 결과 쓰는 수행 : 잠시 후 val df = spark.read.parquet("/plablo/data/tweets10M") .select("