apache-spark-sql

2열

1답변

다른 테이블의 두 SELECT 중 UNION ALL이 병렬로 실행됩니까?

SELECT [...] UNION ALL SELECT [...] 양식의 Spark SQL 문을 사용하는 경우 두 개의 SELECT 문을 병렬로 실행합니까? 내 특정 사용 사례에서 두 SELECT 두 가지 다른 데이터베이스 테이블을 쿼리하고 있습니다. 내가 예상했던 것과는 달리 Spark UI는 두 개의 SELECT 문이 순차적으로 수행된다고 제안하는 것으로

1열

1답변

사용자 세션의 시작 및 종료 시간을 계산하는 방법은 무엇입니까?

변환 할 경우 다음과 같은 종류의 작업을 수행하는 권장 방법이 있나요 : 입력 : userID timestamp action u1 100 edit1 u1 122 edit2 u1 135 edit3 u2 143 edit4 u2 158 edit5 u1 212 edit6 u1 241 edit7 가 출력 : 세션 정보에서 아

2열

3답변

사용자 지정 datetime 형식을 타임 스탬프로 변환하는 방법?

어떤 결과로 아래 결과가 나옵니까? 내가 (: HH : mm : ddMMMYY에 ss 형식) DATETIME 변환하려고 scala> val b = to_timestamp($"DATETIME", "ddMMMYYYY:HH:mm:ss") b: org.apache.spark.sql.Column = to_timestamp(`DATETIME`, 'ddMMMYYYY:

1열

1답변

사용자 정의 집계 함수에서 병합은 언제 발생합니까?

어떤 상황에서 Spark가 UDAF 기능의 일부로 병합을 수행하는지 알고 싶습니다. 동기 부여 : 내 Spark 프로젝트에서 많은 UDAF 기능을 사용하고 있습니다. 종종 다음과 같은 질문에 답하고 싶습니다 : 30 일 동안 현재 거래가 이루어진 국가에서 신용 카드 거래가 몇 번 있었습니까? 창이 현재 트랜잭션에서 시작되지만 카운트에 포함되지 않습니다. 지

0열

1답변

Spark 스트리밍 체크 포인트 읽기 실패 후

나는 내결함성을 포함한 Spark Streaming with Kafka 어플리케이션을 구현하려고합니다. 응용 프로그램을 다시 시작하면 다시 시작하기 전에 이미 읽은 메시지를 읽고 계산이 잘못되었습니다. 이 문제를 해결하도록 도와주세요. 다음은 Java로 작성된 코드입니다. public static JavaStreamingContext createContex

0열

1답변

거리에 대한 Spark SQL 데이터 프레임 필터링

위도 및 경도 열이있는 Spark SQL DataDrame을 가지고 있는데, 입력 거리를 계산하여 임계 값 아래로 떨어지는 행을 필터링하려고합니다. 내 현재 코드는 다음과 같습니다. 위도가 긴 쌍 사이의 거리를 계산할 때 geopy (great_circle)을 사용하고 있습니다. 이 코드를 실행하면 from geopy.distance import great

2열

1답변

콜론으로 구분 된 문자열을 MapType으로 변환하는 방법은 무엇입니까?

지도 (키 - 값 쌍 포함)를 다른 행으로 분해하기 위해 Dataframe을 RDD로 변환하려고합니다. Info = sqlContext.read.format("csv"). \ option("delimiter","\t"). \ option("header", "True"). \ option("inferSchema", "True"). \ load("fil

2열

1답변

Spark에서 찾아보기 테이블

나는 스파크에서 룩업 테이블로 사용하고자하는 명확하게 정의 된 스키마가없는 데이터 프레임을 가지고 있습니다. 예를 들어, 아래 dataframe는 : +------------------------------------------------------------------------+ |lookupcolumn | +--------

0열

1답변

공통 태그가있는 모든 열을 R로 선택하는 방법은 무엇입니까?

나는 수십 개의 열이있는 SparkDataFrame을 가지고 있으며, "time"이라는 단어를 가진 것들만 선택하고 싶습니다. 대신 수동으로 컬럼의 모든 이름을 작성하는 데이 같은 일을 : df_selection <- SparkR::select(df, like('^time.*?')) 이 있습니까 : df_selection <- SparkR::select

0열

1답변

하이브 파티션 테이블의 데이터를 볼 수 없습니다.

나는 rundate라는 파티션 된 컬럼이있는 외부 테이블을 가지고 있습니다. 나는 다음 spark.sql("ALTER TABLE table ADD IF NOT EXISTS PARTITION(rundate = '2017-12-19')") 코드는 잘 작동하고 난 파티션을 볼 수 있습니다를 사용하여 파티션을 만들 DataFrame.write.mode(Save