apache-spark-sql

6열

1답변

S3에서 거대한 데이터를 빠르게 작성하기 위해 EMR에서 스파크 작업을 조정하는 방법

두 개의 데이터 프레임간에 외부 조인을 수행하는 스파크 작업이 있습니다. 첫 번째 데이터 프레임의 크기는 260GB이고 파일 형식은 2200 개의 파일로 분할되는 텍스트 파일이며 두 번째 데이터 프레임의 크기는 2GB입니다. 이 두 파일을 데이터 프레임 자체에로드하는 데 10 분이 걸립니다. 약 260GB의 데이터 프레임 출력을 S3에 쓰려면 약 1 시간이

3열

1답변

Window()를 사용하여 Pyspark에서 롤링 중간 값을 계산하는 방법은 무엇입니까?

이전 3 개 값의 창 크기에 대한 달러의 롤링 중간 값은 어떻게 계산합니까? 입력 데이터 dollars timestampGMT 25 2017-03-18 11:27:18 17 2017-03-18 11:27:19 13 2017-03-18 11:27:20 27 2017-03-18 11:27:21 13 2017-03-18 11:27:22 43

1열

1답변

SQL 쿼리를 통해 열의 숫자 값에 알파벳이 포함되어 있는지 확인하는 방법

AWS S3에 AWS Glue에로드되는 CSV 파일이 있습니다. S3에서 소스 데이터 파일에 변환을 적용하는 데 사용됩니다. PySpark 스크립팅 환경을 제공합니다. 데이터는 다음과 같이 다소 같습니다 알파벳을 포함 할 수 있습니다 내가 형 정수의 이름 'PRIME_KEY'에 의해 현장에서 일하고 있어요 여기 "123","IND","25632349","1

2열

1답변

창 순서가 아닌 다른 열에서 RANK를 계산하는 방법은 무엇입니까?

"순위"를 창 순서로 지정된 것보다 다른 열에서 계산하는 방법이 있습니까? 데이터 예 : 더 명확하게 나는, 나는 다음과 같은 예를 사용합니다 수행 할 작업을 설명하기위한 | Date | Amount | Product_ID | |------------------|--------------|------------------| | 2016-01-10 |

0열

1답변

Spark SQL에서 구조체 배열을 분해합니다.

Spark SQL을 사용하여 아래와 같이 각 요소가있는 구조체로 변환하려고하는 JSON 구조체가 있습니다. 폭발 (제어)이 작동하지 않습니다. 누군가가 이것을 할 수있는 방법을 제안 할 수 있습니까? 입력 : { "control" : [ { "controlIndex": 0, "customerValue": 100.0,

1열

1답변

spark-shell을 시작할 때 예외 : 데이터 스토어에서 스키마 열 정보를 가져 오는 예외가 발생했습니다.

Spark 2.1.1을 사용하고 있습니다. metastore에 대한 백엔드로 mysql을 사용합니다. 이 답변에서 보는 바와 같이 17/10/17 21:02:58 WARN Query: Query for candidates of org.apache.hadoop.hive.metastore.model.MTableColumnStatistics and subclas

0열

1답변

Spark 데이터 집합 또는 집계를위한 데이터 프레임

Spark 버전 2.0이 포함 된 MapR 클러스터가 있습니다. 현재 TEZ 엔진에서 실행중인 Hive 쿼리의 성능 차이를 측정하고 Spark-SQL에서 Writing .hql 파일에서 sql 쿼리를 실행 한 다음 쉘 파일을 통해 호출합니다. 쿼리에는 여러 단계가 생성되며이 시나리오에서 가장 최적의 선택이 될 것입니다. 는 그래서 모든 영역의 Datafra

0열

1답변

SparkSQL에있는 MySQL의`show processlist`와 같습니다.

MySQL의 명령 show processlist;은 Apache SparkSQL에 있습니까?

0열

1답변

Apache SparkSQL에서 MySQL의`kill query '와 동등합니까?

Apache SparkSQL에 MySQL의 명령 kill query (정의 된대로 here)이 있습니까? 감사!

0열

1답변

배열로 변환 된 데이터 프레임을 키 값을 기반으로하는 다른 데이터 프레임의 요소로 추가하려면 어떻게해야합니까?

키 값을 기반으로 데이터 프레임의 결과를 다른 데이터 프레임의 새로운 배열 필드로 추가하려고했습니다. 예를 들어, 나는이 데이터 프레임이의이 df1를 호출하자 root |-- DF_KEY: integer (nullable = false) |-- DF_DESC: string (nullable = false) +------------+---------