apache-spark-sql

1열

1답변

날짜 형식의 열을 datetime으로 변환하고 몇 분을 추가하려면 어떻게해야합니까?

나는 datetime.datetime()를 사용하여 유형 타임 스탬프의 새 열을 만들 수 있습니다는 import datetime from pyspark.sql.functions import lit from pyspark.sql.types import * df = sqlContext.createDataFrame([(datetime.date(2015,4,8),

0열

1답변

스파크 브로드 캐스트가 실행 프로그램 메모리에 저장되지 않습니다

EMR-Spark 버전 2.2.0/2.1.0에서 스파크 - 쉘을 사용했습니다. 간단한 개체 (내 CSV 파일에 1 열만 포함되어 있고 2MB 미만)을 브로드 캐스팅하려고 시도하는 동안 설명서에 제시된대로 그래도 각 실행 메모리와 드라이버 메모리에 보관되지 않는 것으로 나타났습니다 https://jaceklaskowski.gitbooks.io/masterin

0열

1답변

벡터 배열을 DenseVector로 변환

Spala 2.1을 스칼라와 함께 사용하고 있습니다. 벡터의 배열을 DenseVector으로 변환하려고합니다. scala> df_transformed.printSchema() root |-- id: long (nullable = true) |-- vals: vector (nullable = true) |-- hashValues: array (null

1열

1답변

스파크 집합에서 셔플 디스크 사용량 감소

하이브에 100GB 크기의 테이블이 있습니다. 기능을 그룹화하고 하이브 테이블로 결과를 저장하려고합니다. 하드 디스크의 공간이 600GB이고 작업이 70 %에 도달하면 디스크 공간이 모두 사용 중입니다. 그래서 내 직업이있어 실패 ... 내가 셔플 데이터를 최소화 할 수있는 방법은 더 많은 디스크는 일반적으로 매우 쉽고 저렴 옵션 추가 클라우드 기반의 실행

0열

1답변

쪽매 파일 상단에 하이브 테이블 만들기 실패 - 어디서 잘못 가고 있습니까?

데이터 프레임을 마루 파일에 저장하고 있습니다. 생성 된 스키마는 다음과 같습니다. org.apache.spark.sql.parquet.row.metadata{ "type":"struct", "fields":[ { "name":"DCN", "type":"string", "nullable":true, "meta

0열

1답변

Spark 2.1 독립 실행 형 클러스터에서 RDD 또는 Spark SQL 데이터 프레임이 클라이언트 배포 모드로 저장되거나 지속됩니까?

I는 원격 데이터 액세스 및독립 클러스터 (pyspark library 사용) 원격 점화 처리를 수행 클라이언트 측 (python 2.7 kernel 사용) Jupyter 노트북을 배치하고있다. 클라이언트 모드에 스파크 클러스터를 배포하고 있습니다. 클라이언트 시스템에 Spark 작업자 노드가 없습니다. 클라이언트의 메모리 (RAM)가 부족합니다. 클라이언

5열

1답변

pyspark Window.partitionBy vs groupBy

약 21 억 개의 레코드가있는 데이터 집합이 있다고 가정 해 보겠습니다. 이 정보는 고객 정보가있는 데이터 세트이며 무언가를 한 횟수를 알고 싶습니다. 따라서 ID를 그룹화하고 하나의 열을 합산해야합니다 (1은 동작을 나타내는 0과 1 값을가집니다). 지금은 간단한 groupBy과 agg(sum)을 사용할 수 있습니다. 그러나 제 이해를 위해 이것은 실제로

0열

1답변

두개의 데이터 프레임의 데카르트 곱과 스파크 (스칼라)의 카티 션 결과의 합?

I는 다음과 같은 두 가지의 DataFrame (스파크 스칼라)를 가지고 df1 is Array((1,WrappedArray(1,2,3)),(2,WrappedArray(1,2,4))) org.apache.spark.sql.DataFrame = [id: int, features: array<float>] df2 is Array((1,WrappedArra

2열

1답변

Spark SQL 파티션 인식 하이브 테이블 쿼리

Avro 파일로 저장된 데이터가있는 some_field (int 유형의) 하이브 테이블로 파티션 된 경우 데이터 프레임이 반환 된 방식으로 Spark SQL을 사용하여 테이블을 쿼리하려고합니다. some_field (파티셔닝에 사용됨). 단지 SELECT * FROM some_table 기본 불꽃으로 그렇게하지 않는 것처럼 쿼리 보인다 없음 data_f

0열

2답변

스파크 SQL 쿼리