apache-spark-sql

2열

1답변

I 파티션 키 (오크 형식) hiveContext에서 dataframe 쓰는 것을 시도하고있다 : df.write().partitionBy("event_type").mode(SaveMode.Overwrite).orc("/path"); 내가 파티션에 노력하고있는 열이 대소 문자를 구분 값이 단을 이것은 기록 중에 에러 던지고 : Caused by: jav

1열

1답변

spark-sql cli에 연결할 수 없습니다.

Spark 1.6.0이 실행중인 CDH 5.5.7 빠른 시작 VM을 사용하고 있습니다. spark-sql cli에 연결하려고하는데 실패합니다. 이 link에 따르면 spark-sql 명령을 발행하여 cli를 입력 할 수 있어야하지만 아래 오류가 표시됩니다. [[email protected] ~]$ spark-sql -bash: spark-sql: comm

1열

1답변

스파크에서 코드를 효율적으로 사용할 API를 결정하는 방법

일반적으로 시간 효율성을 위해 어떤 API 또는 명령을 논리적으로 결론 지을 수있는 단계는 무엇입니까? 예를 들어, 경험적으로 SQL API 호출을 통해 데이터 프레임을 결합하면 원시 스칼라 명령을 사용할 때보 다 30 % 더 효율적이라는 것을 알았습니다. df1.join(df2, df1.k == df2.k, joinType='inner') sqlConte

0열

1답변

SparkR 데이터 프레임에서 열 유형을 long으로 double로 변경하는 방법이 있습니까

SparkR 데이터 프레임에서 열 유형을 long으로 두 번 길게 변경하는 방법이 있습니까? SparkR 데이터 프레임 "dataDF"col1 (long), col2 (double), col3 (double) 형식 클라우드 데이터베이스입니다. SparkR 데이터 프레임 "dataDF"에서 col1에 대해 "long"유형을 "double"으로 변경하려고합니다

0열

1답변

PySpark SQLContext.createDataFrame이 선언 될 때 null을 생성하고 실제 필드 유형이 일치하지 않음

RDD를 지정된 스키마로 DataFrame으로 변환 할 때 PySpark (v1.6.2)에서 값 유형의 필드가 선언 된 것과 일치하지 않습니다. 스키마는 null으로 변환됩니다. from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.sql.types import

-1열

1답변

스파크의 열의 데이터 유형을 RDD로 변경하고 쿼리하기

기본적으로 데이터를로드 할 때 모든 열은 문자열 유형으로 간주됩니다. 내가하려고 할 때 temp.printSchema |-- firstName: string (nullable = true) |-- lastName: string (nullable = true) |-- age: string (nullable = true) |-- doj: date (nu

5열

1답변

스칼라 및 스파크 UDF 함수

spark의 temptabl에서 시간 필드의 일부 값을 변환하거나 추출하는 간단한 UDF를 만들었습니다. 함수를 등록하지만 SQL을 사용하여 함수를 호출하면 NullPointerException이 발생합니다. 아래는 나의 기능과 그것을 실행하는 과정이다. 나는 Zeppelin을 사용하고있다. Strangly 어제 일하고 있었지만 오늘 아침에 일하는 것을 멈

1열

1답변

Spark에서 가변 개수의 열에 대해 유효성 검사

다음과 같이 사용자가 데이터에서 수평으로 표시된 단계를 나타내는 일련의 코드가 있습니다. Name code1 code2 code3 code4 A 2 3. 4 Null B 2 5 4 7 C 1 3 4 5 D 0 9 Null Null 모든 유효한 코드가있는 다른 파일이 있습니다. 내가하고 싶은 무엇 ID Value 1 3 2 4 3 5 4 6

2열

2답변

열을 기준으로 파티션을 나누지 만 고정 된 파티션 수를 유지하는 효율적인 방법은 무엇입니까?

필드에 의한 데이터를 미리 정의 된 파티션 수로 파티션하는 가장 좋은 방법은 무엇입니까? 현재 partionCount = 600을 지정하여 데이터를 파티션하고 있습니다. 600이라는 숫자는 내 데이터 집합/클러스터 설정에 대해 최상의 쿼리 성능을 제공합니다. val rawJson = sqlContext.read.json(filename).coalesce(6

1열

1답변

스파크 DataFrame 초기화 2.0 버그에

다음 코드에 의해 생성되는 가능한 한 버그가 : _struct = [ types.StructField('string_field', types.StringType(), True), types.StructField('long_field', types.LongType(), True), types.StructField('double_fi