apache-spark-sql

2열

2답변

Snappydata canno't는 1000보다 큰 크기의 배열을 가지고 있습니다.

누구나 나를 도울 수 있고 배열 길이와 행/열 테이블 행이 가질 수있는 치수의 한계에 관한 정보를 제공 할 수 있습니까? 배열에 1000 개가 넘는 요소를 추가 할 수 없습니다. 크기를 늘릴 수있는 방법이 있습니까? 미리 감사드립니다.

0열

1답변

spark 1.x에서 2.x로 sql_context.registerDataFrameAsTable을 마이그레이션하는 방법

PySpark/Spark 2.x에서 테이블로 데이터 프레임을 등록하는 방법은 무엇입니까? Spark 1.x에서 sql_context.registerDataFrameAsTable (input_df, input_tablename) 메서드를 사용하고 있습니다. 이제 Spark 2.x로 마이그레이션하고 sql_context 대신 spark 세션을 사용하고 싶습니다

0열

1답변

GenericUDF의 초기화 된 메소드가 여러 번 호출되었습니다

저는 GenericUDF를 확장하는 HiveUDF를 가졌습니다. spark.sql을 통해 udf를 호출하면 정확한 결과를 얻었지만 초기화 된 메소드는 여러 번 호출됩니다. 왜 이런 일이 벌어지고 있는지 이해할 수 없습니까?

1열

1답변

Spark SQL (HiveContext를 통한 하이브 쿼리) 하이브 테이블에 여러 파티션이있는 경우 INSERT OVERWRITE가 기존 데이터를 덮어 쓰지 않습니다.

//Hive-1.2.1000.2.6.1.0-129 OVERWRITE test5 테이블을 여러 개 문서 (https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML)에 따라 INSERT OVERWRITE는 테이블이나 파티션의 기존 데이터를 덮어 씁니다. 그러나 INSERT OVERWRITE 쿼리가

0열

1답변

AWS EMR 스파크 - CSV를 얻을 그리고 SparkSql API를

//download file csv ByteArrayOutputStream downloadedFile = downloadFile(); //save file in temp folder csv ( java.io.File tmpCsvFile = save(downloadedFile); //reading Dataset<Row> ds = session

0열

1답변

하이킹 테이블을 Spark SQL의 메모리 내 테이블에 조인 할 수 있습니까?

나는 Spark SQL을 배우고 있으며, Spark의 SessionCatalog와 Hive MetaStore에 대해 혼란스러워하고 있습니다. HiveSessionStateBuilder가 HiveSessionCatalog를 사용하여 새로운 분석기를 생성한다는 것을 알게되었습니다. 우리는 하나의 spark sql에서 하이브 테이블과 메모리 테이블에 가입 할 수

1열

2답변

적어도 N 개의 행이있을 때만 스트림 처리를 실행하는 방법?

kafka 소비자에게 다음과 같은 spark SQL/Streaming 쿼리가 있습니다. 일괄 처리 크기가 특정 크기 N에 도달 할 때 가져 오기를 조건부로 지정하려면 어떻게해야합니까? 그렇지 않으면 처리하기 전에 소비자가 요소를 버퍼링해야하므로 필요할 때마다 내가 크기 N. 현재 코드의 정확한 Dataset<VideoEventData>을 가지고 gurate

0열

1답변

SparkSession.catalog와 SparkSession.sessionState.catalog의 차이점은 무엇입니까?

나는 스파크를 배우고 있는데, 스파크의 카탈로그에 대해 혼란스러워했다. 제가 /** * Interface through which the user may create, drop, alter or query underlying * databases, tables, functions etc. * * @since 2.0.0

0열

1답변

PySpark의 병합 쿼리가 실패했습니다.

pyspark에서 병합 쿼리를 실행 중이지만 "merge"키워드가 spark에서 인식되지 않습니다. 17/11/27 14:39:34 ERROR JobScheduler: Error running job streaming job 1511793570000 ms.1 org.apache.spark.SparkException: An exception was rais

1열

1답변

여러 개의 Spark DataFrame 열 유형 변경, 동적 및 구성 가능

Spark 및 Scala를 처음 사용했습니다. JSON을 제공하는 외부 데이터 소스가 있습니다. 이 JSON에는 숫자 및 부울 필드를 포함한 모든 값이 인용 부호로 묶여 있습니다. 따라서 DataFrame으로 가져올 때까지는 모든 열이 문자열입니다. 최종 목표는 이러한 JSON 레코드를 올바르게 형식화 된 파루 파일로 변환하는 것입니다. 약 100 개의 필