apache-spark-sql

1열

1답변

다음은 in_date 및 out_date 직원을 나타내는 샘플 데이터 세트입니다. 모든 직원의 마지막 in_time을 확보해야합니다. 4 개의 노드 독립 실행 형 클러스터에서 Spark가 실행 중입니다. 초기 데이터 집합 : 직원 ID ----- 안양 후 in_date ----- out_date 1111111 2017-04-20 2017-09-14 11

1열

2답변

문 Pyspark

2열

1답변

두 개의 JDBC 테이블을 조인하고 Exchange를 피하는 방법은 무엇입니까?

여러 JDBC 테이블과 파일에서 데이터를 읽고 일부 집계를 수행하고 소스를 결합하는 ETL과 같은 시나리오가 있습니다. 한 단계에서 두 개의 JDBC 테이블을 조인해야합니다. - "PARTITION_KEY"두 경우 모두 partitionColumn이 동일하다는 것을 val df1 = spark.read.format("jdbc") .option(

0열

1답변

PySpark : DataFrame - 나는 다음과 같은 구조의 dataframe이 배열

0열

2답변

스파크 SQL Dataframe의 API - 빌드 필터 조건을 동적

나는이 두 스파크 dataframe의를 df1 및 df2 : I는 컬럼의 수에 따라, df1에서 비 일치하는 레코드를 얻을 필요가 +-------+-----+---+ | name|empNo|age| +-------+-----+---+ |shankar|12121| 28| | ramesh| 1212| 29| | suresh| 1111| 30| | a

0열

2답변

중첩 된 StructType이있는 열을 Spark SQL의 클래스 인스턴스로 변환하는 방법은 무엇입니까? 예를 들어

은 student 열은이 StructType(("id", "int"), ("name", "string")) | student | | ------------| | [123,james] | 가 어떻게 Dataset<Row>.map()를 사용하여 Student 클래스 인스턴스에 하나 개의 열 값을 변환 할 수있다? 열의 값을 문자열 배열로 처리하고 인스

0열

1답변

spark writing to postgresql

MongoDB에서 Apache Spark를 사용하여 Postgres로 200 만 레코드를 전송하려고합니다 (두 데이터베이스의 공식 드라이버 사용). 몇 분이 지나면 프로그램이 멈추고 postgres 로그에 다음 오류가 표시됩니다. 2017-12-03T22:18:16+00:00 app[postgres.15348]: [AQUA] [7-1] sql_error_c

0열

1답변

Zeppelin Notebook에서 Spark SQL을 기본 인터프리터로 만드는 방법은 무엇입니까?

사무실에서 우리는 기본 인터프리터로 Spark가있는 Zeppelin Notebooks를 사용합니다. 대부분 Spark SQL을 사용합니다. %SQL select * from db.table1 가 어떻게 각 셀 %SQL를 작성할 필요가 없습니다 있도록 스파크 SQL 기본 인터프리터 만들기 : 다음은 간단한 예입니다?

0열

1답변

스파크를 사용하여 JSON 용 사용자 정의 serde를 사용할 수 있지만 클래스를 찾을 수 없음

https://github.com/Esri/gis-tools-for-hadoop/wiki/Aggregating-CSV-Data-%28Spatial-Binning%29과 함께이어서 스파크를하면 serde 클래스를 찾을 수 없습니다. ClassNotFoundException: Class com.esri.hadoop.hive.serde.JsonSerde not

1열

1답변

SQL을 사용하여 CSV 파일을 쿼리하는 동안 헤더를 켜는 방법은 무엇입니까?

Spark SQL은 CSV 파일을 직접 쿼리 할 수 있습니다. 아래 예제를 참조하십시오. val df = spark.sql("SELECT * FROM csv.`csv/file/path/in/hdfs`") 그러나 어떻게하면 Spark에 CSV 파일에 헤더 행이 있다는 것을 알려줄 수 있습니까?