apache-spark-sql

0열

1답변

를 얻을 수 없습니다 내가 (더 큰 스키마의 작은 dataframe) 내가 쿼리와의 "이름"요소를 필터링 할 root |-- NET: array (nullable = true) | |-- element: struct (containsNull = true) | | |-- BDZ_BUNDLE_BIT: string (nullable = true) | |

2열

1답변

Postgis Geometry 유형을 사용하여 Spark를 테이블에 연결할 수 있습니까?

저는 Postgis를 사용하여 spark를 PostgreSQL 데이터베이스에 연결하려고합니다. 나는 그런 식으로 연결 해요 : val jdbcDF = sc.read.format("jdbc").options( Map("url" -> "jdbc:postgresql://dbHost:5432/ticketapp?user=user&password=passwo

4열

1답변

Spark 다른 데이터 프레임의 열을 기반으로하는 데이터 프레임의 중복 열

다른 데이터 프레임 열의 값을 기반으로 Spark 데이터 프레임 열의 값을 중복 제거하려고합니다. withColumn()은 단일 데이터 프레임 내에서만 작동하며 하위 쿼리는 버전 2가 될 때까지는 사용할 수 없습니다. 테이블에 가입하려고 할 수는 있지만 좀 지저분한 것 같습니다. df.take(1) [Row(TIMESTAMP='20160531 23:03:

0열

1답변

스파크 : 행의 열 중 하나가 각 행에 대해 다음과 같은 데이터 목록

나는 RDD [행]을 가지고있다 dataframe에 RDD [행] 변환 [guid, List(peopleObjects)] ["123", List(peopleObjects1, peopleObjects2, peopleObjects3)] 나는이를 변환 할 dataframe 내 스키마 대신 StringType에 대해 서로 다른 데이터 유형을 사용하여 I이어야

4열

1답변

Spark SQL jdbc 드라이버가 있습니까?

Spark SQL을 지원하는 클라이언트 jdbc 드라이버를 찾고 있습니다. Spark (SQLInsight에서 실행 중)에서 SQL 문을 실행하기 위해 Jupyter를 사용하고 있으며 제 3 자 SQL 클라이언트 (예 : SQuirreL, SQL Explorer 등)를 사용할 수 있도록 JDBC를 사용하여 연결할 수 있기를 바랍니다. 등). Microsof

3열

1답변

Stratio의 Spark-MongoDB 라이브러리를 사용하는 MongoDB 쿼리 필터

Stratio의 Spark-MongoDB library을 사용하여 MongoDB 컬렉션을 쿼리하려고합니다. reader = sqlContext.read.format("com.stratio.datasource.mongodb") data = reader.options(host='<ip>:27017', database='<db>', collection='<co

3열

1답변

Spark - Automation을 사용하여 PostgreSQL로 텍스트 파일 내보내기

Spark를 사용하여 Postgres 데이터베이스로 텍스트 파일을 내보내려고합니다. 개별 텍스트 파일을 내보내려면 아래 코드를 사용하고 있습니다. 나는 같은 폴더에 200 개의 텍스트 파일을 가지고 있고 모든 텍스트 파일은 같은 구조를 가지고있다. 불행히도 올해 값은 필자의 입력 파일의 일부가 아니기 때문에 코딩하기가 어렵습니다. 한 번에 모든 파일을 업로

4열

1답변

Spark 1.6.1의 Spark SQL이 CTAS에서 브로드 캐스트 조인을 사용하지 않는 이유는 무엇입니까?

내 테이블 b가 spark.sql.autoBroadcastJoinThreshold보다 작기 때문에 브로드 캐스트 조인을 예상대로 사용하는 Spark SQL의 쿼리가 있습니다. 그러나 정확히 동일한 선택 쿼리를 CTAS 쿼리에 넣으면 어떤 이유로 든 브로드 캐스트 조인을 사용하지 않습니다. select id,name from a join b on a.name

1열

1답변

스파크 SQL - 임시 테이블 등록을 찾을 수 없습니다

I 다음 명령을 실행 : 다음 spark-shell --packages datastax:spark-cassandra-connector:1.6.0-s_2.10 내가 함께 문맥을 멈 춥니 다 : : 다음 sc.stop 나는 REPL에서이 코드를 실행 val conf = new org.apache.spark.SparkConf(true).set("spark

2열

2답변

SQLContext가 작성되지 않았습니다. NoClassDefFoundError : org/apache/spark/sql/catalyst/rules/RuleExecutor

스파크를 처음 접했습니다. 포스트 그레스에서 자바 스파크로 데이터를로드하고 싶습니다. 이를 위해 저는는 SqlContext를 작성하지만, 다음과 같은 오류가 무엇입니까 : 내가 잘못 무엇입니까를? 어떻게 해결할 수 있습니까?