apache-spark-sql

2열

1답변

Spark - Kyro로 모델 객체를 등록하십시오 : java.lang.IllegalArgumentException : 클래스가 등록되지 않았습니다 :

spark에서 Kyro와 비즈니스 로직 및 모델 클래스가있는 클래스를 등록합니다. public class KyroSerializer implements KryoRegistrator { @Override public void registerClasses(Kryo kryo) { kryo.register(People.class

0열

1답변

Apache Spark에서 Java 데이터 구조를 사용하여 데이터 복사를 피하십시오.

약 1 억 개의 레코드 (~ 25GB, ~ 5 개 열)가 포함 된 단일 테이블이있는 MySQL 데이터베이스가 있습니다. Apache Spark를 사용하여이 데이터를 JDBC 커넥터를 통해 추출하여 DataFrame에 저장합니다. 여기에서 데이터의 사전 처리 (예 : NULL 값 바꾸기)를 수행하므로 각 레코드를 반드시 거쳐야합니다. 그런 다음 치수 감소 및

0열

1답변

spark sql에서 로컬 마루 파일에 액세스하는 방법은 무엇입니까?

많은 마루 파일에 액세스 할 때 Dropwizard 웹 서비스를 사용하고 있습니다. "실제"sql (문자열)을 사용하여 DDL을 실행하지 않아야합니다 (DDL을 실행하지 않고 작동하지만 내 필요를 충족시키지 못함). 독립 모드에서 스파크와 함께 일식에서 서비스를 시작합니다. 스파크 버전은 1.4.1입니다. 문제는 일반 SQL 내에서 마루 참조가 해결되지 않

0열

2답변

Spark 프레임 워크에서 Scala IDE를 사용하여 MySQL 데이터베이스에서 데이터로드

이 문제가 있습니다. IDE Scala는 sqlContext.read.format("jdbc").options(options)에 read 메서드가 SQLContext 개체에 속하지 않는다고 말하기 때문에 오류가 발생합니다. 의존성을 추가해야합니까? 그럼 DataFrame과 개체를 추가해야하는 라이브러리를 알 수 없습니다. 이것은 코드입니다. import j

0열

1답변

Livy를 통해 HDInsight로 전송 된 스칼라 작업은 메타 스토어를 볼 수 없습니다.

HD Insight 클러스터에서 Livy를 통해 스칼라 응용 프로그램을 실행할 때 응용 프로그램에서 생성 한 sqlContext는 하이브 메타 스토어를 고려하지 않은 것으로 보입니다. 스파크 쉘에서 같은 일을 수행 할 때, 그러나 일부 sqlContext.sql("SELECT * FROM table LIMIT 1").collect.foreach(printl

1열

1답변

Spark SQL : RDD 연산과 어떻게 매핑됩니까?

spark SQL을 배울 때, 내 마음 속에 질문이 있습니다. SQL 실행 결과는 SchemaRDD이지만, 장면 뒤에는 어떻게됩니까? 최적화 된 실행 계획에서 얼마나 많은 변형이나 동작이 발생합니까? 이는 일반 RDD 손으로 작성한 코드가 호출되는 것과 동일해야합니까? SQL 대신 손으로 코드를 작성하면 일부 중간 RDD가 생성 될 수 있습니다. 소스 RD

0열

1답변

"spark.sql.execution.id is already set"SparkSQL에 대한 예외

spark-sql을 통한 하이브 테이블에서이 예외가 발생합니다. 내 쿼리가 모두와 INSERT 조항, 즉이 특별히 때 그것이 내가 WITH 절을 제거하거나하는 경우 작동, 어떻게 내가 INSERT 교체 할 경우 : sql("WITH... SELECT...").write.parquet("/test/") 내가 CDH 5.7에 불꽃 1.6.0를 사용하고 1.

1열

1답변

카산드라 UDT 열을 읽는 스파크

내 카산드라 테이블에 'ABC_lines'라는 이름의 열이 있습니다. UDT 데이터 형식입니다. UDT 이름은 "ABC_om_line"입니다. 표 ABC_lines의 스키마를 보면 내 열 유형이 어떻게 표시되는지 알 수 있습니다. ABC_lines 목록> 나는이 UDT "ABC_om_line"에서 30 열이있다. col1, col2, col3 등이 col3

3열

3답변

이전 열과 가장 가까운 차이를 나타내는 추가 열 추가

예제를 통해 내 시나리오를보다 쉽게 설명 할 수 있습니다. I는 다음과 같은 데이터를 가지고 말 : Type Time A 1 B 3 A 5 B 9 I는 동일한 유형의 모든 열 사이의 최소 절대 값 차이를 나타내는 각 행에 추가 항목을 추가 할. 따라서 첫 번째 행의 경우 유형 A의 모든 시간의 최소 차이는 4이므로 열 1과 3의 경우 4, 열 2와 4의

3열

3답변

JSON의 PythonRDD를 DataFrame으로 변환하는 방법은 무엇입니까?

DataFrame을 만들기 위해 여러 JSON을 읽으려고합니다. DataFrame으로 변환하려고하면 여러 JSON 파일을 PythonRDD에 넣습니다. 실패합니다. 어느 나는 방법을 사용 toDF() 또는 sqlContext.createDataFrame() 나는 다음과 같은 오류가 발생합니다 : 미세 sqlContext.read.json() 작품을 사용하기