apache-spark-sql

1열

1답변

용어에 대한 문서 배열을 검색 한 다음 발생 횟수를 계산하고 싶습니다. 다음은 "하나"라는 용어를 사용하는 작업 예제입니다. val temp_rdd = sc.parallelize(Array("one item", "two item", "one two three")) val df = temp_rdd.toDF("line") val get_ones = df.f

0열

1답변

원격 Apache Spark 서버에 작업 제출

Apache Spark (v1.6.1)은 우분투 (10.10.0.102) 시스템에서 서비스로 시작하여 ./start-all.sh을 사용합니다. Java API를 사용하여 원격으로이 서버에 작업을 제출해야합니다. 다음은 다른 시스템 (10.10.0.95)에서 실행되는 Java 클라이언트 코드입니다. String mySqlConnectionUrl = "jdbc

3열

1답변

Spark SQL에서 Catalyst Query Optimizer를 활성화하는 방법은 무엇입니까?

Spark-SQL을 직접 사용하든 Spark-Shell을 사용하든간에 명시 적으로 Spark Catalyst 쿼리 최적화 프로그램의 작동을 확인하지 않습니다. val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) 을 그럼, 같이 쿼리를 처리 할 때 : hiveContext.sql("""

0열

1답변

Apache Spark SQL Documentation

Apache Spark에서 구현하는 SQL의 설명서가 어디에 있는지 알고 있습니까? 모든 운영자, 라이브러리 함수, 키워드 등의 광범위한 목록을 의미합니다. Microsoft 및 T-SQL과 유사합니다. 나는 지금 시행 착오를하고있다.

2열

2답변

스파크 작업에서 HiveContext를 사용하여 jar를 추가하는 방법

json 데이터에 액세스하기 위해 JSONSerDe jar 파일을 추가하려고합니다. JSON 데이터를 스파크 작업에서 하이브 테이블로로드합니다. 내 코드는 다음과 같습니다 SparkConf sparkConf = new SparkConf().setAppName("KafkaStreamToHbase"); JavaSparkContext sc = new

3열

1답변

스파크 CSV IOException이 Mkdirs 파일

TL을 작성하는 데 실패 세부 정보 : 스칼라를 사용하는 로컬 파일 시스템 (실행중인 컴퓨터에 HDFS가없는 컴퓨터)을 사용하는 독립 실행 형 클러스터에서 실행되는 Spark 1.6.1 응용 프로그램에서 작업하고 있습니다. 이 데이터 프레임은 HiveContext를 사용하여 CSV 파일로 저장하려고합니다. 이 내가 실행 해요 것입니다 : 내가 사용 expo

1열

1답변

하나의 실행 프로그램 만 사용하여 실행중인 스파크 작업이있는 이유는 무엇입니까?

My Spark 클러스터에는 마스터가 1 명, 작업자가 2 명 있습니다. 응용 프로그램은 s3에서 DataFrames로 csv 파일을 읽어 임시 테이블로 등록하고 sqlContext를 사용하여 sql 쿼리를 실행하여 새 DataFrames를 만듭니다. 그런 다음이 DF는 MySql DB에 저장됩니다. 이러한 작업은 모두 여러 노드에서 실행됩니다. 그러나이

2열

1답변

Spark Dataframe을 JSON으로 작성하면 MLLIB의 형식이 손실됩니다. 희소 벡터

json에 (Java) Spark Dataframe을 쓰고 있습니다. 하나의 열은 mllib 스파 스 벡터입니다. 나중에 json 파일을 두 번째 Dataframe으로 읽었지 만 스파 스 벡터 열이 WrappedArray가되어 두 번째 데이터 프레임에서 스파 스 벡터로 읽히지 않습니다. 내 질문 : 스파 스 벡터 열을 wrappedArray 열이 아닌 얻으

4열

2답변

Spark SQL에서 대형 테이블을 결합하는 최적화 된 방법

Spark SQL 또는 Dataframe API를 사용하여 테이블을 조인해야합니다. 그것을 성취 할 수있는 최적의 방법이 무엇인지 알아야합니다. 시나리오는 다음과 같습니다 모든 데이터는 ORC 형식 하이브 (자료 Dataframe 및 참조 파일)에 존재한다. 나는 (크기 1 주위 TB) 을 큰 메모리 구조 (400 열)을 만들 11-13 다른 참조 파일과

12열

2답변

여러 열의 데이터 집합을 결합하는 방법은 무엇입니까?

을 감안할 때 두 스파크 데이터 집합, A와 B I는 다음과 같이 단일 컬럼에 가입 할 수 있습니다 a.joinWith(b, $"a.col" === $"b.col", "left") 내 질문은 당신이 여러 열을 사용하여 가입 할 수 있는지 여부입니다. 기본적으로 다음과 같은 DataFrames API 코드의 상당 : Dataframe와 같은 a.join(