apache-spark-sql

2열

3답변

열 순서를 지정해야합니다. 나는 두 개의 문자열을 전달하면, 그것은 val cols = array("predicted1", "predicted2") 잘 작동하지만 순서 나 배열을 전달하면, 나는 오류 얻을 : val cols = array(Seq("predicted1", "predicted2")) 당신이 좀 도와 주 시겠어요를? 많은 감사합니다!

0열

1답변

아파치 스파크에서 두 개의 DATAFILES에 대해 JOIN 작업을 수행 할 수 있습니까?

나는 스파크에서 셔플 정렬과 관련된 몇 가지 작업을하고있다. 하나의 맵 작업은 하나의 데이터 파일 (직렬화 된 오브젝트 형태의 데이터)과 하나의 인덱스 파일 (해당 데이터 파일의 레코드를 가리키는)을 작성한다고 생각합니다. JOIN을 두 개의 서로 다른 데이터 작업 (두 개의 서로 다른 맵 작업)에서 수행하려고합니다. Spark의 내부 코드를 변경하여이를

2열

1답변

spark SQL에서 테이블의 증분 열 ID를 추가하는 방법

spark mllib 알고리즘을 작성 중입니다. 이 형식의 데이터 집합은이 형식입니다 회사 ":"XXXX ","CurrentTitle ":"XYZ ","Edu_Title ":"ABC ","Exp_mnth ":. (더 많은 값이 있습니다.) Im은 문자열 값을 숫자 값으로 코드화하려고 했으므로 zipwithuniqueID를 사용하여 각 문자열 값에 대해 고유

0열

1답변

'어디에서 아파치 스파크에서

df: -----------+ | word| +-----------+ | 1609| | | | the| | sonnets| | | | by| | william| |shakespeare| | | | fg| 이것은 내 데이터 프레임입니다. 'where'절을 사용하여 빈 행을 제거하는 방법 (''이 들어있는 행

4열

1답변

PySpark에서 카운트 열 액세스하기

code: mydf = testDF.groupBy(testDF.word).count() mydf.show() output: +-----------+-----+ | word|count| +-----------+-----+ | she| 2208| | mothers| 93| | poet| 59| | moving| 18| | ac

0열

1답변

Spark SQL의 TimeUUID를 기반으로 쿼리 할 수 없습니다.

SparkSQL 터미널을 사용하여 Cassandra 데이터베이스를 쿼리하려고합니다. 검색어 : 또한 시도 select * from keyspace.tablename where user_id = e3a119e0-8744-11e5-a557-e789fe3b4cc1; Error: java.lang.RuntimeException: [1.88] failure:

2열

2답변

결과 표시에 sql이 이상하게 표시됩니다. Spark

spark로 분석하려고합니다. 나는 결과를 정확하게 보여주는 foreach와 같은 쿼리를 시도했지만 show 나 SQL을 사용하면 이상하게 보이지만 아무것도 표시하지 않습니다. sqlContext.sql("select distinct device from TestTable1 where id = 23233").collect.foreach(println)

1열

2답변

RDD [String, String]을 RDD로 변환하십시오.

RDD 요소 데이터 유형을 변환하는 방법을 찾는 데 어려움을 겪고 있습니다. 나는 텍스트 파일을 다음 있습니다 : 1 2 2 3 3 4 나는 기본적으로 새로운 RDD, 그것을 만들은 문자열 데이터 유형 val exampleRDD = sc.textFile("example.txt").map(x => (x.split(" ")(0),x.split(" ")(

1열

1답변

우리는 REST 웹 서비스에서 쿼리를보고하는 데 Spark sql을 사용할 수 있습니까?

Spark와 관련된 몇 가지 기본적인 질문이 있습니다. 우리는 처리 작업의 맥락에서만 스파크를 사용할 수 있습니까? 우리의 유스 케이스에서는 우리가 정련하고 캐논 드리 테이블에 저장할 수있는 포지톤 및 모션 데이터 스트림이 있습니다. 그것은 카프카 및 스파크 스트리밍으로 수행됩니다. 그러나 웹 사용자 일부 검색 기준으로 일부 보고서를보고 싶다면 Spark

3열

1답변

Spark SQL - CASE-THEN의 JAVA 구문?

SQLContext 및 .sql() 기능을 사용하면 Spark에서 CASE-THEN을 사용할 수 있습니다. JAVA 구문에서이를 데이터 프레임에서도 직접 사용할 수 있습니까? 방법? 는 지금, 나는 쓰기 : 다음 when(Column col, Object obj)를 사용하여 그냥 org.apache.spark.sql.functions을 가져 df.selec