apache-spark-sql

0열

2답변

누군가가 Spark SQL을 사용하는 CASE 문장의 올바른 구문을 식별하는 데 도움을 줄 수 있습니까? 나는 다음을 시도했다 : SELECT CASE circle WHEN ("Panjab") THEN 2 END FROM siteinfo 여기에서 circle은 유효한 열 이름이다. 그러나, 나는 여전히 올바른 접근법을 결정할 수 없다

1열

1답변

Spark SQL 중고 서버는 클러스터 모드에서 실행할 수 없습니까? 내가 클러스터 모드에서 스파크 SQL 중고품 서버를 시작하려고 스파크 1.2.0에서는

, 나는 다음과 같은 출력을 얻을 :이 Spark assembly has been built with Hive, including Datanucleus jars on classpath Spark Command: /usr/java/latest/bin/java -cp ::/home/tpanning/Projects/spark/spark-1.2.0-bin-had

2열

2답변

cdh5.3 클래스가있는 원사에 spark sql 실행되지 않음

spark-sql을 독립 실행 형 모드로 완벽하게 실행할 수 있지만 원사 모드에 관해서는 spark가 하이브 클래스를 찾을 수 없다고 말했습니다 org/apache/hadoop/hive/ql/plan/TableDesc와 같은). 그래서 하이브 라이브러리를 compute-classpath.sh에 추가했습니다. 실패한. 그럼 원사가 작동하지 않고 독립형이 잘

0열

1답변

맞춤 데이터 소스에 대한 자동 스파크 스키마 추론

맞춤 데이터 소스 (속성 파일) 용 spark (1.5.2) sql RelationProvider를 구현 중입니다. 자동 추론 알고리즘을 구현하는 방법을 설명해주십시오.

0열

2답변

RangePartitioner 문제

아래의 두 테이블을 결합하려고합니다. 프로그램이 로그 라인 아래에서 멈추고 계속 진행되지 않습니다. 정보 SparkContext : 시작 작업 : Exchange.scala에서 RangePartitioner : 79 이 어떤 문제와 가능한 해결책이 될 수 있는가? 그것은 columsn thats의 번호는 문제인가? 모든 제안을 부탁드립니다. 표 1은 400

0열

2답변

쿼리를 실행할 때 Spark-sql CLI가 오직 하나의 실행 프로그램을 사용합니다.

spark-sql cli를 사용하여 하이브 cli 쉘을 대체하려고합니다. spark-sql cli를 명령과 함께 실행합니다 (우리는 Hadoop 클러스터는, 하이브-site.xml 파일은 이미/conf의) .> 복사 스파크-SQL 다음 쉘이 열리고 , 작품을 좋아 내가 쿼리 뭔가 같은 을 실행한다./spark-sql> devicetype에 의해 mytabl

1열

1답변

pyspark에서 sql 쿼리를 실행하는 동안 MetaException (message : java.lang.IllegalArgumentException : java.net.UnknownHostException)

docker에서 pyspark를 실행 중입니다. 나는 pyspark로 기본적인 작업을 할 수있다. 하지만 SQL 쿼리를 실행하려고 할 때, 나는 예외 [IN] from pyspark.sql import SQLContext, HiveContext sqlContext = HiveContext(sc) rdd = sqlContext.parquet

0열

2답변

스파크 SQL 쿼리 결과를 개체에 매핑하는 방법은 무엇입니까?

아시다시피 MyBatis는 매우 좋습니다. jdbc 결과를 오브젝트에 맵핑 할 수 있습니다. spark sql 쿼리 결과의 경우 스파크 쿼리 결과를 개체에 매핑하는 좋은 방법이 있습니까? 감사합니다

0열

1답변

PySpark에서 줄이기위한 적절한 입력

spark를 사용하여 일부 데이터를 이산화하려고합니다. 나는 다음과 같은 형식의 데이터가 : 그러면 date zip amount 2013/04/02 04324 32.2 2013/04/01 23242 1.5 2013/04/02 99343 12 나는 다음과 같은 코드가 있습니다 def discretize((key, data), cutoff=0.75

1열

1답변

스파크로 SQL과 가중치 사용하기 LogisticRegressionModel

나는 spark.ml 라이브러리와 파이프 라인 기능을 실험 중이다. (기차 및 시험 예) 분할로 SQL 사용에 제한이있는 것 같습니다 : spark.ml 스키마 RDD 떨어져 작동 그것은 좋은,하지만 무작위로 분할 스키마에 RDD하는 쉬운 방법이 없습니다 테스트 및 기차 세트. randomSplit (0.6,0.4)를 사용할 수는 있지만 스키마를 잃어 버리