apache-spark-2.0

1열

2답변

extraOptimizations를 사용하여 Spark SQL AST 변환

SQL 문자열을 사용자 입력으로 가져 와서 실행 전에 변환하려고합니다. 특히 최상위 투영 (select 절)을 수정하고 쿼리에서 검색 할 추가 열을 주입하려고합니다. sparkSession.experimental.extraOptimizations을 사용하여 Catalyst에 연결하여이 작업을 수행하기를 바랬습니다. 내가 시도하는 것은 엄밀히 말하면 최적화

1열

1답변

pyspark 데이터 프레임 필터링

일부 규칙에 따라 pyspark 데이터 프레임에서 일부 값을 선택하려고합니다. pyspark에서 예외가 발생했습니다. from pyspark.sql import functions as F df.select(df.card_key,F.when((df.tran_sponsor = 'GAMES') & (df.location_code = '9145'),'ENTER

2열

1답변

DataBase 또는 InsertInto 하이브와 병렬로 Dataframe/Dataset의 각 파티션을 저장하는 방법

현재 spark 2.0.1을 사용하고 있으며 insertInto() 또는 S3 스토리지에 "분할 된 테이블 하이브"에 데이터 세트를 저장하려고합니다. partitionBy ("col") 작업이 동시성 (병렬)입니다. 그러나이 두 가지 방법을 사용하면 데이터 세트의 각 파티션이 순차적으로 하나씩 저장됩니다. 그것은 매우 천천히. insertInto() 또는

1열

1답변

Spark 2.0의 AVRO에서 쪽모료를 쓸 때 NullPointerException이 발생했습니다.

AWRO S3에서 AVRO 파일을로드하고 마루로 다시 작성합니다. from pyspark.sql import SparkSession from pyspark.sql.types import * spark = SparkSession.builder.appName("AvroParquet").enableHiveSupport().getOrCreate() in_

0열

1답변

Spark 2.0.1 java.lang.NegativeArraySizeException

Spark 2.0.1로 게임을 시작합니다. 새 데이터 집합 API는 매우 깨끗하지만 매우 간단한 작업에는 문제가 있습니다. 어쩌면 나는 누군가를 도울 수 있기를 바랍니다. 이러한 명령어 SparkConf conf = new SparkConf().setAppName("myapp").setMaster("local[*]"); SparkSession spark

15열

1답변

스파크 2.0 데이터 세트 vs DataFrame

스파크 2.0.1로 시작합니다. 몇 가지 질문이 있습니다. 나는 많은 문서를 읽을 수는 있지만 지금까지 충분한 답변을 찾을 수 없습니다 : df.select("foo") df.select($"foo") 의 차이점은 무엇입니까 을 내가 제대로 이해 그 myDataSet.map(foo.someVal)은 타입 세이프이며 wi RDD으로 변환되지 않지만 DataS

1열

1답변

PySpark : AWS s3n이 작동하지만 s3a가 없습니다

로컬 컴퓨터에서 Spark를 사용하여 Amazon S3에서 데이터에 액세스하려고했습니다. 나는 S3N와 데이터에 액세스 할 수 있지만 S3A로, 아래의 구성은 불꽃입니다 : - 2.0.1 사전은 하둡과 내장 2.7 spark-defauts.conf parameters :- spark.jars.packages com.amazonaws:aws-java-

2열

1답변

Play with Spark 2.0! 2.5

Play와 함께 Spark 2.0을 사용하려고합니다! 2.5 그러나 제대로 작동하도록 만들지는 못합니다 (그리고 Github에 대한 예제가없는 것 같습니다). 컴파일 오류가 없지만 일부 이상한 실행 오류가 있습니다. 예를 들어 : 거의 Dataset 또는 Dataframe 모든 조작은 NullPointerException 리드 : val ds: Datase

0열

1답변

spark mvn compile error. [오류] 목표 org.apache.maven.plugins를 실행하지 못했습니다 : maven-compiler-plugin : 3.1 : 컴파일 (기본 컴파일)

나는 'Spark with Machine 의 groupId '학습 : org.apache.spark artifactId를 : 스파크 core_2.11 버전 : 2.0.1 JavaApp.java import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext

2열

1답변

spark-maven 종속성으로 인해 sprint-boot 응용 프로그램이 중단됩니다.

저는 Swing GUI가있는 스프링 부팅 응용 프로그램이 있습니다. 그것은 단지 작동합니다! 그러나 스파크 2.0 종속성을 pom.xml 파일에 추가하자마자 시작하는 동안 다음과 같은 오류 메시지가 나타나고 시작되지 않습니다! SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding