apache-spark-sql

0열

1답변

Spark에서 Dataset.col()과 functions.col()의 차이점은 무엇입니까?

는 여기에 몇 가지 문의 : COL가 해결되지 않은 열을 반환하면서 https://stackoverflow.com/a/45600938/4164722 Dataset.col 반환 열을 해결. 누군가 더 자세한 정보를 제공 할 수 있습니까? 언제 Dataset.col()을 사용하고 functions.col을 사용해야합니까? 감사합니다.

1열

1답변

"데이터 집합에 저장된 형식의 인코더를 찾을 수 없습니다"와 함께 사례 클래스를 사용하여 DataFrame을 통한 매핑이 실패하는 이유는 무엇입니까?

이미 spark.implicits._을 가져온하지만 아직도 내가 얻을 오류 Error:(27, 33) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by impor

0열

1답변

스파크 saveAsTextFile은 빈 파일을 작성 - <directory>이 _ S3

rdd.saveAsTextFile("s3n://bucket-name/path)에 $ 폴더 $ 폴더 이름으로 빈 파일을 만드는 등 - [folder-name]_$folder$ 은 하둡 파일 시스템과 같은 S3 파일 시스템을 해내 hadoop-aws jar (of org.apache.hadoop)에 의해 사용이 빈 파일처럼 보인다. 그러나 내 응용 프로그램은

1열

1답변

[Amazon] (500310) 잘못된 작업 : Assert

처리를 위해 parkpark를 사용하여 spark-redshift 및 redshift 데이터를 쿼리하고 있습니다. 작업대 등을 사용하여 적색 변이를 실행하면 쿼리가 제대로 작동합니다.하지만 spark-redshift가 s3에 데이터를 언로드 한 다음이를 검색하고 실행할 때 다음 오류가 발생합니다. 생성됩니다 py4j.protocol.Py4JJavaError

-1열

2답변

"Task not serializable"예외로 UDF가있는 쿼리가 실패하는 이유는 무엇입니까?

저는 UDF를 만들었고 조인 내부에서 병합 결과에 적용하려고합니다. 는 이상적으로는 가입 기간 동안이 일을하고 싶습니다 : def foo(value: Double): Double = { value/100 } val foo = udf(foo _) df.join(.....) .withColumn("value",foo(coalesce(

1열

3답변

동일한 열이있는 데이터 집합을 결합하고 하나를 선택하는 방법?

나는 두개의 Spark 데이터 프레임을 가지고 있는데, 나중에 합류하고 선택한다. Dataframes 중 하나의 특정 열을 선택하고 싶습니다. 그러나 다른 열에는 동일한 열 이름이 있습니다. 따라서 모호한 열에 대한 예외가 발생합니다. d1.as("d1").join(d2.as("d2"), $"d1.id" === $"d2.id", "left").select(

-1열

1답변

Spark 어플리케이션이 "IOException : (null) command string : null chmod 0644"항목과 함께 실패하는 이유는 무엇입니까?

나는 JAVA dataset.write().mode(SaveMode.Overwrite).option("header",true).csv("C:\\tmp\\csvs"); 를 사용하여 아래 사용하여 단일 CSV로 데이터 세트의 결과를 작성하는 중이 야하지만 시간이 초과 파일이 작성되지 않는 간다. 예외 org.apache.spark.SparkException

0열

1답변

행 정보를 열로 변환하는 방법은 무엇입니까?

I 다음 점화 2.2 DataFrame 및 스칼라 2.11.8 가지고 G1 및 G2 : df = sqlCtx.createDataFrame( [(560,9410,"web","G1",0,5), (290,1430,"web","G1",0,3), (470,1370,"web","G2",0,18), (290,1430,"web","G2"

1열

1답변

Spark CSV - 실제 매개 변수에 적용 가능한 생성자/메서드가 없습니다.

Java 스파크 응용 프로그램의 형식화 된 데이터 집합의 필터 및 맵에서 람다 함수를 사용하는 데 문제가 있습니다. 나는 아래의 클래스를 사용하고 2.2.0를 촉발하고이 런타임 오류를 ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'gen

1열

1답변

Zeppelin이 "일치하지 않는 입력"으로 실패하는 이유는 무엇입니까? <EOF> "% spark.sql 단락에서?

나는 csv에서 마루 파일을 만들었습니다. mismatched input ';' expecting <EOF>(line 1, pos 23) == SQL == DROP TABLE IF EXISTS df; -----------------------^^^ CREATE TABLE df ( date_time STRING , site_name S