apache-spark-sql

0열

1답변

Spark 2.2 스칼라 DataFrame 문자열 배열에서 선택하여 오류 잡기

저는 SparkSQL/Scala를 처음 접했고 몇 가지 간단하고 간단한 작업에 어려움을 겪고 있습니다. 스칼라 문자열 배열에서 일부 동적 SQL을 작성하려고합니다. DataFrame에서 일부 열을 다시 입력하려고 시도하지만 DataFrame에서 열 집합을 볼 수있는 런타임까지 다시 입력해야하는 항목을 정확히 알지 못합니다. 그래서 나는이 일을하려고 해요 :

0열

1답변

ClassNotFoundException in

다음 코드가 있습니다. 나는 병으로 그것을 바꿨다 import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SQLContext case class Stud

1열

1답변

스파크 UDF를 작성할 때 (UDF를 하나씩 사용하는 것보다) 성능이 저하됩니까?

spark udf를 작성하여 성능 저하가 있는지 궁금합니다. def inc = udf((i: Double) => i + 1) def double = udf((i: Double) => i * 2) df.withColumn("r", double(inc($"c"))) 내가 본 바로는 def incAndDouble = udf((i: Double) => (i

0열

1답변

공간 구분 열을 폭발시키는 방법은 무엇입니까?

는 I 한 열과 다른 많은 열을 50 개 포함 스파크 스칼라 샘플 dataframe 있고 ID 폭발해야 예 데이터 : id name address 234 435 567 auh aus 345 123 muji uk 출력 데이터 : id name address 234 auh aus 435 auh aus 567 auh aus

2열

1답변

pyspark에서 브로드 캐스트 변수에 사용할 수있는 메모리 양을 파악하는 방법은 무엇입니까?

나는 pyspark에서 사용하고있는 브로드 캐스트 변수를 가지고 있으며 사용 가능한 공간이 얼마나되는지 알고 싶습니다. 브로드 캐스트 된 변수가 spark.executor.memory 내에 있지만 저장소의 범위 내에 있어야한다는 것을 알고 있습니까? 아니면 처리의 경계? spark.memory.fraction은 처리에 사용 된 금액에 비해 저장에 사용 된

0열

1답변

SparkR에서 AND 및 OR을 사용하여 논리 열 표현식을 작성하려면 어떻게해야합니까?

다른 여러 열에 대한 논리적 기준에 따라 SparkR (스파크 버전 2.1.1) 데이터 세트에 열을 추가해야합니다. 그러나 확실한 해결책 (& & 또는 || 사용)이 작동하지 않으면 "x '유형이 x & & y'"오류로 잘못되었습니다. 예를 들어, 내장 사용 mtcars 데이터 세트 : > dcars = as.DataFrame(mtcars) > dcars

2열

1답변

벡터를 사용하여 dEFF 스파크 DF의 여러 열을 수정할 수 있습니까?

저는 스파크로 일하는 새로운 사람입니다. 스파크 데이터 프레임의 많은 수의 열에 벡터의 값을 곱하고 싶습니다. library(dplyr) library(rlang) library(sparklyr) sc1 <- spark_connect(master = "local") mtcars_sp = sdf_copy_to(sc1, mtcars, overwrit

0열

1답변

기존 Spark SQL 함수의 이름을 바꾸는 방법

Spark를 사용하여 사용자가 제출 한 데이터에서 함수를 호출합니다. 기존 함수를 REGEXP_REPLACE에서 REPLACE과 같은 다른 이름으로 어떻게 바꿀 수 있습니까? 별명을 가진 ss.udf.register("REPLACE", REGEXP_REPLACE) // This doesn't work ss.udf.register("sum_in_all"

1열

1답변

Scala에서 Spark SQL을 사용하여 여러 JSON 객체를 반환하는 방법

나는 csv 파일과 json 파일을 가지고 있습니다. count.csv에는 3 개의 열 (위도, 경도, 수)이 있습니다. json으로 내 여기 예입니다이 { "type": "Feature", "properties": { "ID": "15280000000231", "TYPES": "Second Class", "N2

1열

1답변

마루판 형식을 사용할 때 DataFrame 스키마가 저장됩니까?

df.write.parquet(destination)으로 전화를 걸면 데이터와 함께 DataFrame 스키마 (예 : StructType 정보)가 저장됩니까? Parquet 파일이 Spark 이외의 다른 프로그램에서 생성 된 경우 sqlContext.read.parquet은 DataFrame의 스키마를 어떻게 계산합니까?