spark-dataframe

0열

1답변

Spark 2.2 스칼라 DataFrame 문자열 배열에서 선택하여 오류 잡기

저는 SparkSQL/Scala를 처음 접했고 몇 가지 간단하고 간단한 작업에 어려움을 겪고 있습니다. 스칼라 문자열 배열에서 일부 동적 SQL을 작성하려고합니다. DataFrame에서 일부 열을 다시 입력하려고 시도하지만 DataFrame에서 열 집합을 볼 수있는 런타임까지 다시 입력해야하는 항목을 정확히 알지 못합니다. 그래서 나는이 일을하려고 해요 :

1열

1답변

sparklyr에서 spark_apply를 사용하여 가중치가 적용된 임의의 법선 벡터를 여러 DF 열에 추가하십시오.

저는 sparklyr에 익숙하지 않아 스파크 df의 많은 수의 열에 다른 벡터로 가중치가 부여 된 임의의 법선 벡터를 추가하려고합니다. 이것은 mtcars로 시도한 예입니다. 나는 또한 https://spark.rstudio.com/의 예를 적용하려하지만 같은 오류가 발생했습니다 Error in file(con, "r") : cannot open the c

2열

1답변

pyspark에서 브로드 캐스트 변수에 사용할 수있는 메모리 양을 파악하는 방법은 무엇입니까?

나는 pyspark에서 사용하고있는 브로드 캐스트 변수를 가지고 있으며 사용 가능한 공간이 얼마나되는지 알고 싶습니다. 브로드 캐스트 된 변수가 spark.executor.memory 내에 있지만 저장소의 범위 내에 있어야한다는 것을 알고 있습니까? 아니면 처리의 경계? spark.memory.fraction은 처리에 사용 된 금액에 비해 저장에 사용 된

0열

1답변

pyspark 2.2 'DataFrame'개체가 어떤 속성을 '지도', 이전 버전과의 호환성 내가 코드를 아래 스파크 1.6 함께 일하고 때

를 해결하는 방법이 없습니다가 없습니다를하고있다 : ddl = sqlContext.sql("""show create table {mytable }""".format(mytable="""mytest.my_dummytable""")) map(''.join, ddl\ .map(lambda my_row: [str(data).replace("`", "'") fo

0열

1답변

SparkR에서 AND 및 OR을 사용하여 논리 열 표현식을 작성하려면 어떻게해야합니까?

다른 여러 열에 대한 논리적 기준에 따라 SparkR (스파크 버전 2.1.1) 데이터 세트에 열을 추가해야합니다. 그러나 확실한 해결책 (& & 또는 || 사용)이 작동하지 않으면 "x '유형이 x & & y'"오류로 잘못되었습니다. 예를 들어, 내장 사용 mtcars 데이터 세트 : > dcars = as.DataFrame(mtcars) > dcars

-1열

1답변

대형 데이터 프레임을 Spark에 효율적으로 캐싱

현재 11,000 개의 파일을 작업 중입니다. 각 파일은 이전 프레임과 통합 될 데이터 프레임을 생성합니다. 아래 코드는 다음과 같습니다. var df1 = sc.parallelize(Array(("temp",100))).toDF("key","value").withColumn("Filename", lit("Temp")) files.foreach(file

0열

1답변

은 새로운 열의 가치를 추가

I는 방송 변수로 배열을하고 정수 포함 broadcast_array.value Array(72159153, 72159163, 72159202, 72159203, 72159238, 72159398, 72159447, 72159448, 72159455, 72159492... I 데이터 집합의 열을을 (호출은 broadcast_array에있을 수 있습니다

0열

1답변

pandas 데이터 프레임을 Spark 데이터 프레임으로 변환하는보다 효율적인 방법이 있습니까?

나는 약 50 만 개의 행과 30000 개의 열을 가지고있는 팬더 데이터 프레임 data_pandas을 가지고 있습니다. 나는 이것이 스파크 dataframe data_spark에 있어야 할 내가 이것을 달성 : 나는 동일한 구성의 10 명 노동자와 함께 r3.8xlarge 드라이버 일하고 data_spark = sqlContext.createDataFra

-1열

2답변

Pyspark - 언어를 기반으로 행 필터링

이 문제는 Pyspark와 관련이 있습니다. 필자는 컬럼이 거의없는 TSV 파일을 읽었습니다. 특정 열은 주석 열입니다. 내 임무는 언어에 따라 행을 필터링하는 것입니다. 예를 들어, 주석이 러시아어로 된 경우 특정 행을 필터링하여 별도의 파일로 저장하려고합니다. 이제 파일을 읽는 동안 Dataframes를 만드는 코드를 사용하고 있습니다. Info = s

1열

1답변

마루판 형식을 사용할 때 DataFrame 스키마가 저장됩니까?

df.write.parquet(destination)으로 전화를 걸면 데이터와 함께 DataFrame 스키마 (예 : StructType 정보)가 저장됩니까? Parquet 파일이 Spark 이외의 다른 프로그램에서 생성 된 경우 sqlContext.read.parquet은 DataFrame의 스키마를 어떻게 계산합니까?