spark-dataframe

0열

1답변

Spala 2.1을 스칼라와 함께 사용하고 있습니다. 벡터의 배열을 DenseVector으로 변환하려고합니다. scala> df_transformed.printSchema() root |-- id: long (nullable = true) |-- vals: vector (nullable = true) |-- hashValues: array (null

1열

2답변

Spark Dataframe API를 사용하여 열 내의 특정 문자 수를 계산하십시오.

Spark Dataframe에 비트가있는 열 df이 있습니다. 10001010000000100000000000000000 10001010000000100000000100000000 Dataframe를 사용하는 사람의 주파수를 새 열 "no_of_ones"을 작성하고 계산하는 간단하고 효과적인 방법이 있나요 : 열은 형식의 문자열? RDD를 사용하면 m

2열

1답변

는

나는 이미 내가 case class B(name: String, age: Option[Int]) 에 새로운 비 필수 필드를 추가 할 case class A(name: String) 로 표시되는 스키마 마루에 저장된 일부 오래된 데이터를 을 입력하고 이전 데이터와 새 데이터를 모두 DataFrame으로 읽습니다. 스레드에서 예외는 "주요"org.apac

1열

3답변

Dataframe to RDD [행] 공백을 null로 바꾸기

스파크 데이터 프레임을 RDD [행]으로 변환하므로 하이브 오크 테이블에 쓰기 위해 최종 스키마에 매핑 할 수 있습니다. 하이브 테이블에 빈 문자열 대신 실제 null을 저장할 수 있도록 입력의 모든 공간을 실제 null으로 변환하려고합니다. 입력 DataFrame (파이프로 구분 된 값을 하나의 열) : col1 1|2|3||5|6|7|||...|

0열

1답변

Spark 2.1 독립 실행 형 클러스터에서 RDD 또는 Spark SQL 데이터 프레임이 클라이언트 배포 모드로 저장되거나 지속됩니까?

I는 원격 데이터 액세스 및독립 클러스터 (pyspark library 사용) 원격 점화 처리를 수행 클라이언트 측 (python 2.7 kernel 사용) Jupyter 노트북을 배치하고있다. 클라이언트 모드에 스파크 클러스터를 배포하고 있습니다. 클라이언트 시스템에 Spark 작업자 노드가 없습니다. 클라이언트의 메모리 (RAM)가 부족합니다. 클라이언

0열

1답변

두개의 데이터 프레임의 데카르트 곱과 스파크 (스칼라)의 카티 션 결과의 합?

I는 다음과 같은 두 가지의 DataFrame (스파크 스칼라)를 가지고 df1 is Array((1,WrappedArray(1,2,3)),(2,WrappedArray(1,2,4))) org.apache.spark.sql.DataFrame = [id: int, features: array<float>] df2 is Array((1,WrappedArra

1열

1답변

sparkdataframes에서 sparkR에 data.table을 사용할 수 있습니까?

상황 나는 정말 빨리하기 때문에 대신 plyr 또는 sqldf의 data.table에 Rstudio에서 작동하는 데 사용됩니다. 자, 나는 푸른 클러스터에서 sparkR에 대해 연구하고 있는데, 스파크 데이터 프레임에 data.table을 사용할 수 있다면 지금하고 싶습니다. SQL보다 빠르다 면요?

3열

1답변

PySpark는 자주 사용하지 않는 항목을 가장 자주 사용하는 항목으로 바꿉니다.

일부 수준이있는 데이터 프레임에 범주 형 열이 있습니다. 이제는 덜 빈번한 수준 (총 빈도가 지정된 백분율). 나는 그것을 우아하고 콤팩트 한 방법으로 어떻게 알 것인가? 아래의 예는 지정된 주파수를 0.3으로 설정하면 레벨이 "a"로 바뀌어야 만합니다. 주파수는 1/6이므로 0.3 이하입니다. from pyspark.sql import Row row

3열

1답변

MySQL 테이블에 DataFrame을 작성하는 방법

미안하지만 막연한 말로 들리지만 기존 DataFrame "df"를 MySQL 테이블에 작성하는 단계를 설명 할 수 있다면 "product_mysql"이라고 말하면됩니다.

2열

1답변

스파크를 다루는 CSV 파일의 새 줄

내 입력 파일 중 하나가 쉼표로 구분 된 csv입니다. 필드 중 하나는 새로운 행 문자가있는 주소입니다. 그래서 이것은 내가 spark를 사용하여 읽을 때 상당한 문제를 일으킨다. 하나의 입력 레코드가 하나의 레코드로 나뉘어진다. 이 문제를 해결할 해결책을 찾을 수있는 사람이 하나 있습니다. 현재 해결 방법은 스파크를 읽기 전에 원본 측의 데이터에서 새 줄