spark-dataframe

1열

2답변

여러 값을 사용하여 스파크에서 DataFrame의 na 값을 변경하는 방법

데이터 프레임에 값 범위의 단일 값 (예 : 0에서 100까지의 임의의 정수)으로 바꿀 때가 종종있는 null 값이 있습니다. 그리고 항상 같은 가치가 아닙니다. na.fill() 기능이 이것을 허용하지 않는 것처럼 보입니다. 수동으로 수행하는 좋은 방법을 찾을 수 없습니다. I 한 각 셀을 통해 2.2

-4열

1답변

두 개의 열이 나는 DF</p> 스파크와 관련된 질문 <p>들이 모두 StringType 있습니다 (우리가 dataframe의 세 가지 기능 (열) A, B를 가지고 DF1, C가 있다고 가정을 가지고 같은

입니다 있는지 확인하는 부울 기능 만들기). 1. 2. B = 원래 데이터 일례 포함 D 같은 C ABC ABB : 나는 두 가지 기능을 갖는다 DF1로부터 새로운 dataframe의 DF2를 만들 BCA DDD 새로운 데이터 광고 1 B 0 D 1

1열

1답변

날짜 필드 추출

날짜 필드가 "MM/dd/yyyy" 인 데이터 프레임을 문자열로 가지고 있으며 새 필드에서 스칼라에서 요일 값을 추출하고 싶습니다. 나는 다음과 같은 출력을 얻을 수행 할 df.show() ------------ date ----------- 12/14/2017 12/13/2017 : --------------------------------

1열

2답변

Spark DataFrame에서 목록에있는 여러 열 이름을 삭제하는 방법은 무엇입니까?

나는 n의 값을 기반으로 만들어진 동적 목록을 가지고 있습니다. n=3 drop_lst = ['a'+str(i) for i in range(n)] df.drop(drop_lst) 그러나 위의 코드는 작동하지 않습니다. 참고 : 내 용도에는 동적 목록이 필요합니다. 난 그냥리스트를 사용하지 말고, 아래의 할 경우 그것은 df.drop('a0','a1'

-1열

1답변

pyspark 그룹 by sum

4 개의 열이있는 pyspark 데이터 프레임이 있습니다. ID/수/값/X 내가 열 ID, 번호를 GROUPBY 다음 ID와 수에 따라 값의 합으로 새 열을 추가 할 . 나는 아무것도하지 않고 colunms x을 유지하고 싶다. ID/수/값/X/sum_of_value) 사람이 도움을 줄 수 있습니까 : 나는 5 열 데이터 프레임을 원하는 끝에 df= df.

2열

2답변

Spark - 데이터 프레임에 정의 된 규칙을 다른 데이터 프레임에 적용하는 방법

Spark 2에서 이러한 문제를 해결하려고하지만 솔루션을 찾을 수 없습니다. 은 내가 dataframe을 가지고 : +----+-------+------+ |id |COUNTRY| MONTH| +----+-------+------+ | 1 | US | 1 | | 2 | FR | 1 | | 4 | DE | 1 | | 5 | DE | 2 | | 3

0열

1답변

DSX에서 데이터를 정수에서 부동으로 자동 변환하는 SparkSession DataFrame 삽입

"SparkSession DataFrame"을 사용하여 IBM Data Science Experience에 삽입하는 CSV 파일이 있습니다. csv 파일의 모든 내용 (헤더 제외)은 정수입니다. dataframe 특정 기계 학습 모델하지만 예상대로 나는이 오류를 얻을 경우 선형 회귀 분류를 만들려고 할 때까지 작동합니다 TypeError: Cannot ca

2열

1답변

Spark에서 찾아보기 테이블

나는 스파크에서 룩업 테이블로 사용하고자하는 명확하게 정의 된 스키마가없는 데이터 프레임을 가지고 있습니다. 예를 들어, 아래 dataframe는 : +------------------------------------------------------------------------+ |lookupcolumn | +--------

0열

1답변

Spark에서 이름 바꾸기 및 '설명 계획'및 '스파크 UI'로보기

스파크에서는 setName으로 RDD를 명명하고 Spark UI에서 볼 수 있습니다. Dataset/DataFrame API를 사용할 때 동일한 작업을 수행 할 수있는 방법이 있습니까? 변환의 이름을 지정할 수 있습니까? Explain Plan 및 Spark UI에서이 이름을 볼 수 있습니까? 이미

0열

1답변

공통 태그가있는 모든 열을 R로 선택하는 방법은 무엇입니까?

나는 수십 개의 열이있는 SparkDataFrame을 가지고 있으며, "time"이라는 단어를 가진 것들만 선택하고 싶습니다. 대신 수동으로 컬럼의 모든 이름을 작성하는 데이 같은 일을 : df_selection <- SparkR::select(df, like('^time.*?')) 이 있습니까 : df_selection <- SparkR::select