spark-dataframe

-1열

2답변

목록 (0, 1, 2, 3, 4, 5, 6, 7, 10, 8, 13) 목록이 있고 텍스트 파일에서 입력을 읽는 데이터 프레임이 있습니다. 헤더가 없습니다. 해당 데이터 프레임 (inputFile)에서 내 List에 언급 된 열을 가져 오려고합니다. 내 입력 파일보다 20 열이하지만 난 내 목록에서 언급에만 열을 가져 할 val inputFile = spar

0열

2답변

스파크 데이터 프레임을 비교하기 위해 스칼라 단위 테스트를 작성하는 방법은 무엇입니까?

목적 - spark에서 생성 된 데이터 프레임과 수동으로 생성 된 데이터 프레임이 동일한 지 확인합니다. 일 이전 구현 - if (da.except(ds).count() != 0 && ds.except(da).count != 0) 부울 반환 - true 다와 DS가 발생 dataframe와 생성 dataframe 각각 있습니다 . 여기서는 spark-s

1열

1답변

열 이름을 하드 코딩하지 않고 데이터 프레임에서 구조체를 분해하려면 어떻게해야합니까?

내 데이터 세트 중 하나를 아래 예제로 생각해보십시오. 이것은이 데이터는 JSON을 통해 읽어됩니다 member: struct (nullable = true) | address: struct (nullable = true) | | city: string (nullable = true) | | state: string (nullable = true)

0열

1답변

데이터 프레임의 열에서 특수 문자 제거

데이터 프레임의 열에서 특수 문자 (å)를 제거하려고합니다. , 된 ClientID 내 원래 데이터가 약 내가 필요로되는 크기 AR0001å, DH_HL704221157198295_91 AR00022, DH_HL704221157198295_92 8TB됩니다 PatientID : 내 데이터처럼 보인다 이 특수 문자를 제거합니다. 내가 df.show()을 할

0열

1답변

스파크 - 스칼라 데이터 프레임의 타임 스탬프 비교

문자열 유형의 스파크 데이터 프레임에 필드가 있고이 값의 형식은 2019-07-08 00:00입니다. 내가 String 작동합니다 대한 df.filter(myfield > 2019-07-08 00:00)

-2열

1답변

불꽃 : DataFrame 열을 벡터로 변환

데이터 프레임 df의 열이 column이고 을 벡터 및 매트릭스 제품에 사용할 수 있도록 벡터 (예 : DenseVector)로 변환하고 싶습니다. 주의 : 벡터 열이 필요하지 않습니다. 벡터 객체가 필요합니다. 어떻게 하시겠습니까? vectorAssembler 함수 (link)를 찾았지만 일부 DataFrame 열을 여전히 DataFrame 열인 벡터 열

0열

1답변

Spark 스칼라가 데이터 프레임 빼기 열 값을 결합합니다.

두 개의 데이터 프레임에 각각 2 개의 열이 있습니다. 나는 그것들의 첫 번째 열에 가입하고 두 번째 열을 뺍니다. 여기 내가 지금까지 가지고있는 것 : var x = df.select("a", "c") .groubBy("a") .count() var y = df.select("b", "c") .groubBy("b")

1열

1답변

날짜 형식의 열을 datetime으로 변환하고 몇 분을 추가하려면 어떻게해야합니까?

나는 datetime.datetime()를 사용하여 유형 타임 스탬프의 새 열을 만들 수 있습니다는 import datetime from pyspark.sql.functions import lit from pyspark.sql.types import * df = sqlContext.createDataFrame([(datetime.date(2015,4,8),

0열

1답변

스파크 브로드 캐스트가 실행 프로그램 메모리에 저장되지 않습니다

EMR-Spark 버전 2.2.0/2.1.0에서 스파크 - 쉘을 사용했습니다. 간단한 개체 (내 CSV 파일에 1 열만 포함되어 있고 2MB 미만)을 브로드 캐스팅하려고 시도하는 동안 설명서에 제시된대로 그래도 각 실행 메모리와 드라이버 메모리에 보관되지 않는 것으로 나타났습니다 https://jaceklaskowski.gitbooks.io/masterin

-1열

1답변

PySpark : df 프레임을 n 번 분할하십시오

저는 파이썬 문자열 분할 방법으로 할 수있는 것처럼 n 번 스파크 데이터 프레임을 분할하는 방법을 찾고 있습니다. 각 파일의 로그 파일은 11million + lines입니다. 필요한 공간이있는 다른 데이터를 가지고 있기 때문에 df를 정확히 ""(공간)에 3 번 분할해야하므로 데이터 프레임 분할을 사용하면 엉망이됩니다. request.useragent는