spark-dataframe

-1열

1답변

PySpark 데이터 프레임에서 n 행에 대한 핵심 요소를 추가하십시오.

아래와 같은 데이터 프레임이 있습니다. id | run_id -------------- 4 | 12345 6 | 12567 10 | 12890 13 | 12450 나는 새 열이 다음 n 행의 처음 n 행에 대한 값 1과 2를해야합니다 Key 말을 추가하고 싶습니다. 결과는 다음과 같습니다 : id | run_id | key ----------

1열

1답변

열 값마다 다른 창 사양을 사용하는 방법은 무엇입니까?

이것은 데이터 프레임의 열 값을 기반으로 변경해야하는 내 partitionBy 조건입니다. val windowSpec = Window.partitionBy("col1", "clo2","clo3").orderBy($"Col5".desc) 이제 데이터 프레임의 열 (col6) 중 하나의 값이 I이면 위 조건입니다. 그러나 열 (col6)의 값이 다음의 조건

-3열

1답변

두 개의 데이터 프레임을 스파크의 같은 열로 비교하여 변경된 열 값 수를 계산하는 방법

두 개의 데이터 프레임을 비교하고 첫 번째 데이터 프레임에서 두 번째 데이터 프레임으로 변경되는 열 수를 계산하는 방법 불꽃. df1 id val1 val2 val3 val4 1 a b c d 2 d f k e 4 r t y u df2 id val1 val2 val3 val4 1 a h c l 2 d f k e 4 g a w u cou

0열

1답변

SparkR 평균 : 왜 머리를 사용해야합니까 (선택 (df, 평균 (df $ 연령))

내가해야 할 문서에 다음을 찾았습니다. mean(df$c) 평균을 계산할 때 작동하지 않으며 결과는 Column avg(age) meanAge=head(select(df, mean(df$age)) 을 그리고 그것은 작동!하지만 어떻게 특히, 헤드 명령어가를 반환하려는 이유/모르겠어요 값) 내가 databricks에서 발견 , 어떻게해야합니까 단일 값이

0열

1답변

Apache Ignite에서 spark DataFrame/DataSet을 저장하고 읽는 방법?

저장 방법 & 아파치 Ignite에서 스파크 읽기 DataFrame/DataSet을 읽으시겠습니까? 나는 다른 유사한 질문에 주어진 다양한 솔루션을 시도했지만 아무것도 최신 점화 및 스파크 버전 작업되었습니다. (저는 스칼라 2.11을 사용하고 있습니다) 고마워요. 업데이트 (추가 코드) : <?xml version="1.0" encoding="UTF-8"

4열

1답변

각 행에 대해 열에서 특정 요소를 추출하는 방법은 무엇입니까?

Spark 2.2.0 및 Scala 2.11.8에서 다음 DataFrame을 보유하고 있습니다. +----------+-------------+ |item | other_items | +----------+-------------+ | 111 | 444 | | 222 | 444 | | 444 | 111 | 그래서, 기본적으로,

0열

1답변

Spark Dataframe/Dataset에서 엄격한 데이터 유형 검사를 적용하는 방법?

스파크 데이터 프레임/데이터 세트에서 엄격한 데이터 유형 확인을 사용하려면 어떻게해야합니까? 우리는 변형을 위해 업스트림 시스템에서 많은 시스템 생성 및 수동 공급을 받고 있습니다. 변환을 시작하기 전에 피드를 추출하고 스키마에 대해 엄격한 데이터 형식 검사를 수행하는 것이 좋습니다 Spark 2.0으로 얼마나 효율적으로 수행 할 수 있다고 제안 할 수 있

0열

1답변

AWS EMR 스파크 - CSV를 얻을 그리고 SparkSql API를

//download file csv ByteArrayOutputStream downloadedFile = downloadFile(); //save file in temp folder csv ( java.io.File tmpCsvFile = save(downloadedFile); //reading Dataset<Row> ds = session

0열

2답변

스파크 데이터 프레임 열을 맵 열에 포함시키는 방법은 무엇입니까?

많은 열이있는 스파크 데이터 프레임이 있습니다. 이제 저는 그것들을지도에 결합하고 새로운 열을 만들고 싶습니다. 예 : df.withColumn("newcol", struct(df.columns.head, df.columns.tail: _*)) 그러나, 나는 여전히 dataset df 명령 변환해야합니다 :이 작업을 수행하는 col1:String col

0열

1답변

Pyspark - null 이외의 값으로 누락 된 JSON 필드를 나타냅니다.

Maxwell's Daemon의 출력을 사용하여 MySQL 데이터베이스에서 발생한 변경 사항을 캡처하고 있습니다. 중첩 된 JSON 필드로 변경 사항을 표시합니다. 'data'에는 테이블의 최신 스냅 샷이 포함되고 'old'는 변경된 필드를 나타냅니다. 이 JSON을 Spark DataFrame으로 읽으면 'old'의 누락 된 모든 필드가 'null'로 설