spark-dataframe

0열

1답변

맵 함수에서 생성 된 DataFrames의 가변 개수의 데이터를 병합하십시오.

안녕하세요. 미리 도움을 주셔서 감사합니다. 제가 DataFrame 두 (dfMain 및 df)를 String 형 ("col1", "col2", "col3")의 3 열을 모두 가지고있다. 함수를 df의 각 행 (r)에 매핑하고 일부 기준에 따라 dfMain에있는 요소를 선택하고 선택하고 샘플링해야합니다. 최종 결과는 통합 된 DataFrame (즉, Dat

2열

1답변

SparkR (Spark 2.1.0 또는 2.2.0)에 MaxAbsScaler가 있습니까?

spark에는 scala, java 및 python의 StandardScaler, MinMaxScaler, MaxAbsScaler가 있습니다. Spark에는 R (SparkR)과 같은 메소드가 있습니까?

-2열

2답변

Scala를 사용하여 Spark에서 데이터를 집계하는 방법은 무엇입니까?

데이터 세트가 test1.txt입니다. 다음과 같은 데이터가 포함되어 있습니다. 2::1::3 1::1::2 1::2::2 2::1::5 2::1::4 3::1::2 3::1::1 3::2::2 다음 코드를 사용하여 데이터 프레임을 만들었습니다. case class Test(userId: Int, movieId: Int, rating: Fl

0열

1답변

dataFrame의 Division 연산은 스칼라를 사용하여 어떻게 시작됩니까?

다음과 같은 dataFrame이 있습니다.이 For uid=3 and id=1, my sum column value should be (old sum value * 1/count of ID(1)) I.e. 1.0*1/3=0.333 For uid=7 and id=1, my sum column value should be (old sum value * 1

0열

1답변

내 질문 제목이 정확하지 않을 수 있습니다 조건

와 타임 스탬프를 기반으로 데이터 프레임에 최신 기록을 얻기하지만 난 그래서 내가 아래 DataPartition_1|^|PartitionYear_1|^|TimeStamp|^|OrganizationId|^|AnnualPeriodId|^|InterimPeriodId|^|InterimNumber_1|^|FFAction_1 SelfSourcedPublic|^|2

0열

1답변

pyspark : 중첩 된 키를 기반으로 테이블 조인

아래 예제 스키마가있는 두 개의 테이블이 있습니다. 테이블 A의 키는 테이블 B의 목록에 중첩되어 있습니다. 테이블 A와 테이블 B를 조인하려면 테이블 A 키를 기반으로 테이블 C를 생성해야합니다. 테이블 A의 값은 테이블 C의 중첩 된 구조 여야합니다. 표 B의 keyAs 목록. pyspark를 사용하여 어떻게 할 수 있습니까? 감사! 표 A root

0열

2답변

행 개체에 묻혀있는 정의되지 않은 사례 클래스의 배열을 연결하는 UDF

시간이 흐르면서 바뀔 수있는 열이있는 세션이라는 데이터 프레임이 있습니다. (수정을 위해 : 열에 대한 사례 클래스가 없습니다. 반영된 스키마 만 있습니다.) 추적 이벤트를 구성 할 수있는 다른 내부 및 외부 범위 열과 함께 외부 범위에 uuid 및 clientId를 일관되게 사용합니다. 그래서 ... 뭔가 같이 : val mergeTEs = udf((ol

0열

2답변

어떻게 스파크 데이터 프레임을 반복 할 수 있습니까?

스파크 데이터 프레임을 어떻게 순환 할 수 있습니까? 나는 구성된 데이터 프레임이 있습니다 time, id, direction 10, 4, True //here 4 enters --> (4,) 20, 5, True //here 5 enters --> (4,5) 34, 5, False //here 5 leaves --> (4,) 67, 6, True

0열

2답변

PySpark에서 브로드 캐스팅 된 객체를 사용하여 UDF를 호출 할 때 오류가 발생했습니다.

PySpark에서 브로드 캐스트 된 객체를 사용하는 UDF를 호출하려고합니다. 여기 상황 및 오류를 재현 최소한의 예입니다 import pyspark.sql.functions as sf from pyspark.sql.types import LongType class SquareClass: def compute(self, n): r

0열

1답변

Spark Worker가 CassandraPartition 클래스를 찾을 수 없습니다.

마스터 및 3 명의 직원이있는 스파크 독립형 클러스터에서 작업하고 있습니다. 내 드라이버도 동일한 네트워크에 있으므로 기본적으로 모든 작업자와 마스터가 드라이버와 통신 할 수 있으며 그 반대의 경우도 마찬가지입니다. 나는 sparksession (자바 프로그램에서)을 얻음으로써 드라이버에서 일을하려고한다. 프로그램에 추가 된 Maven 종속성은 spark-