spark-dataframe

3열

2답변

Spark Dataframe에서 마지막으로 다른 데이터를 가져 오시겠습니까?

0열

1답변

랜덤 포레스트 분류기 - 인덱스 레이블 태그를 다시 문자열 값으로 변환

텍스트 분류를하고 파이프 라인 방법을 사용하여 모델을 구축했습니다. 나는 데이터 프레임을 사용하여 만든 내 훈련 데이터에 적합하며 "레이블"과 "문장"열이 있습니다. 레이블에는 다른 질문 유형이 있습니다. tokenizer = Tokenizer(inputCol="sentence", outputCol="words") wordsData = tokenizer.

2열

1답변

Spark SQL : 다른 SELECT 문의 열 (이진 검색 트리)

SparkSQL을 사용하여 BST를 작성하려고합니다.이 작업은 기본 SELECT 문에서 다른 SELECT 문을 사용하여 쉽게 수행 할 수 있지만 SparkSQL은 SELECT 열에서 SELECT를 지원하지 않습니다. BST의 그래픽 표현은 아래와 같다 : 입력 BST.Goal의 행 - 열 표현 입력 테이블 데이터를 사용하여 출력 테이블을 생성하는 것이다.

1열

2답변

PySpark - UDF에 매개 변수로 전달

목록을 UDF에 전달해야 목록에서 거리의 점수/범주가 결정됩니다. 지금은 모든 거리를 4 번째 점수로 하드 코딩하고 있습니다. a= spark.createDataFrame([("A", 20), ("B", 30), ("D", 80)],["Letter", "distances"]) from pyspark.sql.functions import udf def

0열

1답변

도

나는 데이터가 여기에 Segment.organizationId|^|Segment.segmentId|^|SegmentType|^|SegmentName|^|SegmentName.languageId|^|SegmentLocalLanguageLabel|^|SegmentLocalLanguageLabel.languageId|^|ValidFromPeriodEndDate|

0열

2답변

PySpark Row 객체의 변종 복사본을 만드는 방법은 무엇입니까?

from pyspark.sql import Row A 행 개체는 변경할 수 없습니다. 파이썬 사전으로 변환 한 다음 돌연변이 된 다음 다시 Row 객체로 변환 할 수 있습니다. 사전으로 변환하고 다시 행으로 변환하지 않고 변경 가능하거나 변형 된 사본을 만드는 방법이 있습니까? 이것은 mapPartitions에서 실행되는 함수에서 필요합니다.

1열

1답변

스파크 버킷 팅 및 collect_set 집계

저는 Spark-2.2를 사용하고 있습니다. 나는 스파크의 버킷을 Pocing하고 있습니다. 내가이 요청에 의한 그룹의 설명 실행하고있어 +--------------------+--------------------+-------+ | col_name| data_type|comment| +--------------------+------------

0열

1답변

스파크 : DataFrame GROUPBY에 합계를 사용하는 방법은 다음과 dataframe을 바탕으로

결과 : +---+-----+----+ | ID|Categ|Amnt| +---+-----+----+ | 1| A| 10| | 1| A| 5| | 2| A| 56| | 2| B| 13| +---+-----+----+ 내가 열 Amnt의 GROUPBY ID와 Categ의 합을 취득하고 싶습니다. SQL에서 +---+-----+-----+ |

1열

1답변

데이터 집합/데이터 프레임에서 groupby()를 피할 수 있습니까?

RDD에서는 groupByKey 사용을 권장하지 않았으며 reduceByKey() 및 aggregateByKey()와 같은 대안을 사용하도록 권장했습니다. 이러한 다른 방법은 각 파티션에서 처음으로 줄여서 groupByKey()를 수행하므로 데이터가 셔플되고 있습니다. 지금, 내 질문은 여전히 데이터 집합/데이터 프레임에 적용됩니까? 나는 촉매제 엔진이

0열

1답변

hadoop에서 생성 된 파일의 이름 바꾸기 - Spark

쓰기를 통해 HDFS에서 생성 된 파일에는 고유 한 이름 지정 규칙이 있습니다. 사용자 정의 이름으로 변경하려면 스크립트를 통한 옵션이 있습니다. hadoop fs -mv oldname newname 생성 된 파일에 사용자 정의 이름을 제공하기 위해 Spark/Hadoop에서 사용할 수있는 다른 옵션이 있습니까?