pyspark

2열

1답변

SparkSQL을 사용하여 BST를 작성하려고합니다.이 작업은 기본 SELECT 문에서 다른 SELECT 문을 사용하여 쉽게 수행 할 수 있지만 SparkSQL은 SELECT 열에서 SELECT를 지원하지 않습니다. BST의 그래픽 표현은 아래와 같다 : 입력 BST.Goal의 행 - 열 표현 입력 테이블 데이터를 사용하여 출력 테이블을 생성하는 것이다.

1열

2답변

PySpark - UDF에 매개 변수로 전달

목록을 UDF에 전달해야 목록에서 거리의 점수/범주가 결정됩니다. 지금은 모든 거리를 4 번째 점수로 하드 코딩하고 있습니다. a= spark.createDataFrame([("A", 20), ("B", 30), ("D", 80)],["Letter", "distances"]) from pyspark.sql.functions import udf def

0열

1답변

Pyspark check hdfs folder 수정 날짜

나는 pyspark에 새로 왔습니다. pyspark에서 궁금해하는 부분은 HDFS fold로 날짜를 수정할 수있는 기능이 있습니까? 이러한 HDFS와 같이 : 당신은 날짜를 얻을 수있는 HDFS 파일이나 디렉토리 다음 파이썬 시간 형식화하는 기능에 대한 수정 시간을 가져 오기위한 파일 시스템 API를 사용할 수 있습니다 def get_user_folder_

0열

2답변

PySpark Row 객체의 변종 복사본을 만드는 방법은 무엇입니까?

from pyspark.sql import Row A 행 개체는 변경할 수 없습니다. 파이썬 사전으로 변환 한 다음 돌연변이 된 다음 다시 Row 객체로 변환 할 수 있습니다. 사전으로 변환하고 다시 행으로 변환하지 않고 변경 가능하거나 변형 된 사본을 만드는 방법이 있습니까? 이것은 mapPartitions에서 실행되는 함수에서 필요합니다.

0열

1답변

updatestatebykey - Pyspark - 스파크 스트리밍

나는 스파크 스트리밍에 처음이다. UpdateStateByKey 작업의 중요성을 이해하려고합니까? 그것의 용도는 무엇입니까? 임의의 주를 저장할 필요성은 무엇입니까? 어떻게 작동합니까?

0열

2답변

PySpark - UDF에서 행 인덱스 가져 오기

데이터 프레임이 있으며, 특정 행의 행 번호/인덱스를 가져와야합니다. 나는 그것뿐만 아니라 행 번호/인덱스 예 : 문자를 포함하는 것과 같은 새로운 행을 추가하고 싶습니다. "A - 1", "B - 2"나는 이런 식으로 뭔가를 할 넣어 새를 싶습니다 +------+---------+ |Letter|distances| +------+---------+

0열

1답변

오류 Pyspark

에 rf = RandomForestClassifier().setFeaturesCol("features").setLabelCol("label") pipeline = Pipeline(stages=[tokenizer, hashingTF, idf, rf]) model = pipeline.fit(training) model.save(sc, '<path_to_s

-1열

1답변

CSV 파일을 ML 교육용 SVM으로 변환하는 방법

이 데이터 세트를 사용하여 Apache Spark 2.1.1에서 여러 ML 모델을 학습 할 수 있습니다. 이 열은 10 개의 열로 구성되며 그 중 2 개의 열에는 문자열이 포함됩니다. 이러한 열을 제거하는 것은 내가 수집하고자하는 정보에 중요하므로 옵션이 아닙니다. 그러나이 문제로 인해 실험을 진행하기 위해 CSV 파일을 SVM으로 변환 할 수 없습니다.

-2열

1답변

스파크 작업을 제출하는 동안, IllegalArgumentException가 무엇입니까 IllegalArgumentException가

얻기 C:\spark\spark-2.2.1-bin-hadoop2.7\hadoop\bin>pyspark Python 2.7.14 (v2.7.14:84471935ed, Sep 16 2017, 20:25:58) [MSC v.1500 64 bit (AMD64)] on win32 Type "help", "copyright", "credits"

-2열

3답변

pyspark 데이터 프레임의 regex_replace를 사용하여 열의 특수 문자를 바꾸는 방법

데이터 프레임에 열이 있습니다. 그것은 '$ 5', '9 %'같은 값을 가지는 등 나는 그것이 위의 예에서 특수 문자를 제거하는 방식으로 regex_replace를 사용하고 단지 숫자 부분을 유지해야합니다. 같은 열에서 각각 9 %와 5 대신 9와 5 같은 예를 사용합니다.