apache-spark-ml

0열

1답변

무작위 포리스트 교육 집합의 클래스 레이블을 보유하고있는 데이터 프레임에 double 유형의 열이 있습니다. another question에 제안 된대로 데이터 프레임을 StringIndexer으로 전달할 필요가 없도록 수동으로 메타 데이터를 열에 첨부하고 싶습니다. 이 작업을 수행하는 가장 쉬운 방법은 Column 인 as 메서드를 사용하는 것입니다. 그

0열

1답변

spark ml을 사용하여 모델을 학습 할 때 textfile에서 수백 개의 colums 데이터를 처리하는 방법

수백 개의 열이있는 텍스트 파일이 있지만 열에 열 이름이 없습니다. 첫 번째 열은 레이블이고 다른 열은 기능입니다. 나는 열차 데이터에 cloumn 이름을 지정해야하는 몇 가지 예를 읽었습니다. 그러나 너무 많은 열이 있기 때문에 모든 이름을 지정하는 것은 상당히 번거 롭습니다. 이 상황을 어떻게 처리 할 수 있습니까?

3열

1답변

Spark ml 코사인 유사성 : 1에서 n까지의 유사도를 얻는 방법

RowMatrix과 함께 제공되는 columnSimilarities 메서드를 사용하여 다양한 레코드 (내용 기반)의 코사인 유사성을 찾을 수 있음을 읽었습니다. 내 데이터는 다음과 같이 보입니다 : 자, 위의 텍스트 기능의 TF-IDF (장르, 배우)을 계산하는 스파크 ml의 파이프 라인을 만들었습니다 genre,actor horror,mohanlal s

3열

1답변

PySpark : Spark ML Multilayer Perceptron Classifier의 출력 레이어 뉴런 값 얻기

Spark ML Multilayer Perceptron Classifier를 사용하여 바이너리 분류를하고 있습니다. mlp = MultilayerPerceptronClassifier(labelCol="evt", featuresCol="features", layers=[inputneurons,(inputneurons*2)+1,2]) 출력 레이어는 2 진

2열

1답변

Pyspark rdd.zip ValueError : 쌍이 다른 수의 항목으로 RDD를 직렬화 해제 할 수 없습니다.

저는 1.6.0을 사용하고 있고 예상 작업에는 pyspark.mllib.tree.RandomForestModel이 있습니다. 다음과 같이 내 data_rdd는 포맷 :는 [LabeledPoint(id1,feature), LabeledPoint(id2,feature), ...] 내 코드 rfmodel = RandomForestModel.load(sc,

1열

1답변

스파크 (자바) transformSchema() 사용자의 변압기

내가 StandardScaler와 함께 내 사용자 지정 변압기를 사용하려면 : 나는 실행 그러나 VectorizerTransformer vectorizerTransformer = new VectorizerTransformer(field.getName()); pipelineStages.add(vectorizerTransformer);

1열

1답변

JPMML 및 Pyspark를 사용하여 파이프 라인을 PMML로 올바르게 변환하지 못합니다.

Pyspark 및 JPMML 라이브러리를 사용하여 파이프 라인 모델에서 PMML 모델을 생성하고 있습니다. 하지만 제대로 생성되고 있다고 생각하지 않습니다. 이를 테스트하기 위해 동일한 데이터 세트와 아래의 분류 기준을 사용하여 두 가지 파이프 라인 모델을 만들었습니다. pipeline = Pipeline(stages = [assembler, slicer,

2열

1답변

Spark ML VectorAssembler가 이상한 결과를 반환합니다.

VectorAssembler에서 매우 이상한 동작이 발생했으며 다른 사람이 본 적이 있는지 궁금합니다. 내 시나리오는 매우 간단합니다. 나는 어떤 표준 Int과 Double 필드를 가진 CSV 파일의 데이터를 분석하고 추가 열을 계산합니다. 내 분석 기능이 반환 : 나는 인쇄 할 때 그래서 val assembler = new VectorAssembler()

0열

1답변

스파크 파이프 라인 평가

스파크 파이프 라인에서 평가자의 결과를 얻으려면 어떻게해야합니까? val evaluator = new BinaryClassificationEvaluator() val cv = new CrossValidator() .setEstimator(pipeline) .setEvaluator(evaluator) .setEstimatorPa

2열

2답변

ML 파이프 라인 및 측정 : 정밀, 리콜, AUC-ROC, F1Score

나는 ML 파이프 라인, 같은 것을 사용하고 있습니다 : I가이 모델에 Precision, Recall, AUC-ROC, F1-SCORE, ACCURACY 같은 표준 메트릭을 얻을 수있는 방법입니다 원하는 것은 VectorAssembler assembler = new VectorAssembler() .setInputCols(columns)