apache-spark-ml

2열

1답변

나는 스칼라 스파크로 LDA 모델을 교육했다. val lda = new LDA().setK(k).setMaxIter(iter).setFeaturesCol(colnames).fit(data) lda.save(path) 내 저장된 모델을 확인했으며 메타 데이터와 데이터라는 두 개의 폴더가 있습니다. 내가 PySpark에이 모델을로드하려고 할 때 그러나,

0열

1답변

교차 검증을 사용하여 Apache Spark의 다중 계층 인식을위한 네트워크 아키텍처 선택

Apache Spark의 다중 계층 개념에 대한 최상의 아키텍처를 결정하려고합니다. 교차 검증을 사용할 수 있는지 궁금합니다. 일부 코드 : // define layers int[] layers = new int[] {784, 78, 35, 10}; int[] layers2 = new int[] {784, 28, 28, 10}; int[] layers

2열

1답변

로지스틱 회귀 모델을로드하는 방법은 무엇입니까?

Java에서 Apache Spark를 사용하여 로지스틱 회귀 모델을 교육하고 싶습니다. 첫 번째 단계로서 모델을 한 번만 교육하고 모델 매개 변수 (절편 및 계수)를 저장하고 싶습니다. 나중에 저장된 모델 매개 변수를 사용하여 나중 시점에 점수를 매 깁니다. 다음 코드를 사용하여 쪽매 파일에 모델을 저장할 수 있습니다. LogisticRegressionMo

1열

1답변

PySpark 기능 선택 및 해석 기능

기능 선택을 수행하는 PySpark가 있지만 원래의 기능 색인/설명으로 다시 매핑을 유지하거나 얻는 방법이 있습니까? 예를 들어 : I 원시 피쳐 스트링 (COL = "rawFeatures")의 열은 StringArray있다. CountVectorizer (col = "features")을 사용하여 수치로 변환했습니다. 는 다음 나는이 ChiSqSelect

0열

1답변

UDF 내에서 MLUtils.convertVectorColumnsToML() 사용?

나는 열 중 하나로 mllib.linalg.Vector (Doubles의)이있는 데이터 집합/데이터 프레임을 가지고 있습니다. 이 데이터 집합에 ml.linalg.Vector 유형의 데이터 집합에 다른 열을 추가하고 싶습니다. 따라서 두 유형 모두 Vectors을 갖게됩니다. 그 이유는 몇 가지 알고리즘을 평가 중이며 그 중 일부는 mllib 벡터를 기대하

1열

1답변

Pyspark 선형 회귀 그라데이션 하강 CrossValidation

내가 pyspark에서 SGD 모델에 교차 유효성 검사를 수행하려고 시도하고, 나는 pyspark.ml.tuning 도서관에서 pyspark.mllib.regression, ParamGridBuilder 및 CrossValidator에서 모두 LinearRegressionWithSGD와 함께 일하고 있습니다. 스파크 웹 사이트에서 documentation을

0열

1답변

랜덤 포레스트 분류기 - 인덱스 레이블 태그를 다시 문자열 값으로 변환

텍스트 분류를하고 파이프 라인 방법을 사용하여 모델을 구축했습니다. 나는 데이터 프레임을 사용하여 만든 내 훈련 데이터에 적합하며 "레이블"과 "문장"열이 있습니다. 레이블에는 다른 질문 유형이 있습니다. tokenizer = Tokenizer(inputCol="sentence", outputCol="words") wordsData = tokenizer.

0열

1답변

scala.collection.immutable에 대한 spark ml에서 클래스 캐스트 예외가 발생했습니다. scala.collection.Seq에 대한 목록

선형 회귀 모델을 학습하려고 할 때 주어진 예외 아래에 있습니다. (그러나 똑같은 문제가 올바르게 실행되고있었습니다. 별도의 JVM을 사용하여) 모델을 훈련하기 : 나는 훈련을위한 데이터 세트 생성하는 코드 아래 사용하고 org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in

0열

1답변

오류 Pyspark

에 rf = RandomForestClassifier().setFeaturesCol("features").setLabelCol("label") pipeline = Pipeline(stages=[tokenizer, hashingTF, idf, rf]) model = pipeline.fit(training) model.save(sc, '<path_to_s

0열

1답변

희소 벡터가있는 데이터 프레임을 사용하여 교차 유효성을 조정할 수 있습니까?

내 멀티 레이어 퍼셉트론 분류기를 교육하고 있습니다. 여기 내 훈련 세트가 있습니다. 기능은 스파 스 벡터 형식입니다. 모든 df_train.show(10,False) +------+---------------------------+ |target|features | +------+---------------------------+ |1.0