apache-spark-mllib

0열

1답변

교차 검증을 사용하여 Apache Spark의 다중 계층 인식을위한 네트워크 아키텍처 선택

Apache Spark의 다중 계층 개념에 대한 최상의 아키텍처를 결정하려고합니다. 교차 검증을 사용할 수 있는지 궁금합니다. 일부 코드 : // define layers int[] layers = new int[] {784, 78, 35, 10}; int[] layers2 = new int[] {784, 28, 28, 10}; int[] layers

1열

1답변

"NoClassDefFoundError : org/apache/spark/mllib/regression/LabeledPoint"를 사용하여 IntelliJ IDEA에서 Spark 응용 프로그램 실행이 실패하는 이유는 무엇입니까?

저는 Spark MLlib와 scala를 사용하여 간단한 코드를 작성했습니다. 그러나 코드를 실행하면 "스레드의 예외"메인 "java.lang.NoClassDefFoundError : org/apache/spark/mllib/regression/LabeledPoint"오류가 발생했습니다. . 이 오류의 원인은 무엇입니까? 그리고 IDE 도구 (Intelli

0열

1답변

Spark에서 R에서 PMML 실행

R에서 선형 회귀 모델을 만들고이를 PMML v4.3으로 내 보냈습니다. 내가 스파크에서 어떻게 달릴거야? 나는 Spark에서 매우 새롭고 PMML 파일을 실행하는 샘플 코드를 볼 수 없습니다. 내가보기에 Spark MLLib에서 PMML 코드를 내보내는 것입니다. 입력 매개 변수가 교육 모델로 사용할 데이터 세트 및 PMML 파일이 될 것이라고 가정하고

0열

1답변

파일에서 데이터를 읽고 Spark/PySpark의 FPGrowth 알고리즘에 전달하는 방법

파일 (쉼표로 구분 된 항목)에서 데이터를 읽고 PySpark를 사용하여이 데이터를 FPGrowth 알고리즘에 전달하려고합니다. import pyspark from pyspark import SparkContext sc = SparkContext("local", "Assoc Rules", pyFiles=[]) txt = sc.textFile("st

0열

1답변

Ques 분류 지원 벡터 기계 사용

SVM을 사용하여 질문을 분류하려고합니다. https://shirishkadam.com/2017/07/03/nlp-question-classification-using-support-vector-machines-spacyscikit-learnpandas/ 그러나 그들은 SCIKIT-배우고 팬더 적응을 사용했다 - 나는 참조 할 수 있도록이 링크를 따라하고있

1열

1답변

PySpark 기능 선택 및 해석 기능

기능 선택을 수행하는 PySpark가 있지만 원래의 기능 색인/설명으로 다시 매핑을 유지하거나 얻는 방법이 있습니까? 예를 들어 : I 원시 피쳐 스트링 (COL = "rawFeatures")의 열은 StringArray있다. CountVectorizer (col = "features")을 사용하여 수치로 변환했습니다. 는 다음 나는이 ChiSqSelect

0열

1답변

Spark의 PCA 구현 핸들은 몇 개의 컬럼을 가질 수 있습니까?

예를 들어 1,000,000 개의 열의 주 구성 요소를 계산할 수 있습니까?

0열

1답변

scala.collection.immutable에 대한 spark ml에서 클래스 캐스트 예외가 발생했습니다. scala.collection.Seq에 대한 목록

선형 회귀 모델을 학습하려고 할 때 주어진 예외 아래에 있습니다. (그러나 똑같은 문제가 올바르게 실행되고있었습니다. 별도의 JVM을 사용하여) 모델을 훈련하기 : 나는 훈련을위한 데이터 세트 생성하는 코드 아래 사용하고 org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in

0열

1답변

열 값마다 별도의 모델을 교육하는 방법은 무엇입니까?

스파크 데이터 프레임의 특정 열을 무시하고 열차 회귀 모델을 실행하는 방법은 무엇입니까? 하나의 Spark DF에서 기능과 레이블이있는 제품이 2 개 있다고 가정 해 봅니다. 제품의 ID는 seprate 열에 있습니다. 각 제품에 대해 회귀 분석을 실행하고 싶습니다. 지금까지 relaviely 간단한 분석을 위해, 내가 사용하고 w = Window().pa

0열

2답변

NNLS를 사용하여 비 음성 다중 회귀 분석을 수행하는 방법은 무엇입니까?

Java에서 음이 아닌 다중 선형 회귀 문제를 해결하려고합니다. 그리고 스칼라로 작성된 솔버 클래스 org.apache.spark.mllib.optimization.NNLS을 발견했습니다. 그러나 이것을 어떻게 사용하는지 모르겠습니다. 나를 혼란에 빠뜨리는 이유는 다음 방법의 인터페이스가 이상하게 보입니다. A은 MxN 행렬이고 b은 M- 벡터이고 인수 a