apache-spark-ml

1열

2답변

내가 조정에 ALS의 매개 변수를 시도하지만, 항상 최선의 선택으로 첫 번째 매개 변수를 선택할 수있어 작동하지 from pyspark.sql import SQLContext from pyspark import SparkConf, SparkContext from pyspark.ml.recommendation import ALS from pyspark.

1열

1답변

ML (Spark 1.6.2)의 로지스틱 회귀 최적화 루틴

안녕하세요, Apache Spark 커뮤니티 : 저는 Spark의 설명서를 몇 주 읽었습니다. 나는 MLlib에서 Logistic Regression을 읽었으며 Spark는 두 종류의 최적화 루틴 (SGD와 L-BFGS)을 사용함을 깨달았습니다. 하지만 현재 저는 ML의 LogistReg에 대한 문서를 읽고 있습니다. 나는 어떤 종류의 최적화 루틴 devl

2열

1답변

PySpark PipelineModel의 개별 스테이지에서 메소드에 액세스하는 방법은 무엇입니까?

나는 (PySpark API를 통해) 스파크 2.0 LDA을 수행하기위한 PipelineModel을 만들었습니다 def create_lda_pipeline(minTokenLength=1, minDF=1, minTF=1, numTopics=10, seed=42, pattern='[\W]+'): """ Create a pipeline for

2열

1답변

나는이 같은 파이프 라인을 Supossed 불꽃

를 사용하여 교육 NaiveBayes 모델에 대한 CrossValidator를 사용하여 정밀/리콜을 얻는 방법 : 당신이 볼 수 있듯이 val tokenizer = new Tokenizer().setInputCol("tweet").setOutputCol("words") val hashingTF = new HashingTF().setNumFeatures(1

2열

1답변

최적화 LBFGS OWLQN 구현

Spark 1.6 ML 라이브러리에서 병렬 LBFGS 및 OWLQN 알고리즘 구현에 대한 설명서를 찾고 있습니다. 나는 1.6이 페이지를 발견 : http://spark.apache.org/docs/1.6.1/ml-advanced.html하지만 아무것도 2.0에 대한 병렬화 에 대해 : 병렬 에 대한 http://spark.apache.org/docs/2.

1열

1답변

Spark ML에서 파이썬을 스칼라로 변환 하시겠습니까?</p> <pre><code>[stage.coefficients for stage in model.stages if isinstance(stage, LogisticRegressionModel)] </code></pre> <p>스칼라 : 나는 스칼라에 코드를 파이썬을 변경하려면

문제는 파이썬에 대한 Logistic regression with spark ml (data frames) 입니다 (변경) for (stage<-model.stages){ if(stage.isInstanceOf[LogisticRegressionModel]{ val a = Array(stage.coefficients) }}

1열

1답변

DataFrame API가있는 Apache Spark MLlib는 createDataFrame() 또는 read(). csv (...)

일 때 java.net.URISyntaxException을 제공합니다. 독립 실행 형 응용 프로그램 (java8, Windows 10, spark-xxx_2.11 : 0 항아리 종속성) 다음 코드는 오류를 제공과 같이 /* this: */ Dataset<Row> logData = spark_session.createDataFrame(Arrays.asLis

0열

1답변

Spark MLlib에서 Java 프로그램을 다루는 방법은 무엇입니까?

Spark이 Java 프로그램에서 MLlib에서 제공하는 일부 알고리즘을 호출하는 것을 어떻게 처리하는지 궁금합니다. Spark Project ML Library을 다운로드해야합니까? Java API 용 MLlib의 소스 코드는 어디에 있습니까? 나는 그것을 찾을 수 없습니다 repository

0열

1답변

spark-ml naive bayes가 hdfs에 저장

나는 spark-mllib를 통해 save() 메소드로 hdfs에 naive bayes 모델을 저장할 수 있음을 알고 있습니다. 하지만 우리는 spark-ml naive bayes로 hdfs에 저장하려고 시도합니다. 그러면 오류가 발생합니다. 잘못된 FS : hdfs : // localhost : 8020/pa/model/nb, 예상 : file : ///

2열

1답변

선형 회귀 scala.MatchError가 :

나는 불꽃 1.6.1에서 ParamGridBuilder 2.0 val paramGrid = new ParamGridBuilder() .addGrid(lr.regParam, Array(0.1, 0.01)) .addGrid(lr.fitIntercept) .addGrid(lr.elasticNetParam, Array(0.0, 0.5,