apache-spark-ml

1열

1답변

Java에서 spark를 사용하여 LDA topicmodelling 주제를 단어 형식으로 볼 수 있습니까?

Java에서 Apache Spark ML을 사용하여 LDA 모델을 만들려고합니다. 입력 문서는 문자열 형식입니다. 숫자 형식의 항목은 있지만 단어 형식은 아닙니다. 비슷한 질문이 있지만 슬픈 듯이 해결책은 R- LDA with topicmodels, how can I see which topics different documents belong to?에 있

0열

1답변

Executor heartbeat timed out DataProc을 실행하십시오.

Google DataProc 클러스터의 Spark (2.0.0)에 ml 모델을 맞추려고합니다. 모델을 피팅 할 때 Executor heartbeat timed out 오류가 발생합니다. 이 문제를 어떻게 해결할 수 있습니까? 다른 해결책은 이것이 아마도 집행자 중 한 명에게 메모리 부족으로 인한 것임을 나타냅니다. 나는 해결책으로 읽는다. 올바른 설정, 파

1열

1답변

pyspark의 BinaryClassificationEvaluator avgMetrics가 1보다 큰 값을 반환하는 이유는 무엇입니까?

evaluator = BinaryClassificationEvaluator() grid = ParamGridBuilder().build() # no hyper parameter optimization cv = CrossValidator(estimator=pipeline, estimatorParamMaps=grid, evaluator=eva

0열

1답변

pyspark.mllib rdd api 메트릭을 사용하여 pyspark.ml (새 데이터 프레임 api)을 측정하려면 어떻게해야합니까? <a href="https://spark.apache.org/docs/latest/mllib-evaluation-metrics.html" rel="nofollow">https://spark.apache.org/docs/latest/mllib-evaluation-metrics.html</a> 그러나 새 dataframe API는 이러한 클래스가 없습니다 :

MlLib의 오래된 API는 평가 메트릭 클래스가 https://spark.apache.org/docs/latest/ml-guide.html 그것은 평가자 클래스가를하지만 제한됩니다. 이전 API의 측정 항목 클래스를 사용하여 새 API에서 모델을 평가하려면 어떻게해야합니까?는 쉽게 .rdd() 따라서 (pyspark에서)를 사용하여 RDD로 DataFra

4열

2답변

pyspark은 : 나가서 설명하자면 NameError : 이름 '스파크'는

나는 공식 문서 웹 사이트에서 pyspark.ml 예를 복사하고 정의되지 않은 : http://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.Transformer data = [(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),(

0열

1답변

pyspark : RDD는 [DenseVector] dataframe로 변환

I 다음 RDD 있습니다이 rdd.take (5)이 나를 제공을 : [DenseVector([9.2463, 1.0, 0.392, 0.3381, 162.6437, 7.9432, 8.3397, 11.7699]), DenseVector([9.2463, 1.0, 0.392, 0.3381, 162.6437, 7.9432, 8.3397, 11.7699]), Den

6열

1답변

Spark DataFrame에서 VectorUDT 열의 요소에 액세스하는 방법은 무엇입니까?

데이터 프레임이 df이고 VectorUDT 열이 features 인 항목이 있습니다. 첫 번째 요소에서 어떻게 열의 요소를 가져 옵니까? 나는 다음과 같은 from pyspark.sql.functions import udf first_elem_udf = udf(lambda row: row.values[0]) df.select(first_elem_udf(

-1열

2답변

은 pyspark 프로젝트 내에서 udf를 정의 할 수 없습니다.

나는 pyspark를 사용하는 python 프로젝트를 가지고 있으며 spark 프로젝트 (내 python 프로젝트에서는 아님) 내부의 udf 함수를 spark \ python \ pyspark \ ml \ tuning.py하지만 절벽 문제가 생겼어. udf를로드 할 수 없습니다. 코드 : from pyspark.sql.functions import udf,

1열

1답변

스파크 데이터 세트에서 피어슨 상관 관계 계산

나는 두 배의 배열을 포함하는 JavaRDD를 가지고 있습니다. 이제 각 배열 사이의 피어슨 계수를 계산하고 싶습니다. 그러나 rdd를 벡터로 변환하고 statistics.corr()을 적용하면 함수는 열을 계산하지만 행을 계산하려고합니다. 아무도 그 칼럼에 corr() 함수를 적용 할 수 있도록 내 데이터를 변환하는 방법을 제안 할 수 있습니까? 편집 :

0열

1답변

PySpark를 사용하여 PMML로 모델 내보내기

PySpark를 사용하여 모델을 PMML로 내보낼 수 있습니까? 나는 이것이 Spark를 사용하여 가능하다는 것을 안다. 그러나 PySpark 문서에서 어떤 참조도 찾지 못했습니다. 그렇다면이 작업을 수행하려면 타사 Python PMML 라이브러리를 사용하여 사용자 정의 코드를 작성해야합니다.