apache-spark-ml

-1열

1답변

Spark에서 여러 ML 알고리즘을 병렬 처리하는 방법이 있습니까? 제 유스 케이스는 다음과 같습니다. A) 병렬로 여러 머신 학습 알고리즘 (Naive Bayes, ANN, Random Forest 등)을 실행하십시오. 1) 십진 교차 유효성 확인을 사용하여 각 알고리즘의 유효성을 확인하십시오. B) 2 단계 시스템 학습 알고리즘에서 단계 A)의 결과를

0열

1답변

Spark MLLib를 사용하여 빌드 된 ML 모델을 Spark ML 파이프 라인을 사용하여로드하고 테스트 할 수 있습니까?

Spark에는 기계 학습을위한 두 개의 라이브러리가 있다는 것을 알고 있습니다. 하나는 spark.ml이고 다른 하나는 spark.mllib입니다. 단지 spark.mllib 패키지를 사용하여 빌드 된 모델을 사용하고 spark.ml으로 빌드 된 스파크 프로그램으로 테스트 (예측)했는지 여부를 알고 싶습니다.

0열

1답변

Spark RandomForest training StackOverflow 오류

내 모델의 교육을 실행 중이며 12보다 큰 maxDepth를 늘릴 때마다 StackOverflow 오류가 발생합니다. 모든 것이 5,10,11에 대해 올바르게 작동합니다. spark 2.0.2를 사용하고 있습니다. (앞으로 2 주 동안 업그레이드 할 수 없습니다). 3M 이상의 데이터, 200 개의 피쳐, 2500 개의 트리가 있으며 최대 깊이를 늘려 정확

0열

1답변

사전 처리시 텍스트에서 스톱 워드를 제거하는 방법

알고리즘을 실행하기 전에 스파크의 데이터를 사전 처리해야합니다. 사전 처리 논리 중 하나는 텍스트에서 중지 단어를 제거하는 것이 었습니다. StopWordsRemover를 실행 해 보았습니다. StopWordsRemover는 입출력이 필요하고 Array [String]이어야합니다. 프로그램을 실행 한 후 최종 열 출력은 문자열 모음으로 표시되며 일반 문자열

0열

1답변

저장 후 Pyspark Logistic 회귀 모델 정확도가 변경됨

Pyspark Multinomial Logistic Regression 모델을 작성하고 Django 웹 앱과 통합하여 쿼리 세트에 대한 예측을했습니다. 내 모델에, 내가 temp_path = pjoin("/home/maffsojah/Projects/HIT_400/capstone_project/web/tbank/spark-warehouse") reg_pat

0열

1답변

PySpark : Spark ML MulitLayerPerceptron에 오류가 있지만 다른 분류기가 정상적으로 작동합니다.

안녕하세요 저는 Spark ML을 사용하여 모델을 교육하고 있습니다. 교육 데이터 세트에는 130 개의 열과 1,000 만 개의 행이 있습니다. 자, 문제는 내가 MultiLayerPerceptron를 실행할 때마다 다음과 같은 오류를 보여주고 있다는 것입니다 : org.apache.spark.SparkException: Job aborted due to

0열

1답변

개별 "구매"대신 매트릭스로 Spark에서 ALS 모델을 훈련시키는 방법은 무엇입니까?

나는 이미 스파 스 매트릭스 인 데이터 프레임을 가지고있다. 새 사용자/항목 데이터 프레임을 만들지 않고 해당 데이터 프레임을 사용하여 ALS 모델을 교육하고 싶습니다. 이것이 가능한가?

3열

1답변

LDA 교차 유효성 평가 도구

LDA 알고리즘에 교차 유효성 검사를 적용하여 항목 수 (K)를 결정하고자합니다. 필자는 로그 가능성을 사용하고자하므로 평가자와 관련하여 의문의 여지가 있습니다. 교차 유효성 검사를 만들 때 .setEvaluator (????)는 무엇을 설정합니까? // Define a simple LDA val lda = new LDA() .setMaxIter

1열

1답변

StringIndexer를 사용하여 숫자 변수를 생성하는 방법은 무엇입니까?

StringIndexer을 사용하여 데이터 세트의 1000 개 이상의 카테고리를 순위를 매기고 상대적인 빈도를 나타내는 인덱스를 생성하려고합니다. 그런 다음이 인덱스를 내 모델의 숫자 기능으로 사용할 수 있습니다. 유감스럽게도 StringIndex은 기본적으로 인덱스에 카테고리를 표시하는 메타 데이터를 저장하므로 모델에서 색인을 category variab

0열

2답변

스파크 클러스터가 작은 데이터로 확장되지 않습니다

현재 선형 회귀 (스파크 ML)의 벤치 마크가있는 작은 클러스터 (3 개의 노드가 32 개의 CPU 및 128GB 램)에서 Spark 2.1.0을 평가 중입니다. 필자는 매개 변수 계산 (시작, 데이터로드 등을 포함하지 않음) 시간 만 측정하고 다음 동작을 인식했습니다. 작은 데이터 세트 0.1 Mio - 3 Mio 데이터 포인트의 경우 측정 된 시간은 실