apache-spark-mllib

-1열

1답변

나는 내 마음을 잃어 버리는 문제가 있습니다. 나는 mllib에서 Kmeans를 사용하는 응용 프로그램을 가지고 내 노트북을 출시하는 경우 나에게 결과를 제공하고 AWS에서 클러스터에 나에게 또 다른 완전히 다른을 제공합니다. 사실, 랩톱과 AWS 클러스터에서 여러 번 시작했지만 각 플랫폼의 결과는 비슷하지만 두 플랫폼 모두에서 비슷해야합니다. Repart

1열

1답변

Spark ML Naive Bayes는 확률로 여러 클래스를 예측합니다.

각 레이블에 대해 확률 점수가있는 예측 레이블 목록을 모델이 반환하도록 할 수있는 방법이 있습니까? LABEL1 : 0.50, 라벨 2 : 0.33 ... 이 스파크에서 행할 예 주어진 피처 (F1, F2, F3)를 들면 는 는 같은 것을 돌려?

0열

1답변

반복적으로 libsvm 형식으로 데이터 프레임 저장

데이터 프레임을 반복적으로 libsvm 형식으로 저장해야합니다. 내 코드가 명령 all_recs_df = sqlContext.sql("select * from temp_table")을 실행하는 지금이 im_df = im_table.select("m_id", "fsz", "fnm") all_recs_df = None fake_df = None first

1열

1답변

groupBy 이후에 FP-Growth를 데이터 세트에 적용하는 방법은 무엇입니까?

저는 Spark 2.1의 Spark MLlib에서 FP-Growth를 사용하고 싶습니다. 내 데이터에는 두 개의 열 item_group 및 item 만 있습니다. 나는 다음과 같은 시도했지만 작동하지 않습니다 : sc = SparkSession.builder.appName("Assoziationsanalyse").getOrCreate() hiveCtx =

0열

1답변

개별 "구매"대신 매트릭스로 Spark에서 ALS 모델을 훈련시키는 방법은 무엇입니까?

나는 이미 스파 스 매트릭스 인 데이터 프레임을 가지고있다. 새 사용자/항목 데이터 프레임을 만들지 않고 해당 데이터 프레임을 사용하여 ALS 모델을 교육하고 싶습니다. 이것이 가능한가?

0열

1답변

Spark K-means, 자체 클러스터가있는 점

일부 교육 관측을 기반으로 k-means 모델을 만들어야하는 프로젝트를 진행 중입니다. 나는 380 개의 관측치를 가지고있다 (700 개의 피쳐로). Spark MlLib의 K-means 알고리즘을 사용하고 있습니다. 10보다 큰 k (클러스터 수)를 선택하면 일부 클러스터에서만 클러스터에 1 포인트가 할당됩니다 (예 : 25, 6 개 중 1 포인트 만 얻

0열

1답변

MLlib에서 PMML 파일 가져 오기

Naive Bayes 분류 자 모델이 포함 된 PMML 파일이 제공되었습니다. PMML 파일을 MLlib로 가져 와서 Python 프로그래밍 언어를 사용하여 모델을 재구성 할 수 있습니까? PMML 및 MLlib 모델 표현이 서로 호환되지 않기 때문에

0열

1답변

spark에서 setLabelCol과 setPredictionCol 메서드의 차이점

spark Mlib에서 로지스틱 회귀를 사용하고 있는데, sparc에서 setLabelCol(의 차이점은 무엇입니까? setPredictionCol() 메서드는 무엇입니까?

6열

1답변

출력 순서는 주어진 입력

주문이 세트에서 변경되는 isin() 함수 후 아파치 스파크 상이한 열 이름을 갖는 두 개의 세트를 병합 문제 문 위해서는 아니다. 심지어 나는 sort, orderby으로 시도했지만 작동하지 않았습니다. 입력 데이터 1 RowFactory.create("405-048011-62815", "CRC Industries"), RowFactory.create(

0열

1답변

Spark MLlib 의사 결정 트리를 사용할 때 누락 된 숫자 기능을 처리하는 방법은 무엇입니까?

Spark MLlib에서 의사 결정 트리를 사용할 때 누락 된 숫자 기능을 어떻게 처리합니까? 누락 된 기능을 다른 값의 평균으로 바꾸는 것을 고려하고 있지만 모델 품질에 어떤 영향이 있는지 잘 모르겠습니다. Spark MLlib는이 공통적 인 문제에 대한 지원을 제공합니까?