apache-spark-mllib

0열

1답변

spark 2.0을 사용하여 교육 과정 중에 손실 함수의 그래디언트를 얻는 방법은 무엇입니까?

현재 우리는 Spark 2.0을 연구 중입니다. 스파크 트레이닝 중에 손실 기능의 변화가 어떻게 바뀌 었는지 알고 싶습니다.이 기능을 사용하여 트레이닝 프로세스를 시각화 할 수 있습니다. 예를 들어, 나는 다음과 같은 코드가 있습니다 // Load training data in LIBSVM format. val data = MLUtils.loadLibSV

1열

1답변

StringIndexer를 사용하여 숫자 변수를 생성하는 방법은 무엇입니까?

StringIndexer을 사용하여 데이터 세트의 1000 개 이상의 카테고리를 순위를 매기고 상대적인 빈도를 나타내는 인덱스를 생성하려고합니다. 그런 다음이 인덱스를 내 모델의 숫자 기능으로 사용할 수 있습니다. 유감스럽게도 StringIndex은 기본적으로 인덱스에 카테고리를 표시하는 메타 데이터를 저장하므로 모델에서 색인을 category variab

0열

2답변

스파크 ML는

TL에 예측하는 새로운 데이터 요소에서 특징 벡터를 생성, 박사 내가 스파크 2.10에서 선형 회귀 모델에 맞게이를 - OneHotEncoder StringIndexer를 사용 후 나는 ~ 44 요소 벡터를 갖추고 있습니다. 새 데이터 비트에 대해 예측을하고 싶습니다. 어떻게 새 데이터 요소에서 피처 벡터를 만들 수 있습니까? 더 상세 우선이이 작업을 수행

0열

1답변

트위터 데이터에 LDA에 대한 문서를 작성하는 방법

라이브 스트림에서 트위터 트윗에 대한 주제 모델링을해야하며, 입력은 스트리밍을 시작하고 HDFS에 데이터를 저장합니다. 배치 작업은 수집 된 데이터에서 실행됩니다. 배치 작업은 트윗의 기본 주제를 찾는 것입니다. 이를 위해 LDA (Latent Dirichlet Allocation) 알고리즘을 사용하여 주제를 찾습니다. 데이터는 최대 140 자의 트윗으로

1열

1답변

Spark의 상관 행렬 값에서 행/열 이름

spark에서 상관 행렬을 계산했으며 열 이름과 함께 단일 상관 관계를 추출하려고합니다. 상관 관계 매트릭스 correlMatrix: org.apache.spark.mllib.linalg.Matrix = 1.0 -0.33333333333333254 -0.8164965809277261 -0.7777777777777787 -0.3333333333

-1열

1답변

스칼라 직렬화 코드를 병렬 처리로 변환합니다

저는 csv를 입력으로 사용하여 각 행을 읽고, 모든 행의 문서 분류를 수행하며 예측 된 문서 레이블을 MySQL 데이터베이스에 저장하는 스칼라 코드를 가지고 있습니다. 스 니펫의 문제점은 csv에 3200 개의 행이있는 경우가 있는데, 전체 작업을 완료하는 데 많은 시간이 걸립니다. 나는이 코드를 csv가 executor들 사이에서 배포되고, 문서 예측을

1열

1답변

Spark 2.1.0 : 압축 CSV 파일 읽기

압축 CSV 파일 (.bz2)을 DataFrame으로 읽으려고합니다. 내 코드는 다음과 같습니다 // read the data Dataset<Row> rData = spark.read().option("header", true).csv(input); 이것은 IDE에서 시도 할 때 작동합니다. 나는 데이터를 읽고 처리,하지만 난 때 받는다는을 사

0열

1답변

Spark MLLib를 사용하여 빌드 된 ML 모델을 Spark ML 파이프 라인을 사용하여로드하고 테스트 할 수 있습니까?

Spark에는 기계 학습을위한 두 개의 라이브러리가 있다는 것을 알고 있습니다. 하나는 spark.ml이고 다른 하나는 spark.mllib입니다. 단지 spark.mllib 패키지를 사용하여 빌드 된 모델을 사용하고 spark.ml으로 빌드 된 스파크 프로그램으로 테스트 (예측)했는지 여부를 알고 싶습니다.

0열

1답변

Spark ALS : Java 힙 공간이 부족합니다. java.lang.OutOfMemoryError : Java 힙 공간

24 코어, 48G 램이있는 단일 시스템에서 스파크를 실행하고 있습니다. 내가 6M 사용자, 1.2M 항목, 216 개 행동으로 암시 적 모델을 학습 할 수 있어요 내가 7M 사용자의 권고와 1.5M 항목과 440M 사용자 작업을 실행하려고 지금 을 (뷰/구매) 항목에. 저는 20 명의 실행기, 드라이버 메모리 15G, Executor 메모리 4G를 사용하

0열

1답변

Spark의 데이터 정리 및 준비

저는 Scala, Spark 및 MLlib부터 시작하겠습니다. 예제를 구현하고 싶습니다. Kaggle 데이터 형식이 끔찍하며 데이터 처리 및 정리에 많은 문제가 있습니다. 나는 네 도움을 간청한다. 데이터는 다음과 같습니다 PassengerId, 살아 Pclass, 이름, 성별, 나이, SibSp, 볶다, 티켓, 요금, 캐빈, 착수 1,0,3, "Braun