apache-spark-ml

2열

1답변

나는 pyspark에서 Spark Pipelines을 사용하여 선형 회귀 분석을 실행 중입니다. 선형 회귀 모형이 훈련되면 어떻게 계수를 빼낼 수 있습니까? 나는 PipelineModel class에서 방법을 사용하여 시도 # Get all of our features together into one array called "features". Do not

0열

1답변

SparkSQL Dataframe에서 MatrixUDT를 열로 사용했습니다.

spark SQL 데이터 프레임에 의료 이미지 세트를로드하려고합니다. 여기서 각 이미지는 데이터 프레임의 행렬 열에로드됩니다. Spark이 최근 이런 종류의 경우를 지원하기 위해 MatrixUDT를 추가했지만 데이터 프레임에서 사용할 샘플을 찾지 못했습니다. https://github.com/apache/spark/blob/master/mllib/src/m

8열

1답변

Spark ML과 MLLIB 패키지의 차이점

SparkML에 두 개의 LinearRegressionModel 클래스가 있고 ML에 하나 있고 MLLib 패키지에 다른 클래스가 있다는 것을 발견했습니다. 이 두 가지는 전혀 다른 방식으로 구현됩니다. MLLib은 Serializable을 구현하고 다른 하나는 구현하지 않습니다. 덧붙여서 ame는 사실 RandomForestModel입니다. 두 클래스가있

0열

1답변

유사 품목 찾기

저는 많은 소매점 상품 데이터베이스를 보유하고 있습니다. 특정 항목과 비슷한 항목을 찾으려면 Spark ML에서 피어슨 상관 관계를 사용하면됩니까? 거기에 더 좋은 알고리즘이 있나요? 기계가 진화하면서 학습하는지 어떻게 확인할 수 있습니까? 편집 - 다양한 기능 간의 거리를 찾기 위해 Mapreduce 프로그램을 구현했습니다. 하지만 기계 학습 솔루션으로

0열

1답변

CrossValidatorModel에서 각 폴드에 대한 계산 된 메트릭에 액세스하려면 어떻게합니까

CrossValidatorModelspark.ml에 각 폴드에 대한 계산 된 메트릭을 얻으려면 어떻게해야합니까? model.avgMetrics을 사용하여 평균 메트릭을 얻을 수 있지만 각 폴드시 원시 결과를 예를 들어 볼 수 있습니다. 결과의 분산? 저는 Spark 2.0.0을 사용하고 있습니다. 주름 들어 spark code here 을 공부

7열

1답변

PyFark DataFrame에서 ArrayType을 DenseVector로 변환하는 방법은 무엇입니까?

나는 ML Pipeline를 만들려고 다음과 같은 오류를 받고 있어요 : pyspark.sql.utils.IllegalArgumentException: 'requirement failed: Column features must be of type [email protected] but was actually ArrayType(DoubleType,true).

0열

1답변

ClassCastException을 가져 오는 데이터 집합에 GBT를 적용하려고 시도합니다.

"스레드"main "예외"가 발생했습니다. java.lang.ClassCastException : org.apache.spark.ml.attribute.UnresolvedAttribute $를 org.apache로 형변환 할 수 없습니다. spark.ml.attribute.NominalAttribute ". 소스 코드 나 스파크 자바를 사용하고 packag

1열

3답변

spark ml : 기능 중요성을 찾는 방법

저는 ML에 익숙하지 않습니다. Spark ml을 사용하는 예측 시스템을 구축 중입니다. 필자는 피쳐 엔지니어링의 주요 부분이 필요한 예측을 수행 할 때 각 피쳐의 중요성을 파악하는 것이라고 읽었습니다. 내 문제는 세 가지 범주 기능과 두 가지 문자열 기능이 있습니다. 나는 단호한 형태의 변환과 HashingTF 메커니즘을 사용하여 문자열 특징을 변환합니다

0열

1답변

IllegalArgumentException : u'requirement failed : Google DataProc의 스파크에서 유효하지 않은 초기 용량이

현재 Google DataProc의 Spark 2.0.0에서 대형 데이터 세트 (30 개 mio 관찰, 13 개 변수)에서 ml 의사 결정 트리를 실행하려고합니다. 나는 실행하면 : IllegalArgumentException: u'requirement failed: Invalid initial capacity' 내가 인터넷에서이 오류에 대한 많은 정보를

0열

1답변

Spark에서 ML.api의 병렬 처리 성능을 측정 할 수 있습니까

일반적으로 동일한 학습 알고리즘으로 Spark에서 대규모 데이터 세트와 분할 데이터 세트 간의 컴퓨팅 시간을 비교하고 싶습니다. 다른 이유는 파티션 모델 결과를 얻고 싶다는 것입니다. 그러나 결과는 원본 방식이 병렬 방식보다 빠릅니다. 일반적으로 분할 데이터 집합으로 병렬 실행이 더 빠르다고 예측합니다. 그러나, 나는 그것을 설정하는 방법을 모른다. 원하는