apache-spark-mllib

0열

1답변

템플릿을 사용하여 교육하는 동안 오류가 발생합니다. https://github.com/apache/incubator-predictionio-template-text-classifier.git

나는 PredictionIo를 처음 사용합니다. 몇 가지 템플릿을 테스트하기 시작합니다. 나는 텍스트 분류를 사용하고 난 pio train 작업을 수행 할 때 나는 다음과 같은 예외 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext$implicits$

0열

1답변

PySpark에서 두 벡터의 코사인 유사성을 계산하는 방법은 무엇입니까?</p> <pre><code>1 - spatial.distance.cosine(xvec, yvec) </code></pre> <p>하지만 scipy 같은 내가 PySpark에서 두 벡터의 코사인 유사도를 계산하려고 생각

는 pyspark.ml.linalg.Vector 유형을 지원하지 않는 것 같습니다.

0열

1답변

는 다음 코드를 사용하여 CSV 파일을 포함하는 디렉토리의 불꽃 mllib 알고리즘을 사용하여 내가 TF를 계산하고 kmeans

및 IDF에 대한 유효한 입력 RDD 변환 이 출력을 얻으십시오 : [SparseVector(1048576, {812399: 4.3307}), SparseVector(1048576, {411697: 0.0066}), SparseVector(1048576, {411697: 0.0066}), SparseVector(1048576, {411697: 0.006

1열

1답변

sparklyr : spark_apply 함수가 클러스터 모드에서 작동하지 않습니다.

다른 행 수가있는 두 개의 데이터 프레임을 결합했습니다. qpcR 라이브러리로 cbind.na 기능을 사용하여 두 개의 데이터 프레임을 결합합니다. 그것은 내 로컬 컴퓨터에서 spark_apply 기능을 사용하는 스파크 릴러의 결과를 제대로 보여주었습니다. 그러나 클러스터 모드에서는 아래와 같이 오류가 표시됩니다. 참고 : 단일 데이터 프레임은 클러스터와

0열

1답변

ValueError : pyspark의 비 패키지에서 상대 가져 오기 시도/kmodes 모듈 (pyspark)을 찾을 수 없음

ValueError : pyspark의 비 패키지에서 상대적 가져 오기를 시도했습니다. 위의 오류는 내가 pyspark에서 kmode를 사용하려고 할 때 발생합니다. 따라서 kmod 패키지를 sc.addFile ("home/pyspark-distributedkmodesmaster/pyspark_kmodes/pyspark_kmodes.py")을 사용하여 pa

0열

1답변

Pyspark는 라벨링 된 포인트 RDD의 라벨의 고유 값을 계산합니다.

Spark에서 RDD가 labeled point입니다. 레이블의 고유 한 값을 모두 집계하고 싶습니다. 뭔가 from pyspark.mllib.regression import LabeledPoint train_data = sc.parallelize([ LabeledPoint(1.0, [1.0, 0.0, 3.0]),LabeledPoint(2.0, [1.0

1열

1답변

PySpark 코드를 사용하여 문서 분류에 키워드 사전 포함

PySpark를 사용하여 문서 분류를 수행하려고합니다. # Tokenizer tokenizer = Tokenizer().setInputCol("text").setOutputCol("words") # Stop Word removal updated_stopwords_list = list(set(StopWordsRemover().getStopW

0열

1답변

UDF 내에서 MLUtils.convertVectorColumnsToML() 사용?

나는 열 중 하나로 mllib.linalg.Vector (Doubles의)이있는 데이터 집합/데이터 프레임을 가지고 있습니다. 이 데이터 집합에 ml.linalg.Vector 유형의 데이터 집합에 다른 열을 추가하고 싶습니다. 따라서 두 유형 모두 Vectors을 갖게됩니다. 그 이유는 몇 가지 알고리즘을 평가 중이며 그 중 일부는 mllib 벡터를 기대하

0열

1답변

두 배열을 비교하고 PySpark에서 차이를 얻으려면

데이터 프레임에 두 개의 배열 필드가 있습니다. I는 이들 두 개의 배열을 비교하여 동일한 데이터 프레임 배열 (새 항목) 등의 차이를 취득하는 요구가있다. 예상 출력은 : 열 B는 또한 단어 배열 모두에 같은 순서로 될 것이다 열 A의 하위 집합이다. 아무에게도 해결책을 제공 할 수 있습니까?

3열

1답변

PySpark는 자주 사용하지 않는 항목을 가장 자주 사용하는 항목으로 바꿉니다.

일부 수준이있는 데이터 프레임에 범주 형 열이 있습니다. 이제는 덜 빈번한 수준 (총 빈도가 지정된 백분율). 나는 그것을 우아하고 콤팩트 한 방법으로 어떻게 알 것인가? 아래의 예는 지정된 주파수를 0.3으로 설정하면 레벨이 "a"로 바뀌어야 만합니다. 주파수는 1/6이므로 0.3 이하입니다. from pyspark.sql import Row row