apache-spark-ml

0열

1답변

스파크 ml 파이프 라인에서 새롭고 보이지 않는 라벨을 처리하기 위해 가장 빈번한 대체 작업을 사용하고 싶습니다. 파이프 라인은 는 벡터 어셈블러 추정 예를 들어, 각 범주 컬럼에 대해 가장 빈번한 항목을 stringIndexer 내용 전처리 3 단계 구성되는 경우 랜덤 포레스트 가정은 (1), (2,3) 및 (4,5) 별도의 배관 I 맞게 기차 및 테스트

0열

1답변

스파크 기계 AST 비교 학습

기계 학습에 익숙하지 않지만 소스 코드의 두 AST (추상 구문 트리)를 비교하여 기계가 유사한 지 아닌지 알아보기 위해 기계 학습을 사용할 수 있는지 조사하려고합니다. 이상적으로, 일부 데이터 세트를 사용하여 일부 트렌 닝을 수행하고 유사성을 찾기 위해 임의의 2 개의 AST를 comare하십시오. 여기에 어떤 제안이 있습니까?

2열

1답변

Apache Spark의 Jaro-Winkler 점수 계산

Apache Spark Dataset에서 문자열을 통해 Jaro-Winkler 거리 계산을 구현해야합니다. 우리는 불꽃이 생기고 웹에서 검색 한 후 새로운 것을 많이 찾을 수 없습니다. 우리를 인도 할 수 있다면 좋을 것입니다. 우리는 flatMap을 사용하여 생각하면 도움이되지 않을 것이라는 것을 깨달은 다음 foreach 루프를 사용하려고했지만 앞으로

0열

1답변

Kmeans Spark ML

Spark ML을 사용하여 KMeans를 수행하고 싶습니다. val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate() // Start time //val intial_Data=spark.read.option("header",true).csv(

0열

1답변

pyspark.ml에서 여러 기능을 수행하는 트랜스포머

DataFrame에 기능을 자체적으로 변환하려는 경우, 예를 들어 두 개의 다른 열 사이의 차이를 추가 할 수 있습니다. 나는 this question을 따라 갔지만 변압기는 하나의 열에서만 작동합니다. pyspark.ml.Transformer은 문자열을 inputCol에 대한 인수로 사용하므로 여러 개의 열을 지정할 수 없습니다. 그래서 기본적으로 내가

0열

1답변

자바를 사용하여 아파치 스파크 행을 삭제

해당 데이터 세트의 두 번째 행을 삭제해야합니다. 아파치 스파크에 익숙하지 않습니다. 누구든지 해결하도록 도와 줄 수 있습니다. 아래 코드 은 public class DeleteRow { public static void main(String[] args) { System.setProperty("hadoop.home.dir", "C:

0열

1답변

pyspark.ml.tuning.TrainValidationSplit로 튜닝 한 후 가장 좋은 매개 변수를 얻는 방법?

스파크 (PySpark) ALS 모델의 하이퍼 파라미터를 TrainValidationSplit으로 조정하려고합니다. 잘 작동하지만 하이퍼 매개 변수 조합이 최상인지 알고 싶습니다. 평가 후 최상의 매개 변수를 얻는 방법? from pyspark.ml.recommendation import ALS from pyspark.ml.tuning import Tra

3열

2답변

Spark HashingTF 결과 설명

DataBricks에서 표준 스파크 HashingTF 예제를 시도했습니다. 아래의 이해 결과에는 차이가 있습니다. Please see the image numFeatures 경우에는 [0,5,9,17]가 해시 값과 [1,1,1,2] 주파수가 20 인 경우 [0,20,[0,5,9,17],[1,1,1,2]] [0,20,[2,7,9,13,15],[1,1,3,1

0열

1답변

기능 선택을 위해 pyspark.ml.regression.LinearRegressionModel에서 L1 페널티를 사용하는 방법은 무엇입니까?

첫째, 나는 스파크 1.6.0을 사용한다. 기능 선택을 위해 pyspark.ml.regression.LinearRegressionModel에서 L1 패널티를 사용하고 싶습니다. 그러나 나는 얻을 수 없다 자세한 계수 함수를 호출 할 때 : lr = LogisticRegression(elasticNetParam=1.0, regParam=0.01,maxIter

0열

1답변

스파크 - 'LDAModel'목적이없는 속성 'describeTopics'

내가 현재 사용하고 CDH 스파크 1.5.0, 파이썬 2.6.6 하둡 나는이 링크 Saprk1.5.0-Latent Dirichlet allocation (LDA)를 참조하여 LDA 모델을 구축을 위해 노력하고 2.6 있다 문서에 기록 된 것과 인용 : MLlib의 LDA 모델 지원의 모든 : descri beTopics : 주제를 반환 대부분의 중요한 용어