spark/scala에서 중심을 이동하는 숫자의 범위를 재조정하는 방법은 무엇입니까?

Question

스파크에서 다음 함수 중 하나를 정의 할 최대 값으로 -infinity에서 +infinity 또는 -2에서 130 범위의 값을 변형/재조정 할 수있는 함수. 아래 예에서

는 I 55 100 것을 보장 할 및 100 + 0

before | after

45-55 | 90-100

35-44 | 80-89

...

100+ or < 0| 0-5

,691 인

은 ML features functions 중 하나입니다.

Answer 1

감사합니다. @ user6910411 감사합니다. 데이터에 따라 밀도가 높은 벡터 또는 희소 한 벡터를 사용하고 MaxAbsScaler으로 대체하고 linalg.Vectors 또는 DenseVector 의 값을 추출 할 수 있습니다. 필요한 중간 및 역 배율 지점에서 데이터를 반으로 나누고 DF를 모두 병합하고 병합하는 것이 좋습니다.

import org.apache.spark.mllib.linalg.Vectors 
import org.apache.spark.ml.feature.Normalizer 
import org.apache.spark.ml.feature.MaxAbsScaler 
import org.apache.spark.ml.feature.MinMaxScaler 
import org.apache.spark.ml.feature.VectorAssembler 
import org.apache.spark.ml.linalg.DenseVector 
import org.apache.spark.sql.functions.udf 

val vectorToColumn = udf{ (x: DenseVector, index: Int) => x(index) } 

val gt50 = df.filter("score >= 55").select('id,('score * -1).as("score")) 
val lt50 = df.filter("score < 55") 

val assembler = new VectorAssembler() 
.setInputCols(Array("score")) 
.setOutputCol("features") 

val ass_lt50 = assembler.transform(lt50) 
val ass_gt50 = assembler.transform(gt50) 

val scaler = new MinMaxScaler() 
.setInputCol("features") 
.setOutputCol("featuresScaled") 
.setMax(100) 
.setMin(0) 

val feat_lt50 = scaler.fit(ass_lt50).transform(ass_lt50).drop('score) 
val feat_gt50 = scaler.fit(ass_gt50).transform(ass_gt50).drop('score) 

val scaled_lt50 = feat_lt50.select('id,round(
vectorToColumn(col("featuresScaled"),lit(0))).as("scaled_score")) 

val scaled_gt50 = feat_gt50.select('id,round(
vectorToColumn(col("featuresScaled"),lit(0))).as("scaled_score")) 

val scaled = scaled_lt50.unionAll(scaled_gt50)