2013-10-31 1 views
0

에 rxDataStep를 사용하여 기능을 "적용".나는 XDF 파일에서 다른 덩어리에 존재하는 값을 집계 찾아 봤는데,하지만 난 그게 작동시킬 수 없어요 RevoScaleR 패키지

당신의 어떤 rxDataStep에 변환 (A)의 내부에 함수를 적용하면 사용했던 코드 조각이겠습니까?

+0

CRAN에는 해당 패키지가 없습니다. 어디 출신이에요? 그러나 어쨌든 xdf 파일의 데이터 구조는 무엇입니까? 우리가 알고 있다면'* apply' 함수를 사용할 방법을 제안 할 수 있습니다. –

+0

rxDataStep에서 집계 할 수 있다고 생각하지 않습니다. 데이터가 정규 data.frame에있는 것처럼 달성하고자하는 것을 제공 할 수 있습니까? –

+1

@ Carl : revoScaler 패키지는 Revolution R Enterprise 릴리스의 일부이므로 CRAN에서 찾을 수 없습니다. .xdf 파일은 패키지에서 사용되는 기본 외부 메모리 데이터 형식입니다. 데이터가 사용자의 메모리보다 큰 경우이를 사용합니다. –

답변

0

transformFunc를 사용하여 변환 함수를 적용하십시오. 필요한 패키지를 작업자 노드에 설치해야합니다. transformObject를 사용하여 transformFunc에 함수를 제공하십시오.

xformFunction <- function(data) { 
    require(dplyr) 
    df <- as.data.frame(data) 
    df <- dplyr::summarise(dplyr::group_by(df, z)) 
    return(df) 
} 

rxDataStep(inData = input_xdf, outFile = t_xdf, transformFunc = xformFunction, transformPackages = c("dplyr"), overwrite = TRUE) 

집합은 노드에 있으므로 Spark ComputeContext를 사용할 때 중복 된 z 값을 갖게됩니다.