병렬 패키지의 clusterMap - 여러 매개 변수를 반복합니다.

Question

큰 데이터 세트 (636,688 행 × 7 열)에서 k- 평균을 수행 중이므로 병렬 처리가 필요합니다. 센터의 수를 반복하고 2 ~ 5 개의 센터를 2 번 반복하는 예제를 포함하고 싶습니다.

# Iris k-means parallelization example 
library(parallel) 
data(iris) 
iris.cluster <- iris[,-5] 

cl <- makeCluster(detectCores()) 
worker <- function(data, nclus, nstarts){ 
    kmeans(x = data, centers = nclus, nstart = nstarts) 
} 
myiter <- 2 
nstarts <- rep(25, myiter) 
nclus <- 2:5 
results <- clusterMap(cl, worker, data = iris.cluster, nclus = nclus, nstarts = nstarts) 
stopCluster(cl) 

요약이 이미 나에게 뭔가를 알려줍니다은 살짝 밟아입니다 :

> summary(results) 
      Length Class Mode 
Sepal.Length 9  kmeans list 
Sepal.Width 9  kmeans list 
Petal.Length 9  kmeans list 
Petal.Width 9  kmeans list 

results 8 행과 Length의 왼쪽에 어떤 설명을 실제로 있어야합니다. 마치 하나의리스트 엔트리 당 하나의 변수만을 사용하는 것처럼 보입니다. 불행히도 clusterMap에 대해 명확히 밝혀지지 않았으며이 경우에 올바른 방법인지 여부는 확실하지 않습니다. 이제 씨앗과 nstart 값 (스티브 웨스턴 감사합니다) 이상 반복하지만 위에서 설명한대로 클러스터의 수를 반복하는 데 도움이 필요 알아요.

Answer 1

작업자 함수에 인수를 제대로 전달하는 데 문제가 있습니다. "센터"와 "nstart"에 중첩 된 루프가 필요하다고 생각합니다. 클러스터 작업자에게는 "iris.cluster"를 반복 실행하지 않아도됩니다. 아마도 이것은 당신이 원하는 무엇에 가까운 :

library(parallel) 
data(iris) 
iris.cluster <- iris[,-5] 

cl <- makeCluster(detectCores()) 
clusterExport(cl, 'iris.cluster') 
worker <- function(centers, nstart) { 
    kmeans(iris.cluster, centers=centers, nstart=nstart) 
} 
myiter <- 2 
nstarts <- rep(25, myiter) 
nclus <- 2:5 
g <- expand.grid(nstarts=nstarts, nclus=nclus) 
results <- clusterMap(cl, worker, centers=g$nclus, nstart=g$nstarts) 
stopCluster(cl) 

이것은 length(nstarts) * length(nclus) 작업의 총 인수를 생성하기 위해 "expand.grid"기능을 사용합니다.