R并行处理并行处理

示例

基本软件包parallel允许通过派生，套接字和随机数生成进行并行计算。

检测本地主机上存在的核心数：

parallel::detectCores(all.tests = FALSE, logical = TRUE)

在本地主机上创建核心集群：

parallelCluster <- parallel::makeCluster(parallel::detectCores())

首先，必须创建适合并行化的功能。考虑mtcars数据集。回归上mpg可以通过创建一个单独的回归模型的每一级加以改进cyl。

data <- mtcars
yfactor <- 'cyl'
zlevels <- sort(unique(data[[yfactor]]))
datay <- data[,1]
dataz <- data[,2]
datax <- data[,3:11]


fitmodel <- function(zlevel, datax, datay, dataz) {
  glm.fit(x = datax[dataz == zlevel,], y = datay[dataz == zlevel])
}

创建一个可以遍历的所有可能迭代的函数zlevels。这仍然是串行的，但是是重要的一步，因为它确定了将要并行化的确切过程。

fitmodel <- function(zlevel, datax, datay, dataz) {
  glm.fit(x = datax[dataz == zlevel,], y = datay[dataz == zlevel])
}


for (zlevel in zlevels) {
  print("*****")
  print(zlevel)
  print(fitmodel(zlevel, datax, datay, dataz))
}

咖喱这个功能：

worker <- function(zlevel) {
    fitmodel(zlevel,datax, datay, dataz)
  }

使用的并行计算parallel无法访问全局环境。幸运的是，每个函数创建一个parallel可以访问的本地环境。包装函数的创建允许并行化。还需要将要应用的功能放在环境中。

wrapper <- function(datax, datay, dataz) {
  # force evaluation of all paramters not supplied by parallelization apply
  force(datax)
  force(datay)
  force(dataz)
  # these variables are now in an enviroment accessible by parallel function
  
  # function to be applied also in the environment
  fitmodel <- function(zlevel, datax, datay, dataz) {
    glm.fit(x = datax[dataz == zlevel,], y = datay[dataz == zlevel])
  }
  
  # calling in this environment iterating over single parameter zlevel
  worker <- function(zlevel) {
    fitmodel(zlevel,datax, datay, dataz)
  }
  return(worker) 
}

现在创建一个集群并运行包装函数。

parallelcluster <- parallel::makeCluster(parallel::detectCores())
models <- parallel::parLapply(parallelcluster,zlevels,
                              wrapper(datax, datay, dataz))

完成后，请始终停止集群。

parallel::stopCluster(parallelcluster)

该parallel软件包包括整个apply()家族，并以开头par。