对于属性较多的数据,我们一般都会去计算两两属性之间的相关性,用以探讨属性之间的关系.
相对于皮尔森相关系数,我们更喜欢使用spearman和kendall相关系数,因为作为非参数相关系数,稳定性更好.
一般来说,计算kendall相关系数可以用以下语句:
cor(x,y,method="kendall")
在本文一开始提到的场景下,这十分耗时.我们可以从以下3个方面减少计算时间:
1.优化算法,pcaPP包提供的cor.fk函数具有更好的效率,大规模计算kendall系数的话,多使用这个函数.
pcaPP::cor.fk(x,y)
2.将任务拆分成几个并行的子任务分别在不同的计算机上运行,如果能够得到这些计算机的权限,这个方法可以归于第3个方法,这里不多讲.
3.将任务拆分成几个并行的子任务分别在某台计算机的多个cpu上进行计算,这是本文的重点.
R语言提供简单并行计算的包有parallel包.下面以实例说明如何进行并行计算.
#####生成测试数据#####
library(parallel)
set.seed(0)
n
test
pair
#####并行计算集群初始化及任务拆分#####
nt
cl
ichunk
#####f0为非并行计算kendall函数#####
f0
nc
res
for(iin1:(nc-1)){
tmp
res
}
cbind(pair,res)
}
#####f1为并行计算kendall函数子函数,也可作为主函数使用#####
f1
nr
res
k
for(iin1:nr){
res[k,]
k
}
cbind(id,res)
}
#####计算两两相关系数#####
system.time(res0
system.time(res1
system.time(res1p
stopCluster(cl)#关闭并行计算集群
设n为100,实际运行结果如下:
>system.time(res0
用户系统流逝
1.5840.0001.587
>system.time(res1
用户系统流逝
0.560.000.56
>system.time(res1p
用户系统流逝
0.0080.0000.526
设n为1000,实际运行结果如下：
>system.time(res0
usersystemelapsed
156.841.86162.17
>system.time(res1
用户系统流逝
57.0560.02057.186
>system.time(res1p
用户系统流逝
0.1760.12446.035
可见:
1.即使f0的循环次数比f1的循环次数少得多,但是运行时间还是慢很多,这主要是cor.fk的性能比cor好很多的原因.
2.使用了3个cpu,但是加速的效率却不是3倍的,这主要的是并行计算时需要传递数据等其他运算.
