PCA在很多方面均有应用,但是之前没有仔细探究过,最近看了一些博客和论文,做一下总结。
主成分分析(Principal Component Analysis,PCA), 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。
为什么需要PCA?
通俗一点说,PCA是一种降维的方法。我们知道,维数越大通常越难处理,在机器学习中,得到的数据维数通常都很高,处理起来很麻烦,资源消耗很大,因此对数据进行降维处理是很必要的。
但是降维就意味着信息的丢失吗?多少是有一点的。但是总有一些情况,让我们能能够在信息损失相对比较少的同时完成降维。比如:
如果某两个特征之间存在关联。举个比较极端的的例子,一个正方形的边长和它的面积,各属于两个特征,但是知道了边长面积肯定是确定的,那么就可以直接丢掉一列(边长或面积)。
如果某个维度存在并没有什么价值。这里举个比较经典的例子,就是电视转播球赛,把现场的三维转成平面的二维呈现在你眼前,减少了一维但是对于观众来说,并无太大影响。
......
通过减少冗余信息,降低了维度,让之后处理数据更加容易,而有大部分有价值的信息都保留下来。而到底哪些信息是重要的?哪些可以删去?在这里还要注意:降维并不简单的值删去某个维度,大部分情况下,降维的同时基也改变了。那么如何选取新的基?这就是PCA解决的问题。
补充看到过的一个比较好的例子:
假设我们整理了30个人的体重,身高和IQ&