主成分分析（Principal Component Analysis，PCA）
PCA是非常经典的降维算法，属于无监督降维，做机器学习的应该都有所了解。但是，除了基本的PCA推导和应用之外，还有SparsePCA、KernelPCA、TruncatedSVD等等，另外PCA和特征值、奇异值的关系以及SparsePCA和字典学习（Dict Learning，Lasso）的关系等等，也是比较有趣的事情。
PCA算法概念
PCA（PrincipalComponent Analysis）主成分分析，也称为卡尔胡宁－勒夫变换（Karhunen－Loeve Transform），是一种用于探索高维数据结构的技术。
PCA是一种较为常用的降维技术，PCA的思想是将维特征映射到维上，这维是全新的正交特征。这维特征称为主元，是重新构造出来的维特征。在PCA中，数据从原来的坐标系转换到新的坐标系下，新的坐标系的选择与数据本身是密切相关的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。大部分方差都包含在最前面的几个新坐标轴中。因此，可以忽略余下的坐标轴，即对数据进行降维处理。
