机器学习常见基本概念笔记

机器学习

监督学习和非监督学习:

有监督学习的方法就是识别事物，识别的结果表现在给待识别数据加上了标签。因此训练样本集必须由带标签的样本组成。比如分类和回归。

而无监督学习方法只有要分析的数据集的本身，预先没有什么标签。如果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不予以某种预先分类标签对上号为目的。如聚类。

验证集

主要作用是来验证是否过拟合、以及用来调节训练参数等。

分类的损失函数：

是用来估量模型的预测值y^与真实值 y 的不一致程度。若损失函数很小，表明机器学习模型与数据真实分布很接近，则模型性能良好；若损失函数很大，表明机器学习模型与数据真实分布差别较大，则模型性能不佳。

损失函数判断

训练损失函数越来越低可能会导致过拟合(学得太好了)，是否过拟合这时要看测试集的损失函数是否在回增(新数据测试模型是否泛化能力强)。

超参数：

在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参 数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和 效果。超参数也是一个参数，是一个未知变量，但是它不同于训练过程中的参数，它是可以对训练得 到的参数有影响的参数，需要训练者人工输入，并作出调整，以便优化训练模型的效果。

1.定义关于模型的更高层次的概念，如复杂性或学习能力。

2.不能直接从标准模型培训过程中的数据中学习，需要预先定义。

3.可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定。

比如:模型的学习率,深度神经网络隐藏层数。

超参数和参数的区别:

最大的区别就是是否通过数据来进行调整,模型参数通常是有数据来驱动调整,超参数则不需要数据来驱动,而是在训练前或者训练中人为地进行调整地超参数,比如卷积核的数量,卷积核尺寸这些就是超参数。

预训练模型：

预训练模型是一个已经训练好的保存下来的网络,该网络之前在一个大型的数据集上进行了训练。

线性回归没有局部最优。

正则化(Regularization)：

给损失函数加一个lambda*权重的平方，权重越小，那么loss值对x的变化不敏感，可以减少噪音对loss值的影响，使函数变得平滑，但是太平滑也不好(理想状态是水平线，即x对loss毫无影响)。并且做regularization的时候不需要考虑bias，因为对x无影响。

机器学习线性回归问题误差(error)主要有两个：

1.偏差(bias)：

偏差是指样本拟合出的模型的输出结果的期望与样本真实结果的差距。简单得讲就是拟合得好不好，如果高bias的话离准心远，需要换过一个模型，复杂化模型，增加模型参数。但是太好的话就容易过拟合。低bias对应就是点都打在靶心附近，所以瞄的是准的，但手不一定稳。

2.方差(variance)：

方差是指从样本上训练出来的模型在测试集的表现。low 方差对应就是点都打的很集中，但不一定是靶心附近，手很稳，但是瞄的不准。此时就要简化模型，减少模型参数，但是容易欠拟合。

迁移学习

迁移学习是一种机器学习的方法，指的是一个预训练模型被重新用在另一个任务中。目标就是将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。

极大似然估计

就是用来做参数估计的，让估计的参数尽可能接近总体分布参数，概率最大点就是最像点。

KL散度

是衡量两种概率分布的相似程度，其越小，表示两种概率分布越接近。