目录

一、欠拟合

二、过拟合

三、模型分析

四、正则化

4-1、L2正则化

4-2、L1正则化

一、欠拟合

机器学习的特征过少，导致预测不准确。（训练集和测试集表现都不好）

解决方法：增加数据的特征数量。

二、过拟合

机器学习的特征过多，导致预测错误。 （训练集表现很好，但测试集表现不好）

解决方法：

三、模型分析

左边模型过于简单，拟合情况比较糟糕。（欠拟合）

中间的模型既不简单，也不复杂，比较理想。

右边模型过于复杂，泛化性不好，主要影响来自于高次项，如果能减小高次项的影响，就可以用该模型。（减小高次项权重：正则化）（过拟合）

四、正则化

4-1、L2正则化

作用：使一些参数减小（趋近于0），削弱某个特征的影响。

优点：越小的参数模型越简单，越简单的模型越不容易产生过拟合。

损失函数：

：惩罚项（权重乘方），让权重系数变小。（减小了高次项的影响）

代表：岭回归。

4-2、L1正则化

作用：使得一些w的值直接为0，删除某个特征的影响。

代表：LASSO回归。