机器学习笔记--模型评估方法：Holdout检验 交叉检验 自助法

Holdout检验

将原始的样本集合随机的划分成训练集和验证集两部分

缺点：在验证集上计算的评估指标与原始分组有很大关系

交叉检验

K-fold交叉验证：首先将全部样本划分成k个大小相等的样本子集，依此遍历这k个子集，每次把当前子集作为验证集，其余子集作为训练集，进行模型训练和评估。最后把k次评估指标的评价值作为最终的模型评估指标。在实现中，k经常取10

缺点：时间开销极大

自助法

基于自助采样法，对总数为n的样本集合，进行n次放回的随机抽样，得到大小为n的训练集，n次采样过程中，有重复采样，有未抽出样本，将未抽出样本作为验证集，进行模型验证