700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 《深度学习笔记》——深度神经网络的调试笔记

《深度学习笔记》——深度神经网络的调试笔记

时间:2023-12-06 07:32:07

相关推荐

《深度学习笔记》——深度神经网络的调试笔记

1 模型的快速验证

1.1 确定模型是可以收敛的

在刚开始调试的时候,可能难以确定模型是否收敛,这时候可以在调试的时候,适当地增加学习率的数量级,看看模型在前几次迭代的时候loss是否会随着迭代次数的增加呈10倍左右的下降,如果观察到loss的值可以“10倍左右”可见的速度下降,则说明模型是可以收敛的,此时loss函数的设计大概率是正常的,可以将学习率调回正常值继续进行测试;

2 查看模型结构——netron

我们可以使用netron来查看模型的网络结构图;

(netron的使用可以参考文章《可视化工具netron的简单使用》)

2 Early Stop策略的使用

2.1 Early Stop的评价指标

loss值的累加值;

训练集的mAP;

测试集的mAP;

2.2 Early stop的探索次数——26次

Early stop的探索次数我们设置为26次,这个是如何得来的呢?

我们首先把探索成功和不成功的概率假设为0.5,我们设置探索行动的阈值为99.999%,

则计算探索次数的方法如下:

于是,我们选择了一个好记一点的数字也就是26次;

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。