700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 如何理解交叉熵损失函数与最小对数似然函数的联系

如何理解交叉熵损失函数与最小对数似然函数的联系

时间:2023-10-20 20:51:33

相关推荐

如何理解交叉熵损失函数与最小对数似然函数的联系

前言:很多看似困难的事情,只要我们静下心来理清整个过程,逐一击破各个知识点,最终我们会做到看似不可能的事

一.交叉熵损失函数理解过程

1.什么是信息量

2.什么是熵

3.什么是相对熵(KL散度)

4.什么是交叉熵(由KL散度推出)

5.用例子来理解交叉熵损失函数

使用交叉熵时,其预测结果必须是概率值,所以CrossEntropy函数才会内置softmax对结果进行概率化

上面5个知识点详见下面blog:

交叉熵损失函数(Cross Entropy Loss)_SongGu1996的博客-CSDN博客

二.最小化负对数似然函数理解过程

1.什么是似然函数

2.为什么要对数似然

3.最大化对数似然==最小化负对数似然

详见:一文搞懂极大似然估计 - 知乎

三.联系

1.最小化负对数似然是为了得到最可能满足当前预测结果分布的参数

2.交叉熵损失函数是为了最小化预测分布与真实分布的差距(从KL散度来理解)

3.对于单标签多分类问题,最小化负对数似然等价于交叉熵损失函数(公式推得)

这里我们只给出了单个样本的示例:

(此处是真实标签 one-hot,是对应标签的概率值)

因为是单标签多分类任务,我们采用的真实标签是one-hot编码,这意味着上述公式简化为

(真实标签为1则保留该项、为0则舍去,是对应标签的概率值)

可以看到上述公式与最小化负对数似然函数相同!

当模型输出没有使用softmax时,直接使用负对数似然函数!=交叉熵损失函数;另一个意思也就是,当输出使用softmax后再使用负对数似然函数,其结果等价于交叉熵损失函数

结语:

本文只是为了提供一个理解的过程,并不会给出具体解释,这样会看着很杂乱。当按照上文逐一理解每个点时,你也就理解两个函数的联系

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。