PIoU Loss: Towards Accurate Oriented Object Detection in Complex Environments
一种面向复杂环境下的精确旋转目标检测的IOU损失计算方法。
Zhiming Chen, Kean Chen, Weiyao Lin, John See,Hui Yu, Yan Ke, and Cong Yang
Clobotics, China Department of Electronic Engineering, Shanghai Jiao Tong University, ChinaFaculty of Computing and Informatics, Multimedia University,Malaysia
发表于：ECCV
论文地址：/abs/.09584论文下载：/pdf/.09584论文代码：/clobotics/piou
一. 研究动机
目标检测是计算机视觉中的一项基本任务，最近的检测器大都是使用卷积神经网络的。尽管这些检测器都有最先进的性能，但是在旋转目标检测中，物体往往有以下特征 (1)物体往往都很小（2）物体很密集（3）物体的方向是任意的。传统的目标检测中的边界框（BB）在检测这类物体时通常会有大量的背景，这会一定程度的误导分类器。当边界框内物体很密集或者有重叠时又会使检测器难以分离这些物体。为了解决这种缺陷，研究者们提出了定向边界框（OBB）。BB通常的表现形式（Cx,Cy,w,h），与此相比，OBB由（Cx，Cy，w，h，θ）组成。因此，OBB可以更好的包围目标以便于旋转和密集的物体可以被更好的检测和分类。
使用定向边界框（OBB）的目标检测可以通过减少目标与背景的重叠更好的的预测旋转的物体。现有的OBB方法大多建立在水平边界框检测器的基础上，引入了一个由距离损失优化的额外角度维度。但是，距离损失仅仅最小化了OBB的角度损失，它与IOU相关性不够好（目标检测的评判标准），而且它对具有高长宽比的物体不敏感。（例如一个狭长的物体，即使是真实框和预测狂的中心重合，仅仅中只是差了一个很小的角度，也会使得预测框不能很好的包围目标，尽管他们此时的角度距离损失是很小的。如下图（a）所示）。因此为了利用角度和IOU来进行更精确的OBB回归，作者提出了Pixels-IoU (PIoU) Loss。PIoU损失IoU度量的一种像素度量的形式，简单且适用于水平框（HBB）和定向框（OBB）。此外，以前的评估数据集大都不包括物体具有高长宽比的情况，因此作者还引入了一个新的数据集Retail50K，以鼓励社会各界使OBB检测器适应更复杂的环境。
二. 论文创新点
为了解决上述传统目标检测中存在的问题，作者提出了一种新的计算Loss的公式，名为 PixelsIoU（PIoU）Loss，提高了OBB回归的角度和IoU的精度。
如下图所示，与标准的距离损失相比，PIoU损失直接反应了IoU损失及其局部最优性。这是因为IoU损失通常比距离损失实现更好的性能。但是OBB的IoU计算比BB的更复杂，因为相交的OBB的的形状可能是小于八条边的任意多边形。因此，作者提出了PIoU，一个连续的、可推导的函数，联合关联OBB的五参数，检查位置（在IoU内或外）和每个像素的贡献，通过累积内部重叠像素的贡献，从而计算出PIoU的损失。
为了克服现有基于OBB的方法的局限性，我们鼓励社区采用更强大的OBB检测器以实现从传统的航空图像向更复杂的领域的转型。我们收集了一个新的基准数据集Retail50K，以重新检测具有高纵横比、严重遮挡和复杂背景的定向目标的挑战。实验表明，所提出的具有PIoU损失的框架不仅在航空图像上有很好的表现，而且它们还能有效地处理Retail50K中的新挑战。
这项工作的贡献总结如下。(1) 提出一个新的损失函数，PIoU损失，以在高长宽比和复杂背景等高难度条件下，提高面向对象检测的性能。(2) 我们引入了一个新的数据集–Retail50K，以促进计算机视觉界对现有的OBB检测器进行创新和调整，以应对更复杂的环境。(3) 我们的实验表明，在不同的数据集中，PIoU损失可以有效地提高anchor base和free anchor的OBB检测器的性能。
三.相关工作
定向目标检测器
现有的定向目标检测器大多是在通用的水平检测器的基础上添加了额外的角度维度。对于每个提议，其位置、大小和方向都是通过搜索局部最大似然来确定的。其他可能的提取OBB的方法包括：fitting detected masks和用anchor free的模型回归OBB，这是文献中的两个新概念。虽然这些方法在航空图像上有很好的表现，但它们并不适合于具有高长宽比和复杂环境的定向物体。出于这个原因，我们假设一种新的损失是必要的，以便在具有挑战性的条件下获得改进。
回归损失
对于边界框的回归，用的比较多的的函数就是均方误差(MSE, L2 loss),平均绝对误差(MAE, L1 loss), 分位损失（MAE的变种，预测一个区间，而不是仅仅预测点）， Huber Loss（基本上是绝对误差，当误差很小的时候，它就变成了二次方程）， LogCosh Loss（双曲余弦的对数预测误差），在实践中，检测器通常使用的损失都是基于前面的损失的扩展。但是，我们不能直接使用它们，因为OBB描述符中包含了额外的角度维数。
当使用OBB的时候，其他常用损失的计算变更加复杂，因此很难实现，而所提出的PIoU损失更简单，同时适用于HBB和OBB。PIoU loss 基于轴对齐与多边形相交计算的iou不同，我们的方法更加简单，即通过累积内部重叠像素的贡献来直接计算IoU。而且，提出的PIoU loss也和Mask RCNN中的 Mask loss不同。Mask loss 是平均交叉熵损失计算所得。与之不同的是，我们提出的损失是基于真实的iou来计算的，以保留两个框之间的交集和联合区域。在每个区域中，根据像素的空间信息对其贡献进行建模和积累。因此，PIoU损失更普遍，对OBB重叠更敏感。
四 主要内容
对于一个给定的OBB b的编码 （ Cx，Cy，w，h ），一个理想的损失函数应该有效地引导网络来最大化IoU，从而使b的误差最小化。为了实现这个目标，我们首先解释一下IoU方法。一般来说，一个IoU函数应该准确计算一个OBB的面积以及它与另一个盒子的交集。由于OBB和相交区域是由图像空间中的像素构成的，它们的面积由内部像素的数量来近似。
如上图所示，c点是OBB框的中心点，红色框是它的OBB，pi,j 是目标像素点，我们可以通过用 di,jh 和 di,jw（pi,j 到c点的相对距离）和OBB的w，h 比较大小即可判断pi,j 是否在其内。
、
定义 Bb,b’ 为 b和b’包围的最小正方形，然后我们可以通过统计所有Bb,b` 中的像素点计算 b和b’ 的交集 Sb∩b’ 和并集 Sb∪b’。
最后通过Sb∩b’ 除以Sb∪b’计算IoU，但公式1并不是连续可微函数，导致不能进行反向传播训练。为了解决这个问题，将公式1转换为两个核的乘积 F (pi,j | b) ：
其中 k 用于控制对目标像素 pi,j 的敏感程度，由于公式9使用了相对位置信息(图a的点距离和三角形的角度)，所以Sb∩b’ 和 Sb∪b’ 均是对OBB的旋转角度和大小敏感的。
如图b所示，F(pi,j | b) 是连续可微的，且与公式1类似。当 pi,j 在b 内时，F(pi,j | b) 接近于1，反之则接近于0。为此，b和b ′的交并集区域计算变为：
为了降低公式11的计算量，可以被简化为：
PIoU的计算公式可以表示为：
定义M为所有正样本对，PIoU损失的计算为：
PIoU损失也可用于无交集的OBB，因为PIoU始终大于零，梯度依然可以计算，另外PIoU损失也可以用于正常的BB场景中。
e-k(d-s) 函数图像：
K(d,s)函数图像：
五. 消融实验
不同k值的对比试验：
使用RefineDet在OBB检测中不同损失函数的对比：
使用SSD在BB检测中不同损失函数的对比。
在Retail50K数据集和HRSC上的性能对比。
DOTA数据集上的性能对比。
