700字范文 > 【论文笔记】DARDet: A Dense Anchor-free Rotated Object Detector in Aerial Images

【论文笔记】DARDet: A Dense Anchor-free Rotated Object Detector in Aerial Images

时间：2021-12-24 22:13:56

摘要1. 介绍2. 主要方法2.1 总体结构特征提取模型DARDet头2.2 对齐卷积模块(Alignment Convolution Module)2.3 PIoU Loss3 实验部分3.1 数据集3.2 环境设置3.3 消融试验（DOTA数据集）3.4 与SOTA的对比

DARDet论文链接

DARDet代码链接

PIoU Loss 发表于ECCV的一篇论文

PIoU Loss代码和Retail50K新零售商品检测数据集

中文：航空影像中密集的无锚旋转目标探测器

摘要

目的：

解决大多数现有方法严重依赖于大量具有不同比例、角度和纵横比的预定义锚，并在距离损失的情况下进行优化，这些方法对锚定超参数非常敏感，并且容易因边界不连续而导致性能下降的问题。

数据集：DOTA、HRSC和UCAS-AOD

贡献：

(1)设计了一个新的对齐卷积模块来提取对齐特征

(2)引入PIoU损失来实现精确稳定的回归

1. 介绍

当航空影像的目标具有不同的尺度和长宽比，并且方向任意且密集分布，导致检测任务存在巨大挑战。现有的大多数旋转目标检测方法在一般矩形包围盒目标检测的基础上引入了额外的角度维度，并使用了简单的距离损失。但这些模型对锚定超参数非常敏感，或者容易受到边界不连续问题导致的性能下降的影响。例：RoI Trans、S2A、SCRDet、CSL。无锚检测器可以通过消除预定义的锚盒来避免与锚盒相关的超参数。例如，基于关键点的检测器：BBAVectors、PolarDet、VCSOP，其只为每个带注释的OBB编码一个训练样本，因此训练时间较长。且这些方法中使用的特征与旋转的框不对齐。本研究在VarifocalNet的基础上提出了一个密集的anchor-free的旋转目标检测器

(1)直接预测一个用于OBB编码的五维向量(x′,y′,w′,h′,θ′)(x', y', w', h',\theta ')(x′,y′,w′,h′,θ′)

(2)使用对齐卷积模块(ACM）将特征与OBB对齐

(3)引入PIoU损失解决边界不连续问题

OBB：oriented bounding box，定向目标框，指不限制倾斜角的目标框
HBB：Horizontal bounding box，水平目标框，默认倾斜角度是0

PIOU：Pixels-IoU loss：用像素累加的方法（而不是坐标）近似计算两box的交并集面积
解决的问题：非水平状态的box识别（对比普通的水平目标框），具有很大的长宽比的目标，复杂背景下的OBB识别

2. 主要方法

2.1 总体结构

DARDet由特征提取模型和DARDet头组成。

特征提取模型

特征提取模型：BackBone+FPN

DARDet头

DARDet头由两个子网组成：定位子网和分类子网

定位子网络：

（1）以特征金字塔每一层的特征图为输入，应用三个3×3的协同进化层生成256个通道的特征图。

（2）分别在初始阶段和细化阶段执行OBB回归和后续细化。

（3）定位子网包括两个阶段：

初始阶段：子网应用卷积层为每个空间位置生成5D向量(x′,y′,w′,h′,θ′)(x^{'}, y^{'}, w^{'}, h^{'},\theta^{'})(x′,y′,w′,h′,θ′)，并通过ACM提取对齐的特征

细化阶段：利用对齐特征图生成一个5D的偏差向量(Δx,Δy,Δw,Δh,Δθ)(\Delta x, \Delta y, \Delta w, \Delta h,\Delta \theta)(Δx,Δy,Δw,Δh,Δθ)，然后与初始的OBB位置向量相加，得到优化后的OBB(x,y,w,h,θ)(x, y, w, h,\theta)(x,y,w,h,θ)

（4）PIoU损失用来优化OBB

分类子网络：

（1）用于估计IACS，其架构与本地化子网的细化阶段类似。

（2）输出IACS，一个带有C（类编号）通道的向量，它代表分类置信度和定位精度。

（3）使用Varifocal loss来训练密集旋转目标检测器来预测IACS。

2.2 对齐卷积模块(Alignment Convolution Module)

该模块使用可变形卷积表示法将特征与OBB对齐。

（a）显示了初始阶段。（b）显示细化阶段。

给定特征图上的采样位置（i，j），回归初始OBB向量(x′,y′,w′,h′,θ′)(x^{'}, y^{'}, w^{'}, h^{'},\theta^{'})(x′,y′,w′,h′,θ′)。使用这个初始OBB，我们试探性地选择9个采样点（OBB的4个顶点、4条边的中点和采样位置）。如图1（a）所示。图中的绿点代表9个采样点。然后将这9个定位映射到特征图上，并通过可变形卷积对投影点处的特征进行卷积，以提取对齐的特征，如图3所示。这个新模块的计算效率很高，因为这些点是手动选择的，额外的计算成本可以忽略不计。

2.3 PIoU Loss

和传统的loss相比，OBB（非水平box）多了一个倾斜角的维度，所以无法直接用常见的Loss计算。
从IoU出发，在计算IoU时，需要计算两个box的交集和并集，既然一张图像是由若干像素点构成的，那交并集的区域也可以用其内部的像素点数量近似代替

大多数旋转探测器都存在边界不连续的问题。边界不连续性是指由于边缘的角度和可交换性的周期性，边界处的损耗急剧增加。

边界不连续问题的说明。实线和虚线箭头分别表示正确和错误的回归方式。（a）说明了由于角度的周期性而导致的边界不连续性。（b）显示由可变边引起的边界不连续性。

p(i,j)p(i,j)p(i,j)红点是图像上的一个像素点，ccc是OBB框(图中蓝色box)的中心点，o(i,j)o(i,j)o(i,j)是p到box中心线的垂线的交点，p到o的距离记为d(i,j)hd^{h}_{(i,j)}d(i,j)h，c到t的距离记为d(i,j)wd^{w}_{(i,j)}d(i,j)w。

OBB b（蓝色）和影像中的像素点pi,jp_{i,j}pi,j，使用定义的二元函数来判断二者的相对位置：

即：用一个二元约束关系来判断像素点p是否在OBB框中

用距离dh和dw来判定p是否在box中

公式（1）是不连续不可微分的，可以通过两个核函数相乘近似表示这个二值函数：

核函数K(d,s)K(d,s)K(d,s)定义为：

k是一个可调系数，控制对目标像素p的灵敏度

此时，上述的F函数是连续，可导的，同时也保持了正确的取值趋势。

bbb和b′b^{'}b′面积的交集和并集可以近似计算为:

PIoU的计算方式为：

记(b,b′)(b,b')(b,b′)为一对正结果，b为基于一个正anchor（当一个anchor以0.5+的IoU匹配到一个GTbox时，记为正）的预测框，b′b^{'}b′为匹配到的ground-truth框。M代表所有正样本对的数量。

则PIoU的Loss可以表示为：