基于dota的目标检测(旋转框)|论文阅读Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors
文章目录
基于dota的目标检测(旋转框)|论文阅读Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors1.Introducion2 Approach具体结构剖析:heatmapoffsetBox ParametersOrientation(定向)3 ExperimentsConclusion1.Introducion
本文介绍了基于检测对象的中心关键点并在此基础上回归盒子边界感知向量(BBAVectors)以捕获定向的边界盒子的目标检测方法。
-----------周的CenteNet提出在没有分组过程的情况下回归中心点处的边界框的宽度和高度,本文推测周的CenteNet可以通过学习一个额外的角度θ以及w和h来扩展到面向对象检测任务,但是由于参数w和h是针对每个任意定向的对象在不同的旋转坐标系中测量的,联合学习难度极大
由此受到启发,通过学习盒边界感知向量(BBA矢量)来捕捉对象的旋转边界盒。BBA矢量分布在笛卡尔坐标系的四个象限。
基于本文的方法可以对所有任意定向的物体,学习盒边界感知向量(BBA矢量)来捕捉对象的旋转边界盒【BBA矢量在同一笛卡尔坐标系中测量】
针对矢量非常接近象限的边界,网络将难以区分矢量类型的问题,本文提出把定向包围盒(OBB)分成两类(即水平边界框(HBB)和旋转边界框(RBB)),分别处理。
(a)是基于周的Centernet拓展的基线法,(b)是本文的提出的学习盒边界感知向量的方法。从上图明显可见在检测对象的方位变化,(a)需要建立新的旋转坐标系测量(b)任何物体均处在同一个笛卡尔坐标系
2 Approach
图解:
上图描述的具体过程是:
输入图像进入主干网络顶部,(1)上采样(2)通过一个3 × 3的卷积层对上采样的特征图进行细化热图(P ∈ RK×H s×W s)、偏移(O ∈ R2×H s×W s)、盒参数(B ∈ R10×H s×W s)、方向图(α ∈ R1×H s×W s)(3)特征图与浅层连接,然后通过1 × 1卷积层,在潜在层中使用批量标准化和ReLU激活,最终输出
具体结构剖析:
输入图像通过双线性插值将深层向上采样到与浅层相同的大小,通过跳跃连接将深层和浅层结合起来,通过一个3 × 3的卷积层对上采样的特征图进行细化。然后,细化的特征图与浅层连接,通过1 × 1卷积层,以细化信道特征。在潜在层中使用批量标准化和ReLU激活。
假设一幅输入RGB图像为I ∈ R3×H×W,其中H和W为图像的高度和宽度。然后将输出的特征图X ∈ RC×H s×W s(本文中C = 256)转化为四个分支:热图(P ∈ RK×H s×W s)、偏移(O ∈ R2×H s×W s)、盒参数(B ∈ R10×H s×W s)、方向图(α ∈ R1×H s×W s),其中K为数据集类别数,s = 4为比例尺。该变换由两个3 × 3核的卷积层和256个信道实现。
heatmap
用于检测航空图像中任意方向物体的中心点,通道对应类别数,每个通道的映射通过一个sigmoid函数传递。特定中心点的预测热图值被视为物体检测的置信度。
训练热图时,我们减少了高斯凸起内部点的损失,并使用不同的焦点损失来训练热图,以正负样本不平衡。
p和p指的是地面实况和预测的热图值,I表示特征图上的像素位置,N是对象的数量,α和β是控制每个点的贡献的超参数。我们根据经验选择α = 2和β = 4
offset
从输入图像到输出热图按比例缩小一个点会生成一个浮点数,通过预测偏移图补偿量化的浮动中心点和整数中心点之间的差异
Box Parameters
盒形参数图B ∈ R10×H s×W总共有10个通道,有2 × 4个矢量和2个外部尺寸参数。
Orientation(定向)
为了解决矢量非常接近象限的边界(如C),OBB分为两种类型的框是HBB和RBB,其中RBB涉及除水平边界框之外的所有旋转边界框。我们可以将角点案例转换为水平案例,这样可以轻松处理。当网络遇到拐角情况时,方位类别和外部尺寸,可以帮助网络捕捉准确的OBB,同时附加的外部尺寸参数也丰富了对OBB的描述。
3 Experiments
数据集:DOTA 和HRSC
框架: Pytorch
Table1:
由上表可见BBAVectors+rh在多种不同的情况下均具有鲁棒性
消融实验
BBAVectors+r对应盒参数b = [t,r,b,l],BBAVectors+rh对应盒参数b = [t,r,b,l, we, he, α]
由上图可见,BBAVectors+r很难捕捉到几乎与坐标对齐的边界框。
与基线法对比:
从Table3可以看出,在HRSC和DOTA数据集上,该方法的性能分别比Center+wh+θ好4.82%和2.74%。
Conclusion
提出了一种新的基于盒边界感知向量和中心点检测的面向对象检测方法(单阶段的,锚箱自由)与直接学习定向包围盒的宽度、高度和角度的基线方法相比,捕获定向包围盒方面表现更好基于dota的目标检测(旋转框)论文阅读Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors