摘要
最近关于移动网络设计的研究已经证明了通道注意(例如，挤压和激发注意)对于提升模型性能的显著效果，但是它们通常忽略位置信息，而位置信息对于生成空间选择性注意图是重要的。本文提出了一种新的移动网络注意机制，将位置信息嵌入到信道注意中，我们称之为“协同注意”。与通过2D全局汇集将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个1D特征编码过程，这两个过程分别沿两个空间方向聚集特征。以这种方式，可以沿着一个空间方向捕获长程相关性，同时可以沿着另一个空间方向保留精确的位置信息。然后，所得到的特征图被分别编码成一对方向感知和位置敏感的注意力图，该注意力图可以互补地应用于输入特征图，以增强感兴趣对象的表示。我们的协同注意很简单，可以灵活地插入到经典的移动网络中，如MobiLe v2、MobileNeXt和Factory Net，几乎没有计算开销。大量实验表明，我们的协同注意不仅有利于图像网的分类，更有趣的是，在下游任务中表现更好，如对象检测和语义分割。
工作介绍
考虑到移动网络有限的计算能力，迄今为止，移动网络最流行的注意力机制仍然是挤压和激发(SE)注意力[18]。它在2D全局池的帮助下计算通道关注度，并以相当低的计算成本提供显著的性能提升。然而，SE的注意力只考虑通道间信息的编码，而忽略了位置信息的重要性，这对于在视觉任务中捕捉对象结构至关重要[42]。后来的工作，如BAM [30]和CBAM [44]，试图通过减少输入张量的通道维数来利用位置信息，然后使用卷积计算空间注意力，如图2(b)所示。然而，卷积只能捕捉局部关系，但无法对视觉任务所必需的长期依赖性进行建模[48，14]。
具体来说，我们的方法利用两个1D全局汇集操作来分别将沿垂直和水平方向的输入要素聚合成两个独立的方向件要素图。然后，这两个嵌入了方向特定信息的特征图被分别编码成两个注意力图，每个注意力图捕捉输入特征图沿一个空间方向的长程相关性。因此，位置信息可以保存在生成的注意力图中。然后，通过乘法将两个注意力图应用于输入特征图，以强调感兴趣的表示。我们将提出的注意力方法命名为坐标注意力，因为它的操作区分空间方向(即坐标)并生成坐标感知注意力图。
我们的协调关注提供了以下优势。首先，它不仅捕获跨通道信息，还捕获方向感知和位置敏感信息，这有助于模型更准确地定位和识别感兴趣的对象。其次，我们的方法灵活且重量轻，可以很容易地插入到移动网络的经典构建块中，例如MobileNetV2 [34]中提出的反向剩余块和MobileNeXt [49]中提出的沙漏块，以通过强调信息表示来增强特征。第三，作为一个预训练模型，我们的协同注意力可以给移动网络的下游任务带来显著的性能提升，特别是对于那些具有密集预测(例如，语义分割)的任务，这将在我们的实验部分中展示。
