分享一篇来自 CVPR 的文章,ACTION-Net: Multipath Excitation for Action Recognition。作者单位:都柏林圣三一大学,字节跳动 AI Lab。
论文中提出一个即插即用的混合注意力机制的 ACTION 模块用于时序动作识别 (比如手势)。该模块包含了时空注意力,信道注意力和运动注意力。
详细信息如下:
论文链接:/abs/2103.07372
项目链接:/V-Sense/ACTION-Net
01
三个注意力机制模块
时空注意力 (Spatial-Temporal Excitation: STE):通过对所有信道做一个global average pooling,能够用一个单信道的3x3x3的3D卷积得到一个单信道的时空attention map,这使得能够用非常小的计算量来得到一个时空attention map。用这个attention map再点乘输入的feature得到相对应被时空信息激发的特征。
信道注意力 (Channel Excitation: CE):这个block是基于SE-Net的SE block。但因为视频动作中含有时序信息,所以在信道的squeeze和unsqueeze之间插入了1D在时域上的卷积来增强信道在时域上的相互依赖程度。和SE一样,可以得到一个基于信道的attention map。和STE一样,用得到的 attention map 点乘输入的feature的信道激发特征。
运动注意力 (Motion Excitation: ME):ME在之前的工作如STM和TEA都有采用。主要是描述每相邻两帧之间动作的移动,这一点和optical flow很像。采用和之前工作中的ME结构并把它作为一个分支和之前提到两个block并联得到ACTION模块。
02
ACTION模块
ACTION模块是由以上提到的三个注意力模块并联而成。这个模块和之前的工作TSM一样,即插即用。在和state-of-the-art的方法比较中,backbone采用了和之前工作相同的ResNet-50作为比较。同时,以TSN和TSM为baseline测试了ACTION在不同backbone (ResNet-50, MobileNet V2, BN-Inception) 上的性能。
03
Experiments
实验分别用了三个侧重于时序动作的视频数据集: Something-Something V2, Jester, EgoGesture 来测试提出的 ACTION 模块。
3.1Comparison to State-of-the-Art
从下表中可以看出 ACTION 在 Jester 和 EgoGesture 上面的表现还是十分优越的,都取得了 state-of-the-art 的效果。在 Something V2 的数据集上面相比较 STM 和 TEA 也取得了很相近的效果。
但值得注意的是,STM 和 TEA 都是分别针对于 ResNet 和 Res2Net 设计的,而 ACTION 是一个即插即用的模块,不会受限于 backbone 种类。据悉作者会在之后展示在 MobileNet V2 和 BN-Inception 上的效果。
3.2Ablation Studies
不同 path 增加的计算量,参数以及效果提升
ACTION 模块在不同 backbone 相较于 baseline 的一个效果提升
ACTION 模块在不同 backbone 上对于不同数据集的一个效率
定义了一个效率系数来量化 ACTION 模块相对于 TSM 每提高 1% 的 Top-1 准确率所需增加的额外计算量。越低代表效率越高。下图展示了 ACTION在三个不同数据集上对于三个 backbone 的效率。可以看到 ACTION 在MobileNet V2 上的效率最为明显。类似的,在 Something-Something V2 上的效率相较于另外两个数据集要高。
备注:人体
人体动作检测与识别交流群
动作识别、动作检测等技术,
若已为CV君其他账号好友请直接私信。
在看,让更多人看到