毫米波雷达-视觉融合感知方法（前融合/特征级融合/数据级融合）
分享一个自动驾驶之心的报告：毫米波雷达与视觉融合目标检测。
作者主页为：/people/nacayu
文章目录
1. 毫米波雷达与相机融合检测背景2. 主流融合方法3. 其它领域应用简介4. 未来机遇与挑战1. 毫米波雷达与相机融合检测背景
毫米波雷达显著特性有：可以测量目标的位置、速度、角度，此外毫米波雷达能够全天候全天时工作，受天气影响较小。
下面是毫米波雷达工作原理，原始的毫米波雷达数据是RDA数据块，分别表示距离、多普勒和角度，但在实际使用中往往得到的是点云数据。
下面是毫米波雷达和激光雷达的对比：
毫米波雷达得到的点云是很稀疏的，同时是不均匀的；而激光雷达是稠密且均匀的；同时激光雷达和毫米波雷达发射方式也不同，激光雷达是射线发射，毫米波雷达是锥形发射；数据格式也完全不同，毫米波除了位置信息，还有RCS和速度信息，而激光雷达只能得到物体形状信息；
2. 主流融合方法
首先介绍多传感器融合的必要性，以及由此而引入的问题。
下面是不同融合方式的优劣势对比及代表工作，RadSegNet是一个用于做3D检测的代表性工作。
这里会重点介绍下面三个红字标出的方法。
首先是CRFNet，这里也给出了复现代码。
第二个就是CenterFusion，很经典的一个融合工作。
第3个工作是CRAFT。
下面是特征融合的总结：
如何选择适合Radar的特征表示形式，point表征，voxel表征还是proposal表征等；激光雷达中的特征提取方法能否迁移到Radar中，二者都可以看作是点云数据；如何高效的关联两个模态的数据；Radar表征能力不断加强；寻求多阶段的融合方法；引入先验信息；
下面是已有的Radar数据集：
3. 其它领域应用简介
4. 未来机遇与挑战
4D毫米波雷达的兴起未来会促进相机与毫米波雷达的感知能力。之前在两个不同的4D毫米波雷达数据集上进行测试发现，一个数据集中平均每帧4D毫米波雷达会包含330个3D点，一个数据集中平均每帧会返回2700个3D点，点数远远多于传统的3D毫米波雷达，且同时还提供高度信息，无疑会大幅提高二者融合感知能力。
