IROS2022 | 毫米波雷达和相机融合在高分辨率和远距离深度成像中的探索

公众号【自动驾驶之心】后台回复‘毫米波视觉融合’获取论文！本文寻求一种解决方案，用于从单个有利位置（例如杆式平台）在扩展范围（高达300米）上以高精度（几十厘米）对此类感兴趣目标进行深度成像。不幸的是，使用相机、激光雷达和雷达孤立进行深度成像的丰富文献难以满足现实条件下的这些严格要求。本文提出了Metamoran解决方案，该解决方案通过融合两种互补技术（毫米波雷达和相机）的优势，探索感兴趣目标的远程深度成像。与相机不同，毫米波雷达即使在很长的距离也能提供出色的厘米级深度分辨率。然而，它们的角分辨率至少比相机系统差10倍，融合这两种模式是很自然的，但在高杂波和远距离的场景中，雷达反射很弱，会出现伪影。Metamoran的核心贡献是利用相机图像的图像分割和单眼深度估计来帮助分离雷达并发现真实的物体反射。我们对Metamoran在400种不同场景中的深度成像能力进行了详细评估。评估表明，Metamoran估计的静止物体深度可达90米，移动物体深度可达305米，中值误差为28厘米，比原始雷达+相机基线提高了13倍，比单目深度估计提高了23倍。