集员法对3D激光雷达和相机的外部校准

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera

作者：Raphael Voges and Bernardo Wagner

来源：IROS 2020

编译：姚瀚晨

审核：wyc

转载：泡泡机器人SLAM

摘要

大家好，今天为大家带来的文章是—— 集员法对3D激光雷达和相机的外部校准（Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera）。

• 这篇文章与传感器的融合相关，主要介绍了3D激光雷达和相机校准时候是如何考虑不同传感器之间的误差的；

• 为了融合来自3D激光雷达和相机的信息，需要知道传感器坐标系之间的外部校准。

传统的外部校准方案有三个缺点：

1. 传统的校准方法忽略了传感器误差，导致了校准失真；

2. 传统的校准方法假设了初始平均误差为0，默认传感器每次测量接近真实值，这种假设常常失效。例如，激光雷达入射角和反射率带来的误差，可能会导致激光雷达偏移的情形；

3. 传统的校准方法不能评估提取特征的准确性，因此不能在外部校准的时候不能通过调整特征的权重提高准确性。

本文创新点：

1. 提出了一种基于图像的检测方法，该方法将YOLOv3架构扩展为具有3D质心损失和中级特征融合，以利用这两种方式的互补信息；

2. 介绍基于间距的方法（interval-based approaches）来提取图像和激光点云的相应特征；

3. 利用间距的特征设定约束满足问题（Constraint Satisfaction Problem, CSP），在仿真和实验中验证了准确性。

贡献

1. 提出了一种基于图像的检测方法，该方法将YOLOv3架构扩展为具有3D质心损失和中级特征融合，以利用这两种方式的互补信息；

2. 介绍基于间距的方法（interval-based approaches）来提取图像和激光点云的相应特征；

3. 利用间距的特征设定约束满足问题（Constraint Satisfaction Problem, CSP），在仿真和实验中验证了准确性。

方法介绍

如图1所示，间隔向量（interval vectors）形成了一个框（scan box），包围了实际测量的一些点集。通过使用扫描框，可以得到平面的垂直矢量（plane normal vector）、边界线的矢量（line direction vectors）、标定棋盘的四个角上的点（corner boxes）。

图1：本文的方法概述。为了找到外部校准，如旋转矩阵R和转换向量t，在间距不确定的情况下，相机和3D激光雷达之间寻找点、线、面特征。

传感器误差模型

A.相机模型：

我们采用OpenCV库中包含的方法，用于检测相机图像中的棋盘角。因此，我们使用的原始测量是图像中的像素点。然后，针孔相机模型用于找到指向棋盘角的方向的3D向量。

不能完全检测到角的原因：

1. 相机具有有限的分辨率，因此必须将模拟信号（即实际场景）离散地分为像素；

2. 图像模糊，例如检测对象未处于适当的聚焦；

3. 图像传感器受到损坏，每个像素的各个颜色通道产生了噪声，从而在角检测期间再次导致误差。

图2：检测到棋盘角（绿色点）的棋盘的示例图。各种误差源导致检测不准确（红色点）。因此，我们应用了我们的界限误差模型，来包裹真实特征的蓝色边框。

B.激光雷达模型：

由于激光雷达的激光光束和表面入射角受到传感器的环境（温度，湿度等）的影响，实际测量通常产生误差。由于无法预测此系统错误，因此无法使用已建立的随机误差模型进行建模。测量点的实际位置是不确定的，并且可以是激光光束扫描的任何位置。因此，选择基于间距的模型来考虑这种不确定性。

图3：3D盒[P]的可视化由未知但是界面的误差为球形坐标R，θ和φ产生的误差。3D盒可以保证覆盖实际测量的点P *和原始测量的点P。

主要结果

我们使用Gazebo 和实际数据生成的模拟数据来评估我们的方法。此外，将我们的方法与最先进算法进行了比较。然而，直接比较是不合适的，因为他们的方法的目标是找到最好的点值结果（point-valued result），而我们的方法旨在封闭真实的解决方案并同时表明计算的不确定性。

A.仿真数据

选择尺寸为100×76厘米的标定棋盘，其中，棋盘距离多传感器系统大约2.5米。模拟相机的像素误差遵循高斯分布，平均值为0，标准偏差为0.01。这导致相机校准期间0.3 px的最大角度检测误差。模拟3D激光雷达的型号是Velodyne VLP16。球形坐标的误差遵循均匀的分布，无需任何异常值。

首先，我们显示从一个标定棋盘姿态计算的转换参数的结果。如图所示，我们选择六种不同的棋盘姿态，以显示对不同外部校准参数的影响。

图4：六种不同棋盘姿态的模拟图像。

对于所有六个姿态，我们的方法包含真实的转换参数。然而，转换参数的准确性随着表I中的参数变化。这可以通过标定棋盘的相应姿态来解释。例如，Pose1和Pose5可以通过沿Z轴旋转和平移实现。

表I：图3中的姿势的间距半径

表II显示了相机和激光扫描仪的不同模拟误差的结果。显然，相应地调整传感器误差界限。例如，第二行示出了用于[Δpx] = [-0.4,0.4] px的间隔半径，而其他传感器误差界限保持不变。作为参考，第一行显示出了上面引入和评估的错误界限的结果。表格可以说明我们的方法可以在增加不确定性的情况下处理相机和激光扫描数据的不同误差。

表2：不同模拟误差参数的影响

接下来，展示了系统误差对我们方法的影响。我们使用总共27个棋盘姿态，包括上面所示的六个姿态，在传感器设置周围的旋转空间中均匀分布。

表3：结果显示偏误差测量对我们和最先进的方法的比较

B.真实数据

如图4所示，实验设备包括Velodyne VLP-16 LIDAR，FLIR Grasshopper3相机和100×76cm标定棋盘。相机的分辨率为1920×1200 px。激光雷达LiDAR的垂直角分辨率为2°。此外，LiDAR的旋转速率设定为5Hz，导致水平角分辨率为0.1◦。

图5：用于评估的设备概述。

我们收集了26个不同的棋盘姿势的数据。表IV显示结果。得到的间距结果和仿真结果类似。因此，我们的方法不仅可以使用外在校准并评估其准确性，还可以验证随机方法的结果。

表4：我们和最先进方法的数据结果比较

点击阅读原文， 即可获取本文下载链接。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~