封面文章|卢荣胜,史艳琼,胡海兵. 机器人视觉三维成像技术综述[J]. 激光与光电子学进展, 2020, 57(4): 040001.

在智能制造过程中，通过传统的编程来执行某一特定动作的机器人，越来越难以满足制造业向前发展的需求。在很多应用场合下，需要为工业机器人安装一双眼睛，即机器人视觉成像感知系统，使机器人具备识别、分析、处理等更高级的功能，可以正确对目标场景的状态进行判断与分析，做到灵活地自行解决发生的问题。

视觉成像的一个重要特点是从图像中获取目标的信息，可分为二维和三维视觉成像两种形式。

二维视觉技术主要根据灰度或彩色图像中的像素灰度特征获取目标中的有用信息，以及基于轮廓的图案匹配驱动，识别物体的纹理、形状、位置、尺寸和方向等。但二维视觉技术难以实现三维高精度测量与定位，且二维形状测量的一致性和稳定性也较差，易受照明条件等影响，二维机器视觉技术的局限性已经显现，因此迫切需要发展三维视觉技术。

三维视觉技术能够产生二维视觉不能产生的形状或深度信息，且计算机技术、并行处理、人工智能、神经元网络和深度学习等学科的快速发展，也促进了对机器人视觉成像系统与复杂视觉过程的深入研究，为三维视觉成像技术研究及应用奠定了良好的基础。

在智能制造领域，机器人视觉主要被用来代替人工视觉和拓展人工视觉的功能，高效、快速、准确地完成测量、检测、识别、定位等任务，而这些任务的实现都是基于二维或三维视觉成像完成的。合肥工业大学卢荣胜教授课题组针对智能制造领域机器人视觉感知中的三维视觉成像技术进行了综述，系统地总结了一些有代表性的机器人视觉成像方法的特点，探究了机器人三维视觉成像技术的发展趋势。

机器人视觉成像的结构形式

机器人视觉系统的主要功能是模拟人眼视觉成像与人脑智能判断和决策功能，采用图像传感技术获取目标对象的信息，通过对图像信息提取、处理并理解，最终用于机器人系统对目标实施测量、检测、识别与定位等任务，或用于机械人自身的伺服控制。

在工业应用领域，最具有代表性的机器人视觉系统就是机器人手眼系统。

根据成像单元安装方式不同，机器人手眼系统分为两大类：固定成像眼看手系统（Eye-to-Hand）与随动成像眼在手系统(Eye-in-Hand, or Hand-eye)，如下图1所示。

图 1   两种机器人手眼系统的结构形式，(a)眼在手机器人系统，（b）眼看手机器人系统

在固定成像眼看手系统中，视觉成像单元安装在机器人本体外的固定位置，在机器人工作过程中不随机器人一起运动，当机器人或目标运动到机械臂可操作的范围时，机械臂在视觉感知信息的反馈控制下，向目标移动，对目标进行精准操控。固定成像眼看手系统的优点是具有全局视场，标定与控制简单，抗震性能好，姿态估计稳定等。但分辨率低，容易产生较大的定位误差和遮挡问题。

在随动成像眼在手系统中，成像单元安装在机器人手臂末端，随机器人一起运动。随动成像眼在手系统常用于在限视场内操控目标，优点是空间分辨率高，不会像固定成像眼看手系统那样产生机械臂遮挡成像视场问题，缺点是成像单元单次视场有限。

有些应用场合，为了更好地发挥机器人手眼系统的性能，充分利用固定成像眼看手系统全局视场和随动成像眼在手系统局部视场高分辨率和高精度的性能，可采用两者混合协同模式，如用固定成像眼看手系统负责机器人的定位，使用随动成像眼在手系统负责机器人的定向；或者利用固定成像眼看手系统估计机器人相对目标的方位，利用随动成像眼在手系统负责目标姿态的高精度估计等，如图2所示。

图 2   机器人协同视觉系统原理图

机器人视觉三维成像方法

3D视觉成像可分为光学和非光学成像方法。目前应用最多的还是光学方法，其包括：飞行时间法、激光扫描法、激光投影成像、立体视觉成像等。

飞行时间3D成像

飞行时间（TOF）相机每个像素利用光飞行的时间差来获取物体的深度。目前已经有飞行时间面阵相机商业化产品，如Mesa Imaging AG SR-4000， PMD Technologies Cam Cube 3.0，微软Kinect V2等。

TOF成像可用于大视野、远距离、低精度、低成本的3D图像采集，其特点是：检测速度快、视野范围较大、工作距离远、价格便宜，但精度低，易受环境光的干扰。例如Camcueb3.0具有可靠的深度精度（<3mm @ 4m)，每个像素对应一个3D数据。

扫描3D成像

扫描3D成像方法可分为扫描测距、主动三角法、色散共焦法。扫描测距是利用一条准直光束通过1D测距扫描整个目标表面实现3D测量的。主动三角法是基于三角测量原理，利用准直光束、一条或多条平面光束扫描目标表面完成3D成像，如图3所示。色散共焦通过分析反射光束的光谱，获得对应光谱光的聚集位置， 如图4所示。

图 3   线结构光扫描三维点云生成示意图

图 4   色散共焦扫描三维成像示意图

扫描3D成像的最大优点是测量精度高。其中色散共焦法还有其它方法难以比拟的优点，如非常适合测量透明物体、高反与光滑表面的物体。但缺点是速度慢、效率低；用于机械手臂末端时，可实现高精度3D测量，但不适合机械手臂实时3D引导与定位，因此应用场合有限。另外主动三角扫描在测量复杂结构面形时容易产生遮挡，需要通过合理规划末端路径与姿态来解决。

结构光投影3D成像

结构光投影三维成像目前是机器人3D视觉感知的主要方式。

结构光成像系统是由若干个投影仪和相机组成，常用的结构形式有：单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、单相机-双投影仪和单相机-多投影仪等。结构光投影三维成像的基本工作原理是：投影仪向目标物体投射特定的结构光照明图案，由相机摄取被目标调制后的图像，再通过图像处理和视觉模型求出目标物体的三维信息。

根据结构光投影次数划分，结构光投影三维成像可以分成单次投影3D和多次投影3D方法。

单次投影3D主要采用空间复用编码和频率复用编码形式实现。由于单次投影曝光和成像时间短，抗振动性能好，适合运动物体的3D成像，如机器人实时运动引导，手眼机器人对生产线上连续运动产品进行抓取等操作。但是深度垂直方向上的空间分辨率受到目标视场、镜头倍率和相机像素等因素的影响，大视场情况下不容易提升。

多次投影3D具有较高空间分辨率，能有效地解决表面斜率阶跃变化和空洞等问题。不足之处在于：1）对于连续相移投影方法，3D重构的精度容易受到投影仪、相机的非线性和环境变化的影响；2）抗振动性能差，不合适测量连续运动的物体；3）在Eye-in-Hand视觉导引系统中，机械臂不易在连续运动时进行3D成像和引导；4）实时性差，不过随着投影仪投射频率和CCD/CMOS图像传感器采集速度的提高，多次投影方法实时3D成像的性能也在逐步改进。

对于粗糙表面，结构光可以直接投射到物体表面进行视觉成像；但对于大反射率光滑表面和镜面物体3D成像，结构光投影不能直接投射到被成像表面，需要借助镜面偏折法。

偏折法对于复杂面型的测量，通常需要借助多次投影方法，因此具有多次投影方法相同的缺点。另外偏折法对曲率变化大的表面测量有一定的难度，因为条纹偏折后反射角的变化率是被测表面曲率变化率的2倍，因此对被测物体表面的曲率变化比较敏感，很容易产生遮挡难题。

立体视觉3D成像

立体视觉字面意思是用一只眼睛或两只眼睛感知三维结构，一般情况下是指从不同的视点获取两幅或多幅图像重构目标物体3D结构或深度信息，如图5所示。

图 5  立体视觉三维成像示意图

立体视觉可分为被动和主动两种形式。

被动视觉成像只依赖相机接收到的由目标场景产生的光辐射信息，该辐射信息通过2D图像像素灰度值进行度量。被动视觉常用于特定条件下的3D成像场合，如室内、目标场景光辐射动态范围不大和无遮挡；场景表面非光滑，且纹理清晰，容易通过立体匹配寻找匹配点；或者像大多数工业零部件，几何规则明显，控制点比较容易确定等。

主动立体视觉是利用光调制（如编码结构光、激光调制等）照射目标场景，对目标场景表面的点进行编码标记，然后对获取的场景图像进行解码，以便可靠地求得图像之间的匹配点，再通过三角法求解场景的3D结构。主动立体视觉的优点是抗干扰性能强、对环境要求不高（如通过带通滤波消除环境光干扰），3D测量精度、重复性和可靠性高；缺点是对于结构复杂的场景容易产生遮挡问题。

性能比较

1. 类似于飞行时间相机、光场相机这类的相机，可以归类为单相机3D成像范围，它们体积小，实时性好，适合随动成像眼在手系统执行3D测量、定位和实时引导。但是，飞行时间相机、光场相机短期内还难以用来构建普通的随动成像眼在手系统，主要原因如下：

1）飞行时间相机空间分辨率和3D精度低，不适合高精度测量、定位与引导。

2）对于光场相机，目前商业化的工业级产品只有为数不多的几家，如德国Raytrix，虽然性能较好，空间分率和精度适中，但价格贵，使用成本太高。

图 6   随动成像眼在手系统机器人3D视觉成像优选方案

2. 结构光投影3D系统，精度和成本适中，有相当好的应用市场前景。它由若干个相机-投影仪组成的，如果把投影仪当作一个逆向的相机，可以认为该系统是一个双目或多目3D三角测量系统。

3. 被动立体视觉3D成像，目前在工业领域也得到较好应用，但应用场合有限。因为单目立体视觉实现有难度，双目和多目立体视觉要求目标物体纹理或几何特征清晰。

4. 结构光投影3D、双目立体视觉3D都存在下列缺点：体积较大，容易产生遮挡。针对这个问题虽然可以增加投影仪或相机覆盖被遮挡的区域，但会增加成像系统的体积，减少在Eye-in-Hand系统中应用的灵活性。

总结

虽然光学3D视觉成像测量方法种类繁多，但能够安装在工业机器人上，组成一种合适的随动成像眼在手系统，对位置变动的目标执行3D成像测量、引导机器人手臂准确定位和实施精准操作的方法有限。因为从工业应用的角度来说，我们更关心的是3D视觉传感器的精度、速度、体积与重量。鉴于机器人末端能够承受的端载荷有限，允许传感器占用的空间有限，传感器在满足成像精度的条件下，重量越轻体积越小也就越实用。所以，对于随动成像眼在手系统，最佳3D成像方法是采用被动单目（单相机）3D成像方法，这样不仅体积小、重量轻，也解决了双目和多目多视图遮挡难题。

课题组介绍

合肥工业大学卢荣胜教授科研团队20多年来主要从事机器视觉与光学测量技术研究，主要研究方向包括：三维机器视觉及其应用、自动光学检测技术、变形应变光学全场测量技术、光学微纳测量技术、数字图像处理及应用等。重点聚焦于机器视觉在人工智能、集成电路、机器人、平板显示、手机、新能源、汽车等行业，开展机器视觉应用基础和工程技术应用研究。

主持承担的主要科研项目有：国家重大科学仪器专项“平板显示屏自动光学检测仪器开发与应用”，国家重点研发计划“三维光学传感器及图像数据采集关键技术”，国家科技支撑项目“材料微纳结构机械力学性能测量技术的研究”、国家863专项“精密组装生产线的高速高精度视觉在线检测技术”，国家自然科学基金项目“提高相移条纹投影三维测量精度的主值相位反向误差补偿法”等国家级和省部级项目20余项，产学研合作项目几十项，项目总经费1亿多元。在机器视觉领域已经培养博士和硕士研究生100余人。

课题组合影