汽车中搭载双目摄像头

提起“双目摄像头”这个名词，相信很多不了解科技产品的人都会感到陌生，属于单看后半部分认识，全部加起来就不认识了。不过说到“双目摄像头”的应用，相信很多人都不会陌生，如今很火的无人驾驶以及无人机的避障技术上，都出现了它的影子。

很多人会问，手机上也有多摄像头，它们和双目摄像头有什么区别吗？首先，双目摄像头的排列十分有讲究，必须平行排列，而不是像手机一样以美观布局为主，横竖都可以。其次在工作时，双目摄像头的工作原理就像人的双眼一样，属于协同成像的类型。

随着手机影像技术的发展，现在很多产品中出现的ToF景深摄像头，它的作用实际上与双目摄像头的功能相同，都是为了能够精准测距而采用的方案。除此之外，苹果在iPad Pro2020款上应用的LiDAR（激光雷达扫描仪）也是这一用途的硬件。

双目摄像头的优势是什么？

无人机上应用的双目摄像头

从功能划分上来看，双目摄像头所归属的类别应该是3D摄像头，与2D摄像头最大的区别是，3D摄像头除了能够获取平面图像以外，还可以获得拍摄对象的深度信息，即三维的位置及尺寸信息。

我们日常中所用到的人脸识别、手势识别、人体骨架识别、三维测量、环境感知以及三维地图重建等功能是基于3D摄像头而实现的。如果想要更简单的理解双目摄像头，那就可以把它理解为人类的双眼。

大家不妨尝试一下，闭上一只眼睛，判断周围的物品距离、高矮与双目同时观看时的差异性。这种双目立体成像的能力就是双目摄像头所期望达到的效果，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

扫地机器人采用的双目摄像头

石头科技(386.800, -1.19, -0.31%)在其最新产品T7 PRO中搭载了在扫地机器人品类中首发的双目摄像头系统。3D的属性加持就使得其对周围环境感知的能力相较于传统的扫地机器人产品有了新的提升。之前的扫地机器人就像一个地图扫描机，通过顶部的激光雷达扫描生成地图。

从本质上来说，一个凳子、一个鞋盒，它们在地图上标注只有长宽的差异，机器人并没有更加具体的识别能力。前面也说到了，市面上也有其他的3D摄像头技术，比如ToF或者结构光的3D摄像头产品，从产品匹配度上来说，ToF摄像头也很适合扫地机器人的应用，因为它对于景深的响应速度非常快，但是它的问题是景深计算较强但识别能力较差，对于物体的可感知分辨率较低。

手机中搭载的ToF摄像头

换句话说，ToF景深摄像头加入扫地机器人，那么可以让扫地机器人顶部的激光雷达系统负荷减轻，同时也可以做到减少对边缘的碰撞，但是它不会判断哪些物体应该绕过，哪些物体应该穿过，更难具备识别具体形态识别的能力。

比如特斯拉在汽车中应用的双目摄像头系统，不仅可以判断周围车辆的距离、车速等信息，还可以判断车辆体积以及高度，同时作为分辨人、狗、车等物体的重要硬件基础。石头科技在扫地机器人中应用这一技术，将其扫地机器人从过去的“靠撞、靠平面地图”进化为拥有自己的视觉判断。

扫地机器人中加入双目识别，改变了什么？

顶部的LDS雷达

针对双目摄像头的产品落地，钛媒体也与石头科技的技术负责人进行了沟通。据他介绍，该技术的立项已有一年多时间，由石头科技在上海的人工智能部门牵头研发，在整个系统的落地过程中主要涉及的难点有两个：一个是对于AI双目识别系统的训练、另一个则是双目立体成像与激光雷达如何相互协同。

AI双目避障系统中，双目摄像头只是基础硬件之一，在扫地机器人上还需要芯片提供算力支持，同时云端与本地还要有大量的学习数据与已知模型。算力支持方面，石头科技T7 PRO搭载了高通骁龙8核处理器APQ8053，其算力水平几乎相当于手机中采用的骁龙625 SoC，这就为其对环境和物品的识别、策略/路径选用以及功能升级提供了强有力的支持能力。

目前T7 PRO可以提供6类物品的识别，可以在App中查看对屋内的物品识别以及它所在的位置，6类物品包括体重秤、风扇底座、鞋子、插线板、线团和宠物粪便。看起来6类物品并不多，但是在其背后的数据学习数量并不小，单个物品的图片学习张数就要达到上万张。