01

视觉自主导航技术基本介绍

近年来，无人机在多领域表现出重要应用价值。目前，无人机如何在未知封闭、无辅助导航支撑的环境中，达成“在哪里”和“环境描述”并自主智能地完成特定任务，是一个重要的研究热点方向。

其中，“在哪里”和“环境描述”即无人机的自主定位和环境建图，随着图像处理和计算机视觉技术的发展，一种基于视觉的同时定位和建图技术视觉自主导航，被用于无人机自主定位、导航与建图。该技术使用无人机上搭载的各类视觉传感器获取的环境视觉信息，在一定的处理框架和算法下，不仅能估算UAV自身的位姿，还能实现创建环境地图。

典型的视觉自主导航框架，由传感器数据、前端视觉里程计、后端非线性优化、回环检测、建图等部分组成，如图所示。

（1）传感器数据

传感器信息读取，在视觉SLAM中主要是相机图像信息的读取和预处理。

（2）前端视觉里程计

前端视觉里程计，是利用从相机中获取的图像信息及其之间的关联性，恢复相机的三维运动并获得局部地图样子，是视觉SLAM的核心部分。

（3）后端非线性优化

前端视觉里程计只能给出短时间内的轨迹和地图，无法获得全局地图。后端非线性优化则是在更长时间、更大尺度、更大规模化方面考虑全局地图的优化问题。

（4）回环检测

回环检测可以有效检测出机载相机经过同一地方同一时间的视觉导航信息，从而给出除相邻帧之外更加长期时间跨度上约束。

（5）建图

建图有定位、导航、避障、重建以及交互的作用。常见的地图形式有：稠密地图、半稠密地图、稀疏地图和语义地图。稀疏路标地图建立主要是为了满足定位的需求；稠密地图则是为了满足导航、避障、重建的需要；语义地图主要是地图中加入方便一般人可阅读辨识的标签信息。

02

无人机视觉自主导航的研究方向

（1）组合导航

无人机除了有视觉传感器之外往往还有惯性导航系统，但惯性导航器件具有累积误差，为了弥补以上的缺陷，依靠视觉所提供的实时信息可以将视觉信息和惯性导航信息进行融合，以提高导航精度，视觉惯性视觉里程计(VIO)就是视觉惯性组合导航的一种经典方法。

（2）基于深度学习

随着深度学习在图像处理方面的发展成熟，深度学习越来越多的开始应用于视觉SLAM领域，目前主要有两个方向，分别是用神经网络的方法替换SLAM算法框架中的某个过程模块；或利用深度学习对语义地图的标签进行训练。

（3）缓解特征依赖

目前，无人机视觉自主导航方法最大的局限就是对场景特征的依赖，会对无人机的算力和续航在成巨大的消耗，当环境特征不足或无人机运动引起图像模糊时，视觉导航信息则会起到反向作用。当前多采用的是直接法，即对像素直接操作，这样可减少对特征的依赖，还可以直接构建出半稠密或稠密地图提供给到后续的处理过程。

03

无人机视觉自主导航开发平台

飞思实验室一直关注无人机视觉自主导航方向的前沿发展，并开发一套无人机视觉自主导航开发平台，平台软件功能架构如图所示。硬件部分主要由视觉智能无人机、机载计算机、机载视觉传感器等部分组成。信息交互与任务控制平台：由信息交互程序、避障与路径规划算法、无人机位置导航控制程序等组成。

（1）视觉智能无人机

该款无人机是室内智能飞行器，使用高强度碳纤维和3D打印技术相结合设计制造。载重大，飞行时间长，内部采用激光定高和光流定点，性能优秀，飞行稳定，使用简单，一键起降，主要应用于室内slam导航、视觉跟随、目标识别、人工智能开发等领域。

该款无人机可支持可选搭载以下两个版本配置的视觉类传感器

①T265+S1激光雷达+前视单目+下视单目；

②T265+D435i+前视单目+下视单目；

（2）机载计算机

机/车载计算机为嵌入式AI计算设备提供出色的速度与能效，其处理传感器传回的视觉定位数据，实现辅助飞控计算机完成无人机的高级定位和路径规划等功能。支持系统内视觉算法的验证。

（3）机载视觉传感器

①双目相机（追踪）

该视觉传感器尺寸小、功耗低，采用了专有的V-SLAM视觉技术，可为虚拟现实、机器人和无人机等需要高精度、低延迟追踪解决方案的，应用场景提供强大的支撑基础。

②双目相机

小巧外形中采用英特尔模块和视觉处理器，是一个功能强大的一体产品，可与视觉软件配合使用，是一款能够了解自身运动的深度摄像头。其特点是不仅提供深度传感器模组，还配备了一个IMU单元（惯性测量单元，采用的博世BMI055）。凭借内置的IMU单元，结合视觉数据可实现6DoF追踪。

③激光雷达

该激光雷达，外形小巧，成本低，并采用了非接触式的能量和信号传输技术，可确保长时间可靠稳定运行。

04

多无人机协同的视觉自主导航

近些年，基于无人机的视觉自主导航技术研究已取得许多进展和成果。不过，面向实际场景的应用，往往需要多无人机以集群编队的方式协同完成复杂任务，并进一步对无人机视觉自主导航技术提出应用挑战。

未来发展主要集中的问题有：

（1）数据处理方面。视觉信息数据字节通常就大，而无人机编队集群系统的视觉信息采集特点是同时多个、多种类型，给整个集群系统的数据处理能力带来调整；如何充分地利用数据并实时完成对整个系统的决策控制，是其中的关键。

（2）通信与信息共享方面。基于视觉自主导航的无人机协同的，必然涉及无人机之间的信息数据共享，选择哪些信息、在什么条件下共享给集群中的哪些无人机，以在最低通信资源消耗的情况下，达到最佳的集群任务执行效果，是需要重要考虑的问题。

（3）集群控制方面。多无人机协同集群在执行集群任务时，需根据任务的总体要求，结合无人机视觉自主导航技术的特点，以及每架无人机的功能特点，在不同的任务阶段，选择不同的编队和控制策略，以达到对集群整体最优化控制均是值得重点探索的方向。