由Katie Driggs-Campbell教授领导的美国伊利诺伊大学香槟分校和斯坦福大学的一个研究小组最近开发了一种新的基于深度强化学习的方法，可以提高移动机器人安全导航拥挤空间的能力。他们的方法，在一篇预先发表在arXiv上的论文中介绍，是基于利用机器人周围的人作为潜在障碍物指标的想法。

进行这项研究的研究人员之一Masha Itkina告诉说："我们的论文建立在'人作为传感器'的研究方向上，用于在有遮挡物的情况下进行测绘。关键的见解是，我们可以通过观察人类的互动行为对环境进行空间推断，从而将人作为传感器。例如，如果我们观察到一个司机急刹车，我们可以推断出一个行人可能已经跑到了该司机前面的路上。"

利用人和他们的互动行为来估计是否存在被遮挡的障碍物的想法是由Afolabi等人在2018年首次提出的，特别是在自动驾驶汽车方面。在之前的工作中，Itkina和她的同事在该小组的努力基础上，将 "人作为传感器 "的想法进行了概括，以便考虑到多个被观察到的人类驾驶员，而不是单一的驾驶员（如Afolabi团队的方法所考虑的）。

为了做到这一点，他们为自主车辆周围的所有不同司机开发了一个 "传感器 "模型。这些模型中的每一个都将驾驶员的轨迹映射到驾驶员前方环境的占用率网格表示。随后，利用传感器融合技术，这些占用率估计被纳入自主机器人的地图。

Itkina说："在我们最近的论文中，我们通过在强化学习管道中考虑闭塞推断来完成这一循环。我们的目的是证明闭塞推断对下游路径规划器是有益的，特别是当空间表示是任务感知的。为了实现这一目标，我们构建了一个端到端的架构，同时学习推断闭塞，并输出一个成功和安全地到达目标的策略。"

以前开发的大多数将人视为传感器的模型是专门为在城市环境中实施而设计的，以提高自主车辆的安全性。另一方面，新模型的设计是为了提高移动机器人在人群中的导航能力。

对于自主系统来说，人群导航任务通常比城市驾驶任务更加困难，因为人类在人群中的行为不太有条理，因此更加不可预测。研究人员决定使用一个深度强化学习模型来解决这些任务，该模型集成了一个由变异自动编码器（VAE）学习的闭塞感知的潜在空间。

这项研究的第一作者Ye-Ji Mun告诉TechXplore说："我们首先在局部占用网格图中表示机器人的周围环境，这很像机器人周围障碍物的鸟瞰图或俯视图。这种占位网格图使我们能够在网格区域内捕捉丰富的互动行为，而不考虑物体和人的数量或大小和形状。"

研究人员的模型包括一个闭塞推理模块，该模块经过训练可以提取观察到的社会行为，例如从收集到的地图输入序列中放慢速度或转弯以避免碰撞。随后，它使用这些信息来预测被遮挡的物体或代理人可能位于何处，并使用VAE架构将这种 "增强的感知信息 "编码到低维的潜在表示中。

Mun解释说："由于我们的闭塞推理模块只提供了对周围人类代理人的部分观察，我们还有一个监督者模型，其潜在向量在训练期间对观察到的和闭塞的人类代理人的空间位置进行编码。通过将我们的闭塞模块的潜空间与监督者模型的潜空间相匹配，我们通过将观察到的社会行为与被闭塞的人类代理的空间位置联系起来，增强了感知信息。"

由此产生的闭塞感知潜在表征最终被送入一个深度强化学习框架，鼓励机器人在完成任务的同时主动避免碰撞。Itkina、Mun和他们的同事在一系列的实验中测试了他们的模型，包括在模拟环境和现实世界中，使用移动机器人Turtlebot 2i。

Mun说："我们成功地实现了'人作为传感器'的概念，以增强有限的机器人感知力，并进行遮挡感知的人群导航"我们证明了我们的闭塞感知策略比有限视角导航实现了更好的导航性能（即更好的避免碰撞和更平滑的导航路径），并与全知视角导航相媲美。据我们所知，这项工作是第一个将社会遮挡推理用于人群导航的工作。"

在他们的测试中，Itkina、Mun和他们的同事还发现，他们的模型产生了不完美的地图，其中不包含观察到的代理人和估计的代理人的确切位置。相反，他们的模块学会了专注于估计附近的'关键代理'的位置，这些代理可能被遮挡，并可能阻挡机器人走向所需位置的路径。

Mun说："这一结果意味着，在一个部分可观察的、拥挤的环境中，完整的地图不一定是更好的导航地图，而是专注于少数有潜在危险的代理人更为重要。“

这个研究小组收集的初步结果是非常有希望的，因为它们强调了他们的方法在减少机器人在拥挤环境中与障碍物的碰撞方面的潜力。在未来，他们的模型可以在现有的和新开发的移动机器人上实施，这些机器人被设计用来导航商场、机场、办公室和其他拥挤的环境。

Itkina补充说："这项工作的主要动机是捕捉在人类周围导航时类似人类的直觉，特别是在遮挡的环境中。我们希望更深入地研究捕捉人类的洞察力，以提高机器人的能力。具体来说，我们对如何同时对环境进行预测和推断闭塞情况感兴趣，因为这两项任务的输入都涉及对人类行为的历史观察。我们也在思考这些想法如何能够转移到不同的环境中，如仓库和辅助机器人技术。”