拒绝“华而不实”,轻舟智航仿真系统架构首次揭秘
当前,市面上有许多仿真软件,最流行的是基于游戏引擎开发的仿真软件,这种仿真软件从界面的角度来说是比较好看的,像一个模拟城市,场景很真实。
与这种主流的仿真软件不同,轻舟智航的仿真软件界面很简单的,抛弃了复杂的渲染工作,仅保留了感知结果,包括3D Box和雷达点的叠加。
轻舟智航为什么不利用游戏引擎,造一个好看的模拟城市呢?
轻舟智航的联合创始人汪堃总结了基于游戏引擎开发的仿真系统的三大特点:
第一,在使用游戏引擎的情况下,其本身的图像渲染工作对感知的提升是很有限的,因为其中的渲染效果和真实物体是有一定差别的。
第二,在自动驾驶领域,这种Re-build软件(基于第三方软件开发)是缺乏测试确定性的。仿真软件在自动驾驶领域的重要应用,就是复现某一次的路测效果。但由于这种第三方软件的开发与自动驾驶软件的开发是相互独立的,很难保证其中各个模块的确定性,导致整个仿真软件存在不确定性,最终影响可用性。
第三,基于游戏引擎开发的仿真器会消耗大量额外计算资源做图像渲染,不利于大规模应用,这也影响到本身的实用性。
基于以上考虑,轻舟智航制定了独特的仿真系统。
轻舟智航仿真系统的系统架构可以分为5层:最底层的是轻舟智航自研的Car OS,借助底层的通讯系统来保证模块之间的高效通讯。
Car OS与仿真器是高度整合的系统,核心仿真器及评估器,是基于底层的Car OS接口开发的,能保证仿真系统的确定性。
再往上一层是仿真周边工具链和基础架构,可保证整个数据闭环的有效性,将全部数据高效利用起来;第四层是大规模场景库构建。
最顶层则是分布式系统仿真平台,支持快速、大规模的仿真应用,在短时间内得出正确评估。
轻舟智航的仿真评估器也可以分为5类:第一类是安全性评估器(Safety Evaluator),包含是否碰撞、是否压到路边、是否撞到行人等评估。
第二类是真值评估器(Ground Truth Evaluator),可通过人工标注或自动标注的方式对仿真结果进行检测对比,及时反馈给工程师。
第三类是法规评估(Law Evaluator),指的是根据交通规则进行评估,例如是否闯红灯、是否逆行等;
第四类是舒适度评估(Comfort Evaluator),指是否有急刹等带来不舒适感的等行为。
第五类是状况评估(Stats Evaluator),相对比较底层一些,指根据模块生成的中间结果,进行纵向比较得到评估的结果。
汪堃表示,“我们认为仿真是达到规模化无人驾驶技术的唯一路径。首先,借助仿真及相关工具链,能形成高效的数据测试闭环,支持算法的测试和高效迭代,取代堆人或堆车的方式;其次,只有经过大规模智能仿真验证过的软件,才能够保证安全性和可用性。以一个比喻作为结尾,如果无人驾驶是个赛跑,那么仿真便是助推器,助推完全无人驾驶的实现。”
一镜到底,轻舟智航硅谷“封城”前夜展示无人车真实力
加州“在家隔离”强制执行令发布后的3个小时,对轻舟智航来说是难忘的3个小时。
硅谷时间3月16日下午4点23分,轻舟智航收到加州相关政府发布的正式强制性命令,所有居民必须在家隔离,除非采购食物,就医或者其他紧急情况才允许离开住所,强制性命令于当天午夜12点生效。
这一天,轻舟智航要进行试乘直播活动。
于骞表示,“收到这个通知时,离生效只剩下8个小时,我们没有放弃,而是在第一时间联系了硅谷风险投资BoomingStar Ventures管理合伙人Alex Ren作为第三方见证者,在当天晚上7点多紧急录制了路测视频。”
由于时间紧张,轻舟智航只有一次机会,所以接下来的测试视频是一次性录制完成。
本次轻舟智航试乘路线首先将开到一个商业区周边的麦当劳,经过一个汽车穿梭窗口(Drive-through,不必下车即可得到服务的餐馆),随后穿过一个大超市和其停车场,回到公司。
Drive-through 是美国很常见的一种点餐方式,是典型的城市复杂交通环境之一,从技术上角度来看,Drive-through场景也是很有挑战性的。
首先,其车道比单车道更窄,对定位和控制的要求都比较高,如果横向定位和控制不精确,就会轧到路沿或蹭到建筑物,如果纵向不准,就会对不准点餐窗口。
其次,在出口处便是停车场,是非结构化道路,要应对人车混杂的情况,还要通过无保护右转进入道路主路。
最后,更有挑战性的是这里是正常营业的地方,不像开放道路般可以重复进行路测,据悉,轻舟智航通过大量的仿真测试,做到了第一次上路就非常安全可靠。
通过视频来看,Star Ventures管理合伙人Alex Ren乘坐轻舟智航无人车经过一个汽车穿梭餐厅,完成订餐、支付、取餐的全过程,随后,还在一间大型超市周围遇上了由于抢购物资引起的复杂道路场景,但无人车实现了很好的应对。
接下来我们再从仿真角度来看,在真实影像中,我们可看到前方是没有车辆的。
但借助仿真,我们在场景中产生了两辆绿色的虚拟车辆,测试车辆能否对虚拟车辆进行准确的避让。
同样,也产生了黄色框的行人来进行测试,视频中的白色边框则是当时的实际行驶轨迹。
汪堃称,“由于麦当劳这种场景是不允许多次实际测试的,这个视频只是众多例子中的一个,实际上生成了非常多个这种类似的场景,在仿真测试中评估器,都得到不错的结果后,才让车辆到实际场景中测试。”
此外,以上视频也展示了仿真场景库的自动生成的相关工作,视频中红色和绿色的两个点,分别代表两辆车的运动轨迹,这些轨迹的生成和变化,是在真实的交通数据集上,利用深度学习的方法进行训练,再使用训练好的深度神经网络合成大规模的互动车辆的轨迹。
大家可以看到互动车辆的运动轨迹在不断变化,这个变化是由于轻舟智航借助生成模型在互动车辆的运动行为空间进行随机抽样而产生的。
该生成模型支持在不同地图上合成不同的场景库,具有真实有效,多样丰富,以及规模扩展等诸多特性。
视频中的两个点或者两辆车,是具有交互性的,它们之间可以进行正确的互动,这种互动行为不是人工手动创制,而是从真实车与车之间的互动数据中通过深度学习的方法学习而来的。
关于轻舟智航:
作为一家年轻的初创公司,轻舟智航的的核心团队成员来自Waymo、特斯拉、Uber ATG、福特、英伟达、Facebook等世界顶级自动驾驶公司和科技公司。
目前在美国硅谷、中国北京、深圳、苏州等多个城市都设有办公室。其联合创始人、CEO于骞是顶尖核心感知算法和地图专家,曾任Waymo感知关键模块的机器学习算法研发负责人,在计算机视觉和机器学习领域拥有十多年经验。
2023-09-13 13:00
2023-08-24 10:35
2023-08-22 01:16
2023-08-21 10:41
2022-11-09 10:45
2022-10-24 18:13
2022-10-21 16:35
2022-05-26 15:59
2022-05-26 15:54
2022-05-26 15:26