“AI司机”如何拿驾照？清华团队量身打造出考题

飞速发展的自动驾驶技术

让汽车迈入“无人之境”的梦想

不再遥不可及

但要想真正实现

自动驾驶汽车的大规模商业化落地

安全测试验证

成为了阻碍行业进一步发展的

阿喀琉斯之踵

无人驾驶汽车

到底是“新手上路”

还是车技稳如“老司机”？

近日

清华大学自动化系智能交通研究团队

助理教授封硕

与美国密西根大学

Mcity主任刘向宏（Henry Liu）

等科研人员

合作研发出一套

全新的安全测试系统

为“AI司机”量身定制出一套

“驾考试题”

这项研究成果以《Dense Reinforcement Learning for Safety Validation of Autonomous Vehicles》（基于密集强化学习的自动驾驶汽车安全性测试）为题发表在《自然》（Nature）正刊，并登上当期封面。

从统计学角度化解“百亿公里”难题

随着自动驾驶技术的发展，当驾驶水平越来越接近人类驾驶员，无人驾驶汽车的安全性能测试变得愈发重要，但同时也更难以开展。封硕表示：“目前业内对此已初步达成了研究共识：亟需解决‘百亿公里’难题。”

什么是“百亿公里”难题？在自动驾驶汽车投入大规模应用前，需要开展大规模的道路测试，从统计学上验证自动驾驶汽车的安全性。据估算，这个测试规模至少要达到百亿公里。从时间、资源与成本上来看，在实际道路上进行测试显然难以实现。这便是当前自动驾驶技术发展所面临的最棘手的问题之一。

“我们所做的就是希望能够加速这个过程，用尽可能少的测试里程等价地去代替这百亿公里的实地测试。”封硕表示。

如何以最小的成本、最高效地找出自动驾驶汽车的安全问题？封硕带领团队从统计学的视角寻找研究切入点。

经验丰富的司机在开车时遇到突发状况，会结合道路情况、附近车辆的反馈，凭借直觉判断并迅速作出反应，那么同样的情况摆在人工智能面前，它该如何作出决策？

“这本质上是一个超高维空间小概率事件的期望估计问题。”封硕解释道，“人机交互的复杂性与道路交通状态的复杂性决定了自动驾驶汽车需要处理超高维空间内发生的各种情况，这是我们面对的‘维度灾难’。而在测试中为了验证安全性，我们需要自动驾驶汽车能够学会处理各种危险状况下的交通事件，由于危险状况往往是小概率事件，所以我们还会面临‘稀疏度灾难’。” 

密集学习方法通过删除非关键状态、连接关键状态来编辑马尔可夫过程，再通过编辑后的马尔可夫过程训练神经网络。

将实际问题从统计学的视角转化为学术问题后，封硕和团队成员从理论层面寻求突破，创造性地提出了密集强化学习方法（Dense Deep Reinforcement Learning，D2RL），通过识别和删除非安全关键状态、连接安全关键状态，并在编辑后的马尔科夫过程中训练神经网络，解决了“稀疏度灾难”。同时利用密集强化学习方法训练交通环境中的背景车辆，构建出一个由自动驾驶汽车和背景车辆组成的智能测试环境，从而实现了模拟环境替代实际道路环境。

“AI验证AI”，为“AI司机”配备“危险陪练”

“通俗来讲，我们的智能测试系统将自动驾驶汽车周围的背景车辆模拟成为一个个智能体，大家有着不同的驾驶目的：自动驾驶汽车希望更安全地行驶，背景车辆希望更好地帮助自动驾驶汽车发现安全问题。这样我们就可以通过改变背景车辆的行为来实现对自动驾驶汽车安全性能的测试，让测试里程大幅减少，让测试过程变得更高效。”封硕形象地将这一过程比喻为“AI司机”寻找“陪练”。

为了让“陪练”更精准有效地提供帮助，研究团队收集到海量人类驾驶数据对“陪练”进行拟人化训练，从而确保测试环境更加贴合人类驾驶环境。同时还通过技术手段增加“陪练”司机的“危险系数”，让它们在行驶过程中表现出更强的侵略性与对抗性，从而增加测试环境的挑战性。

增强现实测试平台可以通过虚拟背景车辆增强现实世界，为自动驾驶汽车提供更安全、更可控、更高效的测试环境。

基于增强现实测试平台，研究团队将经过反复理论推演的研究思路在美国密西根大学Mcity和美国交通中心的测试场中付诸实践，对L4级自动驾驶汽车开展安全性测试。结果表明，这种方法不但可以有效学习生成智能测试环境，并且与直接在自然驾驶环境中测试自动驾驶汽车相比，智能测试环境可以加快评估过程多个数量级（约103-105）。这意味着，实验中每1公里的测试，近似等价于实际道路测试中1千到1万公里的结果，这就极大地加速了安全测试流程。

“我们这套方法为‘AI验证AI’这种研究思路提供了一个可供借鉴的具体案例，”封硕对于当前的研究还有更长远的构想，“这套方法未来有潜力拓展到更广泛的领域，这也是我们未来的研究方向。”

在航空航天、医疗等对安全性要求极高的人工智能应用领域，这套方法为安全关键系统（Safety-Critical System）的研发打开了一扇新的大门。 

多年磨一剑，五年把“冷板凳”坐热

五年前，封硕就将目光聚焦于自动驾驶智能系统的安全测试验证问题。“没什么特别的原因，更多的是一种直觉。”

彼时的学术界还没有太多人关注这个问题，“安全测试验证本身从传统意义上，更多人会理解为是一个经验导向的‘工程问题’而非‘学术问题’。”但在封硕看来，自动驾驶汽车可能是未来智能系统发展过程中最重要的元素，而无人驾驶核心问题就在于安全问题。“对于一个系统而言，可知才能可控、可优化，所以了解系统的安全性能到底是怎样的至关重要。”

明确方向后，封硕与团队成员从安全测试验证的角度切入，在自动驾驶领域开展了为期五年的钻研与摸索。五年间，随着人工智能突飞猛进的发展，随着自动驾驶技术不断成熟，安全测试问题的重要性日益凸显，他所专注的领域也受到越来越多的关注。

身边的同行者越来越多，让封硕看到了更广阔的发展前景。“虽然我们团队有一定的先发积累，但这个领域仍处于快速上升时期，大家从不同的角度开展着各有侧重的研究。”

封硕表示，这项研究成果未来更有潜力为下一步自动驾驶技术的研发进行方向性的引鉴和指导：通过测试找到问题，对症下药地开展优化安全设置和性能的研究，就能间接地推动自动驾驶安全性的有效提升。

研究结果一经发表，不但在学术界引起波澜，更引发产业界的热烈讨论与关注。

“目前的研究还主要是理论与方法层面，工业生产上的应用视情况可能还需要进一步的磨合与开发。”封硕说。但“从书架走向货架”、从学术界走向工业界，一直都是封硕和团队从事科学研究的目标和追求。

孙昊葳、严鑫涛、朱昊杰、邹征夏、沈晟印，这项研究成果的背后是一支纯华人团队，大量成员从清华园走出，包括2019年毕业于自动化系的封硕，1988年毕业于汽车工程系的刘向宏。

这也是一支有着复合能量的学科交叉团队，有着自动化系、车辆学院等不同学科背景的团队成员，在研究中运用统计学、车辆工程、交通工程、人工智能等多个学科知识，让不同的知识体系、思维方式互相碰撞、融会贯通，最终剑指前沿产出世界一流的研究成果。

“探索未知、解决问题的过程是令人兴奋的，尤其能对社会产生影响，贡献力所能及的价值。”封硕提起科研总是神采奕奕，“尤其是最近人工智能技术的快速发展，这可能会给自动驾驶的突破带来一些新的契机。”对于他和团队而言，他们的研究之路才刚刚开始。