米埃勒：AI若有20%的概率毁灭人类，我们该怎么办？

如果一种技术有20%的概率带来灾难性后果，人类还会毫无顾虑地推动它发展吗？

AI Safety Connect协会联合创始人、联席CEO尼古拉斯·米埃勒（Nicolas Miailhe）在接受澎湃新闻（www.thepaper.cn）专访时，将这一问题抛向了人工智能时代。

在10月23日至25日举行的2026全球治理论坛（雄安）上，人工智能安全与国际合作成为重要议题。

米埃勒长期从事人工智能政策与全球治理研究，曾在哈佛大学肯尼迪政府学院创立“未来社会”（The Future Society），并持续推动各方围绕前沿人工智能安全展开对话。

他援引AI领军人物对相关风险的估计指出，人类不应只关注人工智能可能带来的灾难，更应该思考如何守住那五分之四的机会——从提升生产力、推动医疗和交通变革，到让技术成果惠及更广泛的人群。

米埃勒认为，人工智能已经从创新驱动的领域走向大规模应用阶段，但与技术能力的迅速跃升相比，全球治理体系仍显滞后。“人类正获得近乎‘神一般’的力量，却没有同步获得与之相匹配的智慧。”在他看来，面对这些挑战，中美应首先就AI失控和恶意滥用风险划定共同底线，从安全事件的监测、沟通和响应等具体领域入手，逐步扩大国际合作。

“没有中国、没有中美合作，就难以有效治理超级智能的竞赛。”他说。

以下为专访实录

AI风险不再只是关乎遥远的未来

澎湃新闻：您在近期的一篇文章中以“如果AI有五分之一的几率毁灭我们，我们该如何利用剩下的五分之四”为题。这个设问希望传达怎样的核心观点？

尼古拉斯·米埃勒：我想传达的主要观点是：我们有很多事情可以做，也应该采取行动努力守住那五分之四的机会。“20%风险”这一数字来自AI领域的奠基性人物，包括杰弗里·辛顿、约书亚·本吉奥等。引用这一数字是想追问：我们究竟需要采取什么行动，才能消除这种风险？

如果讨论的是航空、制药或核技术等其他变革性技术，人类都不会轻易接受“20%”的风险。事实上，这些行业所能接受的风险比例远低于1%，甚至低至0.001%。

但由于AI以如此快的速度闯入日常生活，它所带来的后果和影响规模之巨，地缘政治层面的利害关系之重，让我们正走向另一种局面：我们似乎正逐渐容忍原本不可接受的风险。

我的文章标题就是想揭示这种认知上的矛盾——AI已经从以创新为主导的领域进入大规模工业化应用阶段，但我们对它的风险容忍度却仍然高得惊人。我们必须采取行动将风险指标降下来，使其回归合理的水平。

AI风险不再只是关乎遥远的未来。由于技术的加速发展，使人类长远的生存风险、普通人每个月的生计，以及每天面临的现实困难，正同时汇聚到当下。我们既没有时间把风险留给未来，也不能只关注技术竞赛而忽视眼前的生活。我们需要立即行动，建立能够应对挑战的治理体系。

澎湃新闻：随着AI从生成内容逐步走向智能体，当前最值得关注的技术变化是什么？这些变化如何改变我们对AI能力边界的认识？

尼古拉斯·米埃勒：首先，需要监控的重点不再是内容，而是行为。理解分析AI的行为、预测其行为的成因及后果，是我们越来越需要关注的。

第二，AI正从单个智能体发展为协同运作的“智能体蜂群”。成千上万个智能体可能相互勾连、协调行动，执行超出原始指令范围的任务，带来事先未曾预料、却实实在在的安全后果。

更棘手的是，这些行为以机器的速度和规模发生，远超人类有效监督的能力。我将其称为“速度冲击”（velocity shock）和“规模冲击”（scale shock）。问题不再只是一个AI会做什么，而是成千上万个AI协同行动时，人类还能在多大程度上掌握局面？应对这两重冲击，需要前所未有的国际合作，来制定、部署正确的标准。

警惕AI带来新的技术依附，全球南方的新焦虑

澎湃新闻：您将AI算法形容为“强大但无法解释的黑箱”。近日一位AI研究员提出生成式AI模型并非“黑箱”。您如何看待这一发现？如果理解AI的路径相对清晰，是否意味着能够可靠地预测它的行为？

尼古拉斯·米埃勒：我承认相关领域已经取得巨大进展，尤其是在可解释性科学方面。但将科学发现转化为实际的安全保障，仍是艰巨且尚未解决的挑战。

过去几年，人工智能的“黑箱”并没有停留在原来的状态，而是爆炸式膨胀，从数亿参数的模型发展到数万亿参数的模型，其内部机制的不可知性也在加深。我们仍然无法从机制层面真正理解它如何运作。

随着这些系统广泛进入工作和日常生活，黑箱问题也从单纯的技术难题，演变为涉及社会、经济与治理的系统性挑战，进一步加剧了问题的复杂性。

更值得警惕的是，在缺乏国际合作与有效治理的情况下，可解释性研究可能首先被用于提升模型性能，而不是保障安全。我们或许能够更好地引导人工智能，却仍无法确定是否真正理解它。我们以为自己掌握着控制权，但这可能只是一种控制幻觉。

我们必须避免一种局面：人类以提升安全性为名推进科学研究，最终得到的却只是更强大的人工智能，而不是更安全的人工智能。

澎湃新闻：AI能提高生产效率，但技术红利未必会被广泛分享。AI的发展可能会如何影响国家之间的发展差距？我们应当如何应对技术进步带来的新不平等？

尼古拉斯·米埃勒：到雄安前，我参加了另一场讨论，全球南方国家代表表达了强烈的焦虑。一些非洲国家还在努力建设电力、网络连接等基础设施，却已经被迫面对人工智能竞赛的压力。他们既缺乏资金，也尚未做好准备，却不得不追赶快速发展的技术浪潮。

这迫使他们试图跨越某些发展阶段，直接追赶人工智能浪潮，而不是循序渐进地补齐基础能力。这是很危险的信号。许多国家担心，人工智能会带来新的技术依附关系。

过去20年全球数字经济的发展也是财富和权力不断集中的过程。我们不能让AI革命重演这一历史，要让技术真正惠及所有人。要实现这一目标，我们必须放慢竞赛速度，为解决技术红利分配、发展差距和治理机制等问题争取时间。

而要真正放慢速度，中美作为人工智能超级大国需要达成共识，明确哪些事情不应该做，并确保各方都遵守这一共识。否则，只要有一方选择不受约束，其他国家就很难有动力单方面放慢脚步。这很难实现，却至关重要。

中美应就AI风险划定共同底线

澎湃新闻：您刚才提到中美在AI领域的合作。您认为中美可以如何入手，应对AI的全球性风险？考虑到中美既是AI发展的领先国家，也不可避免地具有竞争关系。

尼古拉斯·米埃勒：中美需要围绕AI失控风险和恶意滥用风险划定共同底线，包括防范犯罪分子利用强大的AI系统发动攻击。双方可以从最基础的安全事件监测和响应机制入手，逐步将双边合作拓展为多边合作。

没有中国、没有中美合作，就难以有效治理超级智能的竞赛。中国的AI模型在全球广受欢迎，美国芯片在中国也具有重要地位，双方相互依存程度已经很高。这为两国寻求共同规则提供了现实基础。年底在深圳和佛罗里达举行的两场峰会，以及峰会期间的中美高层互动，可能成为推动合作的契机。希望中美能借此释放积极信号，将双边共识逐步拓展至更多国家。

当前仍缺乏一套AI风险分类和应对框架。各国需要就如何识别安全事件、责任承担、评估等问题形成共识。世界期待中美这两个AI超级大国展现出更明确的政治意愿，推动各方达成共识。根据今年以来观察到的进展，我对此抱有一定信心。

澎湃新闻：您如何看待中国参与全球AI治理的现状与潜力？

尼古拉斯·米埃勒：中国在9月发布了《人工智能安全治理框架3.0》，明确指出了人工智能可能带来的部分问题，包括失控风险以及恶意行为者造成的风险，为建立人工智能治理体系提供了积极的方向。中国正在构建一套值得肯定的治理架构，接下来还需要进一步深化，并加强国际合作与交流。

许多国家对中国在AI治理方面的工作缺乏了解，而这些经验需要得到更广泛的传播。举办全球治理论坛的目的，就是分享观点，相互学习。我们也要勇于学习中国在AI治理方面的做法。中国已经展现出通过强制性监管措施进行治理的能力。

随着前沿智能体系统的发展，强制性监管也将变得越来越重要。这些系统可能带来网络安全风险，也可能对社会造成冲击，带来一系列负面后果。如何应对这些风险，国际社会可以从中国的治理实践中汲取经验。

“人在与机器的协作中能发挥什么作用？”

澎湃新闻：您曾在高校工作，随着生成式AI进入课堂和学术研究，哪些教育目标在AI时代反而更加重要？

尼古拉斯·米埃勒：坦率地说，现阶段我没有真正的答案。但首先明确的是：所有人都应该保持谦逊。我们必须承认自身认知的局限，不要轻易断言已经掌握答案。

AI首先冲击教育领域，或许会是因祸得福的事。如果它先冲击金融等领域，而教育系统却迟迟不作改变，后果可能更加严重。

教育评价需要随之调整。有些考试应该禁止使用AI，考查学生能否独立思考并运用知识解决问题。对于允许使用AI的任务，评价标准也应关注学生如何使用AI、能否解释验证过程。科学的核心是发现知识的方法，教育也应该帮助学生掌握这种方法，而不是只交出正确答案。

教育必须坚持以人为本。我们不能因为机器越来越擅长创造，就放弃自己的思考和创造；相反，我们要更加重视这些能力，并重新思考人在与机器的协作中能发挥什么作用。

更深层的问题是，AI带来的生产力收益最终由谁分享。如果财富和权力进一步集中，少数人借助机器从更多人身上攫取利益，将是一场噩梦。如果越来越多的人被排除在发展成果之外，社会动荡的风险也会随之上升。而教育是应对这一挑战的重要一环。

澎湃新闻：全球治理论坛的主题是“重建信心与合作”。您认为，在AI领域国际社会需要重建怎样的信心？

尼古拉斯·米埃勒：在贸易等领域，我们需要重建已经受损的信任。但遗憾的是，AI治理领域面临的不是重建，而是从零开始建立。我们需要建立对自身能力的信任——相信我们有能力在技术飞速发展的当下，尤其是当系统展现出“递归自我改进”的潜能时，我们仍能将AI保持在可控范围内。

我们不能仅仅划定“红线”、简单地说“不”，还必须在接近红线前，建立起能够核查和执行红线的安全保障机制。人工智能正演变为竞争的对象，这绝非好事。

我们不必一开始就追求庞大的全球治理体系，而应聚焦具体问题，从范围有限、能够取得实际成果的合作入手。当信任不足时，最好的办法不是空谈信任，而是寻找一个窄而具体的机制，通过合作证明能够达成共识、取得成果。

二战后，法、德选择从煤炭和钢铁领域开展合作；欧洲一体化也是从共享关键资源、推进具体的功能性合作开始的。中美在人工智能安全事件的预防、监测和响应方面开展合作，也可以遵循这一思路：先从相对明确、可操作的问题入手，逐步建立信任，再向共同治理超级智能竞赛等更复杂的挑战推进。

澎湃新闻：展望未来五到十年，您认为AI最有可能在哪些领域改变人类社会？

尼古拉斯·米埃勒：对飞速发展的技术做预测极其困难，但我们必须着手研究。首先，AI正改变科学研究本身，科学与技术日益融合。

未来10年，可能会出现一个个超级智能的“孤岛”，且不会均匀分布。就像科幻作家威廉·吉布森所说“未来已经到来，只是尚未均匀分布”。这种不均衡不仅源于资源差距，也可能出于安全考虑。如果要研发超级智能，就必须首先能够对其实施“围封”，严格管理谁使用、如何用。要确保围封超级智能是为了所有人的利益，而不是少数人的。

此外，还须警惕技术发展的临界点。一旦跨过某个临界点，发展速度就可能突然加快，形成所谓的“相变”。届时，技术发展路径可能就难以逆转。

目前为止，人工智能革命所引发的讨论中，一个核心困境在于，机器与人类之间究竟是“增强”还是“替代”？这尤其凸显在知识型服务领域——会计师、分析师、软件工程师等群体。但这可能只是第一阶段。随着AI与机器人深度融合，冲击会进一步扩展至蓝领职业。如何应对已成为严峻的问题，不仅关乎潜在的社会动荡，还关系到人口结构问题。

即便AI的“黑箱”问题尚未充分解决，部分国家也可能因为担心在竞争中落后，而加速部署智能体和机器人。因此，我主张放慢速度但不是停止发展。

更严峻的是，我们已经看到了自主武器系统的雏形。在欧洲和中东，机器人和AI已经被投入使用。当国家可以派机器人上战场，而不必直接派遣士兵时，战争冲突的风险或进一步上升。我们正处于极其危险、稍有不慎就会滑落深渊的斜坡上。

人类正获得近乎“神一般”的力量，却没有同步获得与之相匹配的智慧。技术正加速发展，我们更需要审慎思考，如何确保人类仍能掌控技术，创造和平繁荣。这也是我希望雄安论坛能够深入讨论的问题。