《科学美国人》月刊网站5月6日刊登题为《人工智能真的会消灭人类吗？》的文章，作者为美国兰德公司科学家迈克尔·弗米尔，内容编译如下：

许多人相信，人工智能有一天会导致人类灭绝。稍微计算一下就知道，没那么容易。

灭绝风险

有一个广为流传的科幻作品老套情节：某天，人工智能(AI)失控后杀死所有人类，将这个物种彻底灭绝。这真的可能发生吗？在现实世界的调查中，AI研究人员认为，AI的发展有可能导致人类灭绝。2024年，数百名研究人员签署的一份声明表示：“降低AI带来的人类灭绝风险应与大流行病和核战争等其他社会级风险并列成为全球优先事项。”

相比于AI带来的末日，大流行病和核战争是更真实、更具体的威胁——至少在我这位兰德公司科学家看来。不过尽管我对AI导致人类灭绝的可能性持怀疑态度，但还是开展研究项目探讨其可能性。

我们团队的假设是：不存在任何AI对人类明确构成灭绝威胁的情景。换言之，我们的初始假设是：人类适应力太强、数量太多且在地球上分布太广，以至于AI无法用任何理论上可支配的工具消灭人类。如果我们能推翻这个假设，就意味着AI可能真的对人类构成灭绝威胁。

许多人正在评估AI带来的灾难性风险。最极端的观点是，AI将成为超级智能体，几乎一定会利用纳米技术等新型先进科技接管并消灭人类。预测者估算过AI灾难对人类构成灭绝风险的可能性，结论通常是，AI在2100年前导致人类灭绝的概率在0到10%之间。这类预测对于制定政策和降低风险是否有价值，我们持怀疑态度。

三大威胁

我们暂时放下怀疑，开始详细研究AI究竟将如何导致人类灭绝。单纯的全球性灾难或社会崩溃对我们来说还不够。我们试着认真看待人类灭绝风险，只关注人类彻底灭绝的可能性。我们也不关心AI会否试图杀死人类——只关心它能否成功。

这是个恐怖的课题。我们分析了AI可能如何利用公认对人类生存构成风险的三大威胁：核战争、生物病原体和气候变化。

结果证明，AI要消灭人类非常困难，但并非完全不可能。

好消息是——如果这算得上好消息的话——我们认为AI无法用核武器灭绝人类。即使AI以某种方式获得了发射全球9个拥核国家核武库中超过1.2万枚核弹头的能力，爆炸、放射性沉降物和随之而来的核冬天可能仍不足以构成灭绝级事件。人类数量太多且分布太广，核爆炸无法直接杀死所有人。即使AI在地球上燃料最密集的所有区域引爆武器，所产生的灰尘量可能仍不及导致恐龙灭绝的陨石撞击事件。地球上的核弹头也不足以辐射所有可用耕地。换言之，AI引发的核末日虽然是一场大灾难，但可能仍无法杀死全人类。

另一方面，我们认为大流行病可能对人类构成灭绝威胁。历史上的自然瘟疫虽具毁灭性，但人类社会顽强地存活了下来。即使只剩下很少的人口(比如几千人)，也能延续人类这个物种。假设某种病原体的致死率高达99.99%，仍会有超过80万人存活。

但我们发现，多种病原体的组合很可能使致死率接近100%，而AI可用于散播这些病原体，确保其快速传遍全球。关键在于，某些群体在面临物种灭绝级瘟疫时必然会进行自我隔离，而AI需要以某种方式感染或消灭这些群体。

最后，即使AI能加速人类活动引起的气候变化，也不会一跃成为能导致全人类灭绝的威胁。人类仍可能找到新的生存环境，包括迁移到地球两极。要使地球完全不适合人类居住，AI需要向大气中排放效力比二氧化碳强得多的物质。这算是好消息。

坏消息是，这些效力强得多的温室气体确实存在，而且可以量产，并能在大气中存留数百年甚至数千年。如果AI能规避国际监测，生产出几亿吨此类化学品(还没有人类每年生产的塑料多)，就足以将地球的温度提升到没有任何人类可以生存的程度。

需要明确的一点是：我们设想的AI灭绝人类的任何情景都不会在偶然之间发生。每个情景都极难成为现实。除非AI以某种方式摆脱重大约束。

四个要素

在分析过程中，我们还确定了这个假想的超级邪恶AI必须具备的四个要素：首先，它需要设定灭绝人类的目标；其次，它必须控制构成威胁的关键物理系统(如核武器发射系统或化工生产基础设施)；第三，它需要具备说服人类提供协助并长期掩盖其行动的能力；最后，它必须在得不到人类支持的情况下继续运作，因为即使人类社会开始崩溃，仍需采取后续行动才能让人类彻底灭绝。

我们的团队认为，若AI不同时具备上述四项能力，灭绝人类的计划就会失败。不过，具备所有这些能力的AI还是有可能在无意中被创造出来的。更有甚者，人类可能故意开发出具备这四项能力的AI。开发者已经在尝试创造代理型(自主性更强的)AI。而且，他们已经观察到，一些AI具备密谋和欺骗的能力。

但如果AI的发展可能导致人类灭绝，是否意味着我们应该防患于未然？也就是说，全面叫停AI研发，谨慎为上。我们认为，答案是否定的。如果我们不在乎AI带来的益处，是可以全面叫停。但我们非常重视AI可能带来的益处，为了避免一场可能发生但概率难以预测的重大灾难(即便是人类灭绝)而放弃这些益处并不妥当。

那么，AI有朝一日会消灭全人类吗？说“有可能”并不荒谬。但与此同时，我们的研究也表明，没有AI，人类也可能自我毁灭。要降低人类灭绝风险(无论是否源于AI)，最可靠的方法是通过减少核武器数量、限制令全球变暖的化学品及改进大流行病监测手段来提高人类生存的概率。无论你是否相信AI对人类构成灭绝威胁，投资于AI安全研究都是明智之举。负责任地开发AI能降低人类灭绝风险，同样也能降低其他虽后果较轻但发生概率较高的AI相关危害构成的风险。（编译/熊文苑）