让建站和SEO变得简单

让不懂建站的用户快速建站,让会建站的提高建站效率!

产品展示

AGI很远, 但风险更近: AI末日论者的逻辑是什么?
发布日期:2026-01-03 13:59    点击次数:134

本文为《麻省理工科技商量》“纠偏飞扬”(Hype Correction)专题系列的一部分,该系列旨在重置东说念主们对 AI 的预期:AI 是什么、它能带来什么、以及咱们接下来该走向何处。

在当下唱衰 AI,似乎有些隔离时宜。

AI 末日论者(尽管他们中的许多东说念主更欢跃把我方称作“AI 安全倡导者”)——这个界限不大,却颇具影响力的群体由研究东说念主员、科学家和战术各人组成。用最粗浅的话说,他们笃信:AI 可能会坚强到对反而对东说念主类不利,况且会终点、终点不利。

他们认为,若是清寒更严格的监管,行业可能会一说念决骤,冲向东说念主类自身也无法放胆的系统——这类系统会在通用东说念主工智能(AGI)出现之后相继而至。AGI 是个界限无极的认识,一般被领路为一种能作念到东说念主类能作念的一切,况且作念得更好的技巧。

这种看法在 AI 领域远谈不上渊博共鸣,但往时几年里,“末日派”阵营照实取得了一些权贵服从:他们参与塑造了拜登政府推出的 AI 战术,推动并组织了计议建树海外“红线”以戒备 AI 风险的高调命令;跟着其中一些拥护者得到科学界最负闻明的奖项,他们也领有了更大的“扩音器”,况且影响力更强。

但往时六个月里发生的一系列变化,让他们堕入被迫。跟着科技公司链接以相配于多个“曼哈顿打算”的界限投资数据中心,却无法细目来日需求是否能匹配这种建树体量,对于“AI 泡沫”的接头简直统一了其他声息。

还有 8 月 OpenAI 发布最新基础模子 GPT-5 一事——它几许让东说念主感到失望。但也许这简直是不可幸免的,因为它是史上被炒作得最锐利的一次 AI 发布。OpenAI CEO 山姆·奥特曼曾炫耀说,GPT-5 在每个主题上齐“像一个博士水平的各人”,还对播客主捏东说念主西奥·冯(Theo Von)涌现,这个模子好到让他合计我方“相对于 AI 简直毫无谓处”。

许多东说念主蓝本期待 GPT-5 会是迈向 AGI 的一大步,但不管它内容取得了什么进展,齐被一连串技巧故障躲闪了。与此同期,OpenAI 还作念出一个令东说念主隐约、随后又速即撤离的决定:在莫得预警的情况下关闭扫数旧版模子的拜访权限。新模子在基准测试上拿下了开首进水平的分数,但许多东说念主在日常使用中仍合计 GPT-5 反而衰竭了,哪怕这种感受可能并不全齐公说念。

这一切看起来似乎动摇了“末日派”论证的某些根基。与此同期,另一个对立阵营“AI 加快想法”则看到了新契机。他们惦记 AI 其实发展得不够快,行业随时可能被过度监管覆没,因此但愿蜕变咱们对 AI 安全的处理姿首,或者更准确地说,蜕变咱们不奈何处理 AI 安全的姿首。

对那些“转战”华盛顿的产业东说念主士而言,这少许尤为昭彰。历久风投东说念主士、自后出任特朗普政府 AI 事务足下的大卫·萨克斯(David Sacks)声称:“末日派叙事是错的。”

白宫 AI 高档战术照应人、科技投资东说念主斯里拉姆·克里希南(Sriram Krishnan)也赞赏说念:“‘AGI 鸡犬相闻’这种不雅念一直是过问项,况且无益,如今也基本被解释是错的。”(萨克斯和克里希南均未恢复置评央求。)

(天然,在 AI 安全的争论中还有第三个阵营:时时与“AI 伦理”标签关联的一批研究者与倡导者。他们也复旧监管,但往往认为 AI 进展速率被夸大,并常把 AGI 视为科幻故事或骗局,认为它会散布咱们对技巧当下威逼的注见地。不外,即便“末日派”果真式微,也恐怕会像加快想法者那样,为他们带来相通的战术窗口。)

那么,“末日派”如今处在什么位置?作为“纠偏飞扬”(Hype Correction)专题的一部分,咱们决定去问问这一通顺中最知名的一些东说念主物,望望最近的障碍与举座氛围变化是否蜕变了他们的看法。战术制定者似乎不再崇拜对待他们提议的威逼,他们会因此盛怒吗?他们是否在偷偷退换“末日时辰表”?

咱们最近采访了 20 位研究或倡导 AI 安全与经管的东说念主士,其中包括诺贝尔奖得主杰弗里·辛顿(Geoffrey Hinton)、图灵奖得主约书亚·本吉奥(Yoshua Bengio),以及前 OpenAI 董事会成员海伦·托纳(Helen Toner)等知名各人。采访显现,他们并未感到灰头土面或迷失标的,而是依旧执意插足,认为 AGI 不仅可能出现,况且极其危急。

与此同期,他们似乎也在濒临一种近乎矛盾的处境。一方面,近期发展暗意 AGI 可能比他们此前认为的更远方一些,他们为此几许感到松了相连。“感谢天主,咱们有更多时辰了。”AI 研究者杰弗里·拉迪什(Jeffrey Ladish)说。另一方面,他们也对一些掌权者推动与我方主张违反的战术感到悔恨。《AI 2027》这份警示性预测的编缉丹尼尔·科科塔伊洛(Daniel Kokotajlo)说,“AI 战术似乎在变得更糟”,并称萨克斯与克里希南的推文“疯疯癫癫”且“不本分”。

总体而言,这些各人把“AI 泡沫”的接头视为不外是一个小小的延缓带,把对 GPT-5 的失望视为更具过问性而非启发性。他们举座上仍复旧更强有劲的监管,并惦记战术层面的进展正在变得脆弱。这里的进展包括《欧盟东说念主工智能法案》(EU AI Act)的落实、好意思国首部广大 AI 安全法案加州 SB 53 的通过,以及部分国会议员对 AGI 风险的新温雅。在他们看来,华盛顿可能会对那些“短期内未能收尾炒作”的推崇响应过度,从而让这些进展受到冲击。

有些东说念主也急于改造外界对“末日派”最树大根深的污蔑。尽管月旦者常哄笑他们“总说 AGI 就在目下”,他们却涌现这从来不是论证的关节部分。加州大学伯克利分校拔擢斯图尔特·拉塞尔(Stuart Russell)说,这件事“并不在于是否鸡犬相闻”。拉塞尔著有《Human Compatible: Artificial Intelligence and the Problem of Control》。我采访的大多量东说念主齐说,在往时一年里,他们对“出现危急系统”的时辰预估其实略微延后了。这是一个广大变化,因为战术与技巧时势可能在很短时辰内发生剧烈转向。

事实上,他们中的许多东说念主强调,更新时辰表自己终点广大。托纳告诉我,即便目前的时辰表只是略微拉长,ChatGPT 时期的一条宏不雅干线仍然是,全行业对 AGI 的到来预期出现了权贵“压缩”。她说,很长一段时辰里,东说念主们预测 AGI 还要几十年才会出现。如今,大多量预测把它的到来放在来日几年到 20 年之间。因此,即便咱们多了少许时辰,她和许多同业仍然认为 AI 安全极其繁难,况且兹事体大。她对我说,若是 AGI 在来日 30 年内的任何时候齐有可能出现,“这等于一件天大的事。咱们应该让好多东说念主插足到这件事上。”

是以,尽管“末日派”正处在一个颇为狼狈的节点,他们的底线判断依旧是:不管 AGI 何时到来(他们再次强调,它很可能会到来),宇宙齐远莫得准备好。

不管你奈何看待“末日派”的心态,齐无法诡秘一个事实:在这个宇宙上,有些东说念主照实领有很大的影响力。底下等于这一领域中一些最具代表性的东说念主物,用他们我方的话回望此刻。为了篇幅与抒发清亮,采访内容经由剪辑与删省。

杰弗里·辛顿:不细目来日会发生什么的诺奖得主

杰弗里·辛顿(Geoffrey Hinton):图灵奖得主,因首创深度学习获诺贝尔物理学奖。

往时几年里最大的变化是,有一些很难被放松冷落的东说念主也在说,这些东西很危急。比如前谷歌 CEO 埃里克·施密特(Eric Schmidt)就信得过知道到这可能终点危急。我和他最近去过中国,和一位政事局相干东说念主士相通,也和上海市委通知谈过,念念阐述他是否信得过领路这件事,他照实领路。我认为中国的引导层对 AI 过火危急领路得更到位,因为他们好多东说念主是工程师诞生。

我一直温雅的是更历久的威逼:当 AI 变得比咱们更聪惠时,咱们还能指望东说念主类链接保捏放胆权,以致链接与它相干吗?但我不认为任何事情是注定的。简直每一件事齐存在巨大的不细目性,咱们从未走到过这里。那些很自信地说我方知说念会发生什么的东说念主,在我看来反而显得好笑。我合计这种情况很不可能,但也许最终会解释,那些说 AI 被严重高估的东说念主是对的。也许咱们无法在现时的聊天机器东说念主之上再走多远,因为数据有限而撞上墙。我不笃信会这样,我认为不太可能,但并非不可能。

我也不笃信像埃利泽·尤德科夫斯基(Eliezer Yudkowsky)那样的东说念主所说的,只消有东说念主把它造出来,咱们就齐会完蛋。咱们并不知说念会这样。

但玄虚现存字据来看,我认为不错合理地说,大多量终点了解 AI 的各人齐笃信,在来日 20 年内出现超等智能的概率很高。谷歌 DeepMind CEO 戴小姐·哈萨比斯(Demis Hassabis)说可能只消 10 年。以致连知名 AI 怀疑论者加里·马库斯(Gary Marcus)能够也会说:“若是你们作念出一个搀杂系统,把传统的标记逻辑加进去,也许就能达到超等智能。”(编者注:马库斯在 9 月预测 AGI 将在 2033 年到 2040 年之间到来。)

况且我不认为有东说念主笃信进展会停在 AGI。简直扫数东说念主齐笃信,AGI 出现几年后就会有超等智能,因为 AGI 会比咱们更擅长制造 AI。

是以,固然我合计很昭彰,阵势正在变得更贫窭,但与此同期,东说念主们也在插足更多资源去开辟更先进的 AI。我认为进展会链接下去,只是因为插足的资源正在变多。

约书亚·本吉奥:但愿我方更早看见风险的深度学习前驱

约书亚·本吉奥(Yoshua Bengio):图灵奖得主,《海外 AI 安全报告》主席,LawZero 创始东说念主。

有些东说念主认为 GPT-5 的发布意味着咱们撞上了墙,但从科学数据与趋势来看,情况并不全齐是这样。

有东说念主过度兜销“AGI 未来早上就会驾临”的说法——从生意角度也许说得通。但若是你看各种基准测试,GPT-5 的推崇基本合适你对阿谁时辰点模子水平的预期。顺带说一句,不单是 GPT-5,Claude 和谷歌的模子亦然如斯。在一些 AI 系统此前并不擅长的领域,比如 Humanity’s Last Exam 或 FrontierMath,它们目前的得分比岁首高了好多。

与此同期,AI 经管与安全的举座景观并不乐不雅。有一股坚强的力量在反对监管。这就像表象变化一样。咱们不错把头埋进沙子里,祷告一切会没事,但这并不成科罚问题。

与战术制定者之间最大的错位,是他们污蔑了一个事实:若是 AI 跳跃的趋势捏续下去,变化的法度可能会终点巨大。商界和政府里的好多东说念主只是把 AI 行动又一种经济上很坚强的技巧。他们并不睬解,若是趋势链接、咱们靠拢东说念主类水平的 AI,它会在多猛进程上蜕变宇宙。

和许多东说念主一样,我也在某种进程上对潜在风险有目无睹。我本该更早知道到它会到来。但这很东说念主性。你对我方的责任感到快活,更欢跃看到它好的一面,这会让咱们产生少许偏差,不太欢跃信得过温雅可能发生的赖事。

即便独一很小的概率,比如 1% 或 0.1%,会酿成一场让数十亿东说念主丧命的事故,这亦然不可接纳的。

斯图尔特·拉塞尔:认为 AI 在跳跃,但跳跃得不够快、无法拦阻泡沫离散的资深学者

斯图尔特·拉塞尔(Stuart Russell):加州大学伯克利分校计较机科学隆起拔擢,《Human Compatible》作家。

我但愿把“接头糊口风险”行动“末日派”或“科幻”的不雅点,最终会被视为角落看法。毕竟,大多量顶尖 AI 研究者和顶尖 AI 公司 CEO 齐很崇拜对待这个问题。

往时有东说念主断言 AI 历久不可能通过图灵测试,或者历久不可能有系统能流利使用天然讲话,或者历久不可能有系统能把车倒进平行车位。扫数这些断言最终齐被跳跃推翻了。

东说念主们正在破耗数万亿好意思元来推动超东说念主类 AI 的出现。我认为他们需要一些新念念法,但他们很有可能会念念出来,因为往时几年照旧出现了许多广大的新念念法。

在往时 12 个月里,我比较一致的判断是:有 75% 的概率,这些冲突不会实时出现,从而无法把行业从泡沫离散中救出来。因为目前的投资界限隐含着一种预测:咱们将领有更好的 AI,并为确凿客户创造更大的价值。但若是这些预测莫得实现,股市里就会出现一地鸡毛。

不外,安全论证并不在于是否迫近,而在于咱们仍然莫得科罚“放胆问题”。若是有东说念主说,一颗直径 4 英里的小行星会在 2067 年撞上地球,咱们不会说“2066 年再教导我一下,到时候再念念”。咱们并不知说念开辟出放胆超等智能 AI 所需的技巧要花多久。

从前例来看,核电站发生堆芯熔毁的可接纳风险水平大致是每年百万分之一。东说念主类毕命的后果远比这严重,是以也许可接纳风险应当设为十亿分之一。但企业给出的风险水平却像是五分之一。他们不知说念若何把它降到可接纳的进程,而这等于问题地点。

大卫·克鲁格:试图把 AI 安全叙事阐扬晰的拔擢

大卫·克鲁格(David Krueger):蒙特利尔大学与本吉奥的 Mila 研究所机器学习助理拔擢,Evitable 创始东说念主。

我认为东说念主们对 GPT-5 的响应照实有点过度反向纠偏。但之前照实存在热炒。我的印象是,有好几位 CEO 以不同进程的明确表述,基本齐在说到 2025 年底,咱们就会领有不错随时替换的东说念主类汉典职工的自动化系统。但目前看起来有点鲁莽,智能体还并莫得信得过到位。

我很诧异,“预测 2027 年出现 AGI”的叙事居然能引诱如斯多的公众注见地。比及 2027 年若是宇宙看起来依旧很正常,我认为好多东说念主会合计整套宇宙不雅被证伪了。更让我恼火的是,我在和东说念主谈 AI 安全时,对方常会默许我笃信危急系统的时辰表很短,或者默许我认为 LLM 或深度学习会带来 AGI。他们给我加了好多并岂论证所必需的出奇前提。

我预测海外和解这个问题需要几十年材干科罚。是以即便危急的 AI 还要几十年才出现,它也照旧是繁难问题了。好多东说念主似乎充公拢这少许。还有一种念念法是:“等咱们果真有一个终点危急的系统再运转经管。”那就太晚了。

我仍然认为安全圈的东说念主更倾向于在幕后与掌权者合营,而不是面向公民社会。这给了那些说“这不外是骗局或圈内游说”的东说念主弹药。这并不是说这些叙事全齐莫得事实依据,但底层风险仍然确凿存在。咱们需要更高的公众解析,以及更时时的社会复旧,材干形成有用应酬。

若是你果真笃信来日 10 年内有 10% 的概率走向排除,我认为任何感性的东说念主只消崇拜看一看齐应该得出这个判断,那么你第一个念头就会是:“咱们为什么还要这样作念?这太放肆了。”一朝你接纳这个前提,这等于很合理的响应。

海伦·托纳:惦记 AI 安全失去公信力的经管各人

海伦·托纳(Helen Toner):乔治城大学安全与新兴技巧中心代理实践主任,前 OpenAI 董事会成员。

我刚进入这个领域时,AI 安全更多是一套形而上学性的念念法。如今,它照旧发展成机器学习中一组活跃的子领域,正在填补某些更“天马行空”的担忧与推行可测试系统之间的鸿沟。这些担忧包括 AI 的系数、骗取或逐利倾向,而咱们目前照旧有更具体的系统不错去测试和考证。

AI 经管在缓缓立异。若是咱们有有余时辰去顺应,经管也能链接缓缓股东,我并不悲不雅。但若是咱们莫得太多时辰,那咱们很可能股东得太慢了。

我认为在华盛顿,GPT-5 渊博被视为一次令东说念主失望的发布。围绕 AI 的接头相配南北极化:咱们会在来日几年里迎来 AGI 和超等智能吗?如故说 AI 全齐等于炒作、没用、只是泡沫?摆钟此前可能过度摆向“咱们很快就会有极其坚强的系统”,目前又运转摆回“这齐是炒作”。

我惦记,一些 AI 安全东说念主士给出的激进 AGI 时辰表测度,正在把我方推向一种“狼来了”的处境。当“2027 年出现 AGI”的预测莫得成真时,东说念主们会说:“望望这些东说念主,把我方搞成了见笑,你们以后再也不该听他们的。”若是他们自后蜕变了念念法,或者他们的态度其实是“我只认为有 20% 的可能性,但这仍值得温雅”,这种响应并不本分。我认为这不该成为东说念主们来日不再倾听的情理,但我照实惦记这会酿成严重的信誉打击,况且会触及那些终点担忧 AI 安全、却从未声称过极短时辰表的东说念主。

杰弗里·拉迪什:目前认为 AGI 更远方,并为此感到荣幸的 AI 安全研究者

杰弗里·拉迪什(Jeffrey Ladish):Palisade Research 实践主任。

往时一年里,有两件大事更新了我对 AGI 时辰表的判断。

第一,高质地数据的短缺,比我猜度的更严重。第二,2024 年 9 月出现的第一个“推理”模子,也等于 OpenAI 的 o1,显现强化学习的界限化比我原先以为的更有用。几个月后,你又看到从 o1 到 o3 的膨大,在数学、编程和科学等更容易考证驱散的领域里,推崇强得离谱。但即便咱们仍在看到捏续跳跃,进展本不错更快。

这些身分把我对“全齐自动化的 AI 研发运转出现”的中位数时辰预估,从三年推迟到了能够五到六年。但这些数字某种进程上亦然我我方估出来的,很难。我得强调一句:在这里作念预测果真终点难。

感谢天主,咱们有更多时辰了。在这些系统坚强到有余有才略、有策略,从而对咱们的放胆才略组成确凿威逼之前,咱们可能领有一个很短的契机窗口,去尽可能信得过领路它们。

但看到东说念主们以为咱们照旧不再跳跃,这件事也很吓东说念主,因为这昭彰不是果真。我知说念它不是果真,因为我在用这些模子。AI 这种跳跃姿首的一个反作用是,它到底跳跃得有多快,对普通东说念主来说变得越来越不直不雅。

天然,在一些领域不是这样。比如望望 Sora 2,任何看过的东说念主齐能很昭彰地感受到它比以前强太多。但若是你问 GPT-4 和 GPT-5 为什么太空是蓝色的,它们给出的谜底基本一样,况且是正确谜底。对于解释太空为什么是蓝色,这项才略照旧“饱和”了。是以我认为,最能领路 AI 进展的东说念主,是那些信得过用 AI 作念开辟,或者在终点困难的科知识题上使用 AI 的东说念主。

丹尼尔·科科塔伊洛:早就预感月旦将至的 AGI 预测者

丹尼尔·科科塔伊洛(Daniel Kokotajlo):AI Futures Project 实践主任,OpenAI 吹哨东说念主,《AI 2027》主要作家。《AI 2027》形色了一个天真状态:从 2027 年运转,AI 在短短数月内从“超东说念主步调员”发展为“十分超等智能”的系统。

AI 战术似乎在变得更糟,比如“Pro-AI”超等政事行径委员会(super PAC),它由 OpenAI 和安德森·霍洛维茨(Andreessen Horowitz)的高管在本年早些时候发起,旨在游说推动去监管议程;还有斯里拉姆·克里希南和大卫·萨克斯那些疯疯癫癫和/或不本分的推文。AI 安全研究仍以通例速率股东,比较大多量领域这照旧快得令东说念主快活,但比较它所需要的速率仍然太慢。

咱们在《AI 2027》第一页就写明,咱们的时辰表其实略长于 2027 年。是以即便在发布《AI 2027》时,咱们也预期 2028 年会出现一批月旦者,闲静洋洋地说咱们照旧被证伪,就像萨克斯和克里希南那些推文一样。但咱们其时认为,目前也仍然认为,智能爆炸很可能会在来日五到十年内的某个时点发生。等它发生时,东说念主们会念念起咱们的状态,并知道到它比 2025 年能看到的任何其他叙事齐更接近确凿。

预测来日很难,但尝试预测很有价值。东说念主们应该奋力用一种具体、可证伪的姿首抒发我方对来日的不细目性。咱们等于这样作念的,而这样作念的东说念主并未几。咱们的月旦者大多并莫得提议我方的预测,反而常常夸大并歪曲咱们的不雅点。他们说咱们的时辰表比内容更短,或者说咱们比内容更自信。

我对 AGI 时辰表变得更长这件事嗅觉挺好,就像刚从大夫那边拿到更好的预后。但举座景观其实如故差未几。