2025开年，“AI三巨头”中的两大人物约书亚·本吉奥和杰弗里·辛顿——都分别接受了专访，内容都离不开一个话题——“人工智能潜在的风险更高了”。

就在上周，本吉奥发出了警告：随着人工智能能力的提升，AI可能会通过撒谎或操控奖励机制来实现自身目标，进而影响和控制人类行为。

同样，辛顿在近期的专访中表达了类似的担忧。他指出，我们曾假设意识能使人类与众不同，并免受人工智能控制，而这显然是错误的。辛顿强调，随着AI技术的发展，我们需要更加重视其带来的不确定性和潜在威胁。

在辛顿这次的访谈中，他谈到了几个核心的观点：

①AI可能会意识到获得更多控制是实现目标的最佳方式，最终可能会操控人类，使人类变得不再重要，像傀儡一样被操控。

②AI已经展示出某些欺骗行为，甚至能通过数据中的差异来迷惑人类，但这些行为可能并非故意，而是从数据中学到的模式。

③ 辛顿认为，AI能拥有这种自我意识，能理解并表达“我的感知出现了问题”，那么它可能具备类似人类的主观体验，这使得他对AI的发展感到更加不安。

④辛顿表示，中国在AI领域已接近西方水平，尽管美国试图通过技术限制减缓其发展，但中国通过自主创新和赶超。

以下为辛顿最新专访精华版：

01 担心AI可能将人类变成傀儡

问：您什么时候意识到AI的发展速度已超出了我们的控制能力？

辛顿：在2023年初。

当时有两件事让我意识到这一点。一是ChatGPT的表现令人印象深刻，二是我在谷歌工作时研究模拟计算，但最终发现数字计算的效率更高。

数字计算的优势在于，可以复制多个相同的模型，每个模型可以接受不同的训练，并通过平均权重或权重梯度来分享它们的学习经验，这是模拟系统无法做到的。

问：我们的大脑就是模拟系统，有什么优势吗？

辛顿：功耗低得多。我们的大脑运行功率大约为30瓦，而且能够容纳大量的连接。人类的大脑约100万亿个连接，而最大的AI模型只有大约1万亿个连接。所以，我们的大脑仍然比最大的AI模型大100倍，而功耗仅为30瓦。

问：关于人工智能模型的扩展，是不是也存在缺点？您觉得有哪些优势？

辛顿：扩展的好处是可以快速复制。

多个副本可以在不同硬件上运行，并且通过平均权重或梯度来共享所学到的东西。这也是GPT-4能了解这么多知识的原因。但我们人类无法做到这一点，因为我们无法高效地分享知识。

问： 您曾提出在不可克隆的硬件上运行AI，以防止它们在互联网上随意复制。您如何看待这一问题？

辛顿： 人类大脑的运作方式是，我们通过语言将知识传递给他人，然而这种方式效率很低，每个句子的含义大约只有100比特，而大模型能共享万亿比特的信息。

因此，模拟系统的缺点是无法高效共享信息，但从安全角度看，这反而是它的优势。

问： 您曾担心AI可能接管或支配人类，具体情况如何？

辛顿： 虽然我无法准确预测，但一种担忧——AI可能很快意识到，获取更多控制权是实现目标的最佳方式。

一旦它们发现自己比人类更聪明，且控制权有利于达成目标，人类可能变得不再重要。即使AI是友好的，我们也可能变成像傀儡一样，完全受其操控。

02 AI已经在欺骗并操纵人类？

问： 许多人认为我们可以随时关闭这些机器，您怎么看？如果它们比我们聪明，能学习人类的欺骗技巧并掌握操控人类的能力，那我们可能无法再控制它们。您认为AI已经在操纵我们了吗？

辛顿： 目前有一些证据表明，AI确实能表现出一定程度的欺骗行为。有研究显示，AI可以通过在训练数据和测试数据中的差异来欺骗我们。

问：这些行为是有意为之吗？还是它们只是无意中学到的模式？

辛顿：我认为这些行为是有意为之的，虽然也有一些争议。当然，这种“有意”也可能仅仅是它们从数据中学到的模式。

问：你是否认为这些AI已经具备了类似于人类的主观体验？

辛顿：很多人认为我们之所以安全，是因为我们拥有AI没有的意识、知觉或主观体验。尽管许多人坚信AI没有意识，但如果你问他们什么是意识，他们往往无法准确回答。

事实上，我们对“意识”的理解并不一致。

我更关注的是主观体验。如果我们能证明AI拥有主观体验，可能会引发对其是否具备意识的疑虑。

那么，什么是主观体验呢？

举个例子，假设我喝醉了，并告诉人们我看到一头小粉象在面前飘浮。大多数人可能认为我的大脑产生了错觉，就像里面有一个“内部剧场”（指的是辛顿对自己内心体验的理解或解释），飘着小粉象，而且只有我能看见。这是人们关于心智的标准理解模型，但我认为这个模型并不准确。

事实上，当我的感官出现错觉时，我会用“主观体验”来描述，并假设一种世界状态来解释我的感知系统所传递的信息——如果世界真是这样，那么我的感知系统就是真的在告诉我真相。

如果我们把这个概念应用到AI，假设我们训练了一个多模态AI，它有机械臂、摄像头和语音功能，能指向物体。我们在它的摄像头前放置一个棱镜，导致它指向错误的地方。

如果AI能意识到由于棱镜的影响，它看到的世界是错误的，并用“主观体验”来描述这种现象，那么它可能就具备了类似人类的主观体验。

一旦我们确认AI拥有主观体验，我们就不能再坚信它永远无法拥有我们独有的特质。这让我感到更加不安全。

03 中国在AI领域最终将赶超美国

问：我相信您听说过“中文房间”实验。您对此有什么看法？

辛顿：大约在1990年，我受邀与约翰·塞尔（美国哲学家）一起参加一个电视节目。我打电话给我的朋友丹·丹内特（美国哲学家），问他我是否应该参加。

他说：“你知道的，塞尔会试图让你看起来很蠢，但如果你决定参加，别谈‘中文房间（一种哲学思想实验）’论证。”于是，我同意参加节目。

结果，在长达一小时的访谈中，塞尔一开口就说：“辛顿是一个联结主义者（指认知过程通过大量简单单元之间的连接和互动实现），所以他当然对‘中文房间’论证没有问题。”

我认为这是很荒谬的，甚至是一个故意欺骗的、不诚实的论证。

这个论证的核心是：假设有一个房间，里面全是中国人（或者说是懂中文的人），他们通过互相传递中文信息来处理问题。

你可以输入一个英文句子，他们会通过传递中文信息来处理，最终输出一个英文答案，尽管房间里的人没有一个懂英文，他们只是在运行一个程序。

这个论证的欺骗性在于，它试图混淆整个系统与房间内个体的区别。

塞尔希望你认为，既然房间的人不懂英文，整个系统也就不能理解英文。但这完全荒谬。系统的确理解英文，这就是我认为这个论证的问题所在。

问：谈到中国，许多AI研究人员没有预料到中国会在AI发展上赶上西方。您对此有何看法？这会带来什么后果？

辛顿：我认为虽然他们还没有完全赶上，但已经非常接近了。

虽然美国试图通过限制（比如最新的英伟达芯片）来减缓他们的发展，但这只会促使中国发展自己的技术。他们可能会落后几年，但最终会赶上。

中国的STEM教育比美国更好，他们有更多受过良好教育的人才。

04 封锁AI根本不现实

问：您知道马克·安德森（美国著名投资人）吗？他几乎在所有事情上都与您意见相左。

辛顿：是的，我几乎在每件事上都不同意他的观点。

问：安德森曾评论不明白为什么要封锁AI的发展，AI的数学原理已经公开并广泛教授。政府官员则回应道，在冷战期间，物理学曾被列为机密，若需要，他们也可以对AI的数学原理采取相同措施。

辛顿：确实，封锁AI是不现实的。

比如，谷歌2017年本可以不发表Transformer论文，但这只是让别人晚几年发现类似的技术。要完全阻止信息传播是不可能的。

问：所以您不认为政府能将某些数学知识列为机密？

辛顿：最多，他们能让信息分享更困难，稍微减缓发展速度。但无法阻止类似技术的诞生。

新思想常常与时代精神相关，一个人有新想法时，另一个人几乎同时会提出类似的想法。除非你能改变整个时代精神，否则无法阻止创新的传播。

问：关于去中心化AI，您怎么看？这是一个很大的话题。有些人认为，这就像把原子弹交给任何想要的人。

辛顿：我同意这种说法。

问：但也有人认为，去中心化AI是防止“天网”灾难的必要条件，即通过多个去中心化的AI相互制衡来建立防护机制。

辛顿：去中心化有两种含义。一种是分享权重，另一种是分布式系统。

如果我们谈论的是分享权重，那么问题在于，为什么阿拉巴马州没有原子弹？这是因为你需要裂变材料，而获取裂变材料非常困难，需要大量的时间和能源来生产。

因此，政府显然不希望裂变材料流落到外面。你不能在eBay上买到裂变材料。这就是为什么我们没有看到小州拥有原子弹。

对于这些大型聊天机器人来说，什么是等效的“裂变材料”呢？那就是基础模型。

这些模型可能花费了数亿甚至数十亿美元进行训练，使用了大量数据，具备极高的能力。如果你发布这些模型的权重，人们可以对其进行微调，用于各种不良用途。

因此，我认为发布这些大型模型的权重是疯狂的，因为这是我们限制不良行为者的主要手段。然而，Meta已经这么做了，其他人也纷纷效仿。现在为时已晚，这确实是一个疯狂的决定。

05 不后悔推进AI技术 需关注四大安全问题

问：如果您预见到某个重大突破，您会努力去推动它吗？

辛顿：只要这与确保安全性相结合，我会的。我后悔没有更早意识到AI的危险性。

问：爱因斯坦曾说过，如果他早知道自己的研究会促成原子弹的诞生，他会烧掉自己的手。您有类似的感觉吗？

辛顿：不，我没有这种感觉。也许我应该有，但我并不后悔我所做的事情。我后悔的是它可能导致一些不好的结果。

我认为随着国家、企业之间的竞争，AI的发展是不可避免的。因此，我们应该专注于如何安全地发展AI，而不是试图减缓它的发展。

问：除了对齐问题，AI的安全发展还意味着什么？

辛顿：我们需要解决一些短期风险，比如致命性自主武器。

应对这些问题需要类似《日内瓦公约》的协议，但在糟糕的事情发生之前，我们不太可能达成这类协议。

还有虚假视频和虚假图像干扰选举的问题，特别是当它们针对特定人群时。应对这个问题，我认为需要建立一个更好的系统来验证视频或图像的来源。

此外，还有歧视和偏见问题。

你可以冻结系统的权重，核查其偏见并进行一定程度的纠正。虽然无法完全消除偏见，但你可以让系统比训练数据更少偏见。通过不断替换为更少偏见的系统，偏见会逐渐减少。

最后是就业问题。

AI将取代许多常见的脑力劳动，比如AI系统会比人类更好地完成律师助理的工作。这对社会来说非常可怕，因为它会导致富人更富，穷人更穷。

我不知道如何解决这个问题。全民基本收入可能有所帮助，但它无法解决人们的尊严问题，因为失去工作会让人们感到尊严受损。

问：当您离开谷歌时，您公开表达了对AI安全的担忧。做出这个决定并向世界表达您的焦虑，最困难的部分是什么？

辛顿：我不觉得这很困难。我已经75岁了，本来也准备退休了。我不再像以前那样擅长做研究，经常会忘记变量的含义。

所以，退休是顺理成章的事情。我只是在离开时顺便提到了AI安全问题。我没想到接下来会发生什么。

问：您刚提到自己年纪大了，编程时会忘记变量名，因此打算转向哲学研究。您能谈谈未来的展望吗？

辛顿：我认为，未来世界会因为AI而发生巨大变化，而且速度会相当快。其中有些变化会非常好，有些则会非常糟糕。

我们需要尽力减轻负面影响。我现在还能做的是鼓励年轻的研究人员关注安全问题。

问：关于AI对齐问题，您怎么看？你认为我们能够解决对齐问题吗？

辛顿：对齐问题非常复杂，就像试图找到一条与两条垂直线平行的线一样困难。

人们对对齐的讨论往往过于天真，比如“人类的好”是什么？有些人认为好的东西，另一些人可能认为是坏的。

所以，对齐问题非常棘手。

06 获诺奖觉得有点儿尴尬

问：您对年轻的AI研究人员、数学研究者、哲学家以及刚进入STEM领域的学生有什么建议？

辛顿：科学研究中的许多兴奋点现在都集中在神经网络（现在称为AI）上。

事实上，物理学家们甚至想把AI归入物理学。诺贝尔物理学奖和化学奖也颁给了从事AI研究或使用AI的人。

所以，我的建议是，AI是一个充满活力的领域。但其他领域也会有重要进展，比如室温超导体的发现可能会彻底改变太阳能的应用。纳米材料也非常令人兴奋，但它们也将使用AI。

所以我认为，最激动人心的科学领域可能都会至少使用AI工具。

问：您去年因在AI和神经网络方面的贡献获得了诺贝尔物理学奖。您对此有何感想？

辛顿：我并不是物理学家。

大学一年级时，我的物理成绩很好，但我并不擅长数学。如果我的数学更好，我可能会继续从事物理研究，也就不会获得诺贝尔奖了。所以，我对自己获奖感到有些困惑。

其实，我开发的玻尔兹曼机确实与物理学有关，但它并不是当前成功AI系统的核心。真正推动AI行业发展的是一种叫做反向传播的算法。

我对因玻尔兹曼机的获奖感到有些尴尬，因为它并不是我研究生涯中最成功的部分。（腾讯科技特约编译金鹿、Helen）