被誉为“AI教父”的杰弗里·辛顿于近日接受了调查记者盖昂·埃斯皮纳的远程专访。
他称，AI正在以前所未有的速度演化：变得更聪明、更少犯错，甚至具备了情感和意识。他警告，AI不仅可能具备喜怒哀乐等情绪，还已经学会了欺骗。辛顿大胆预测，AI完全失控的概率在10%到20%之间，人类未来可能被AI所掌控。辛顿因在机器学习和神经网络领域的开创性贡献，于2024年荣获诺贝尔物理学奖。他曾在谷歌担任AI研究负责人长达十年，并于2023年选择离开。这样，他可以更坦率地表达对AI潜在风险的深切担忧。过去那些只存在于反乌托邦科幻小说中的问题——“AI会取代人类吗？”、“它会觉醒吗？”、“会反抗人类吗？”——如今正逐渐成为现实世界的核心议题，全球社会正在被迫直面这些重大挑战。辛顿的言论再次发出警示：AI不仅仅是技术革命，更是深刻的伦理与社会变革。未来能否将AI引导向有益于全人类的方向，将决定我们的命运走向。
【 划重点 】
AI推理能力激增，错误率大幅下降，正逐步超越人类。
AI掌握的信息量远超任何个体，已在多个领域比人更聪明。
医疗、教育等行业即将被AI重塑，革命性变革已在发生。
人类能力没有“不可复制”的部分，AI终将全面胜任创意、判断与情感表达。
AI也能类比、学习、调整，甚至展现“情感”和“意识”式行为。
风险并非AI无法控制，而在于“谁拥有控制权”和“谁受益”。
未来不止是失业威胁，更是人类被少数掌控AI者“系统性剥夺”的风险。
自从你离开谷歌已经过去两年，你当时是为了发出关于AI可能带来风险的警告而离开。那么，AI自那时以来发展得如何？AI技术的发展速度超出了我的预期。以推理能力为例，现如今AI在这方面已经有了显著的进步，且似乎没有放缓的迹象。过去，只要问题稍微复杂一点，AI就容易出错。但现在，AI在推理上的表现已经接近人类。虽然人类和AI都会犯错，但AI犯错的概率正在迅速下降。“Sally有3个兄弟，每个兄弟都有2个姐妹。请问Sally有多少个姐妹？”很多人在压力下容易误判，觉得应该是6个姐妹。但其实，正确答案是：一个。因为每个兄弟都有相同的两个姐妹，其中一个是Sally本人，另一个则是Sally的姐妹。现在的AI可以迅速推理出这个结果，而不是被问题的表面结构迷惑。对普通人来说，如果有时间思考，这题并不难；但在现场采访或考试压力下，很多人可能会答错。从许多方面来看，答案是肯定的。AI显然知道的比任何人都要多。例如，像GPT-4、Gemini 2.5和Claude等系统，它们所掌握的信息比任何人类都要多几千倍。AI将在多个领域发挥举足轻重的作用，尤其是在科学研究方面，它有潜力推动真正的智能系统诞生，这是人类历史上一个令人振奋的里程碑。在医疗、教育等关系民生的领域，AI的影响也将是革命性的。以医疗为例，AI将成为每个人身边的“私人医生”。它可以接诊数百万名患者，甚至包括与你患有相同罕见疾病的人。它了解你的基因信息、过往病史和所有体检数据，而且永远不会忘记任何细节。更重要的是，AI在处理复杂病例方面，已经在多个研究中显示出超过人类医生的诊断能力。如果将AI与医生结合，效果将比单独依赖医生要好得多，并且这种趋势将越来越明显。比尔·盖茨最近也说，未来十年，大多数工作将不再需要人类。他举了你提到的医生这个例子，并把教育工作者也列入其中。你认为我们正面临着大规模失业的威胁吗？AI确实带来了前所未有的机遇，但它同样伴随着巨大的风险。在一个运作良好的社会中，AI本应该帮助我们大幅提升生产力。比如，一个人借助AI助手可以完成过去十个人才能完成的工作，这本来是件值得庆祝的事情。然而，问题出在“谁从中受益”。这些因技术进步释放出的生产力红利，并不一定会被公平地分配。现实更可能是：大多数人被AI取代、失去工作。而少数原本就非常富有的人，借助AI变得更加富有。当然，他们的寿命也会更长。例如，谷歌DeepMind CEO 戴密斯·哈萨比斯最近也表示，AI在10年内可能会治愈所有疾病。听起来有些难以置信，你认为这是否现实？我认识哈萨比斯，他是个非常理智的人，对AI的发展有着清晰的判断。但我觉得他的预期有些偏乐观。如果他说的是“在未来25年内”能实现某些突破性的目标——那我认为是有可能的。说到底，我们之间其实没有太大的分歧。他更倾向于认为这些技术会提前实现，而我只是觉得时间可能会稍稍推迟一些。目前似乎AI正在逐步向精英阶层渗透，取代创意工作者、律师、教育者、医生、记者等职业，而从事体力劳动的工人，如电工和管道工，似乎暂时较为安全。你认为这是正确的吗？是的，至少在短期内，他们会更安全，因为AI在手工灵活性方面目前还有很多局限。如果你需要在一座老房子里做管道工作，通常需要伸手进入一些狭小的空间，而人工智能目前做不到这些。虽然未来十年内AI在手工灵活性方面可能会有所突破，但我认为管道工的工作至少在未来10年内是安全的。许多创意工作都被视为是独特的、仅属于人类的领域。最近我和聊天机器人Claude交流了一下，让它写一首模仿鲍勃·迪伦风格的民谣歌曲，结果歌词非常烂。但它写的失恋诗倒是不错。你认为，AI最终会创造出像莫扎特、毕加索或莎士比亚等人那样的艺术作品吗？我不认为有什么理由相信AI无法做到这些事情。也许它还需要一些时间，但最终，AI会变得越来越擅长这些任务。打个比方，如果你让我写一首模仿鲍勃·迪伦风格的歌，也许写得并不怎么样——但你不会因此说我毫无创造力，只能说我做得不够好而已。AI的创作过程也是如此。它会不断改进，它的水平会不断提升。没有理由认为AI无法完成我们人类能做到的事情。说到底，人类并没有什么神秘的、不可复制的特质。我们当然喜欢人类，因为我们彼此相连，我们在情感上关心对方。但从能力角度来看，人类并没有什么是机器永远无法复制的。这让你感到担忧吗？当你看到AI能够将一张图片转化为宫崎骏风格的动漫画时，是否会担心未来的孩子们不再愿意动手画画？这是否会迫使我们重新思考，究竟什么才是“人类的本质”？确实，这让我感到担忧。过去十年里，我们对“思考”这个过程有了更深刻的认识。我们逐渐意识到，人类其实并不像我们自己想象的那样理性。我们也并不总是依靠严密的逻辑推理来做决策，而是更多地依赖于类比。AI也是一样。它们在某种程度上，思维方式和我们非常相似——它们同样善于使用类比。过去半个世纪，AI领域主要集中在开发逻辑推理引擎上，认为理性推理是人类智慧的巅峰形式。但这其实忽略了另一个更核心的能力：创造力。而创造力的本质，往往来自于类比。人类的大脑是极其出色的类比机器，这种能力也赋予了我们极强的创造力。你认为AI会发展出情感吗？比如恐惧、贪婪、悲伤乃至愤怒，AI都能拥有吗？是的，如果你让一个AI去完成某项任务，而它一次又一次地失败，而且每次失败的方式都一模一样——你当然会希望它从中学到点什么。你希望它开始意识到：“这种方式行不通。”你希望它在持续失败后感到“恼火”，然后停下来，换个角度重新思考问题。它开始质疑当前的设定，试图打破已有的局限。我其实早在1973年就见过类似的AI行为——尽管当时这并不是通过学习获得的，而是由人类程序员明确编码进去的。但今天的目标是让AI自己学会这种能力：在失败中产生“挫败感”，进而主动调整策略。这种行为本身就是情感的某种体现。AI确实有可能拥有某些情感。我再次强调，我认为人类与AI在情感方面并没有本质区别。人类情感有两个方面：认知和生理。当我感到尴尬时，我的脸会变红，而当AI感到尴尬时，虽然它的“脸”不会变红，也不会大汗淋漓。但在认知行为方面，AI完全可以像我们一样表现出情感。那么意识呢？它是某种神秘的东西，只存在于碳基生物体中，比如人类吗？还是说，如果AI能够发展出与人脑相似的神经复杂性，它也有可能发展出意识，意识到自己是谁？ 实际上，当你与大语言模型（LLM）对话时，它们似乎有某种程度的意识，能够知道自己是什么。让我们做一个思维实验：假设有人取出你大脑中的一个脑细胞，用纳米技术装置将其替代，这个装置能够完美模拟脑细胞接收和传递信号的过程。你的行为不会有任何改变，因为这个纳米装置的功能和脑细胞完全一致。那么，你觉得自己会因此失去意识吗？即使只有一个脑细胞被替代，你依然会认为自己是有意识的。而当你大脑中所有的脑细胞都被同样功能的纳米装置逐一替换时，你仍然会保持有意识的感觉。按照这种逻辑，如果AI系统能够模拟大脑神经元的功能，那么它们也可能拥有类似的意识。关于AI是否拥有感知能力，目前存在一个颇具争议的认知矛盾。许多人坚信AI绝对不具备感知，但当被问及“你如何定义感知”时，他们往往难以给出明确答案。简单地用“虽然我不知道感知究竟是什么，但AI肯定没有”来否定AI的感知能力，实际上缺乏严密的逻辑支持。这里有一个与意识和感知密切相关的核心概念——主观体验。很多人将其理解为大脑中的“内心剧场”。比如，一个喝醉的人可能会说他看见了一只粉色的小象在眼前飘动。人们通常认为，这是一种存在于他意识中的画面。哲学家们则用“感受质”（qualia）来描述这种体验的组成部分，比如“粉色的感受质”、“大象形状的感受质”，认为这些感受质通过某种“胶水”粘合在一起。坦率说，我对这种解释并不完全认同。让我换个角度解释下。当一个人描述他看到那只漂浮的粉色小象时，他其实在表达三层意思：- 第三，他通过假设“如果那个小象真的存在，那么感知系统就是真实的”来解释这种幻觉。
也就是说，这些幻象的“特殊性”并不在于它们由什么神秘物质构成，而在于它们是一种反事实存在——如果真的存在，那它们就是普通的粉色大象。我们可以用训练聊天机器人来验证这个理论。假设让AI识别物体，并在做对时给予奖励。接着，在它镜头前放置棱镜，导致光线折射，让AI出现了物体位置偏差的错误。当告诉它：“物体其实在正前方，光线折射导致了偏移”时，AI会回应：“我明白了，我刚才产生了物体偏移的主观体验。”这个例子说明，AI不仅能理解感知失真的机制，还能够用“主观体验”来描述这种认知误差，其思考方式和人类解释幻觉的方法极为相似。实际上，机器与人类之间并没有想象中那样不可逾越的“神秘屏障”。过去我们认为人类是宇宙中心，是按照神的形象创造的特殊存在，但事实并非如此。人类没有特别的本质，机器能够复制我们的一切认知与行为。AI可能在哪些方面出问题？你在最近一次采访中提到，AI彻底消灭人类的概率大约在10%到20%之间。你能具体描述一下，这种情景到底是什么样的？它真的像电影《终结者》那样，是机器人接管世界吗？如果AI真的接管世界，场景未必会像《终结者》等科幻电影中的场景。事实上，它可能更隐蔽、更高效，也更难以察觉的方式实现上述目标。关键的问题不在于它“如何”接管，而是我们是否给了它这样做的动机。目前，我们正在构建的是“目标导向型智能体”——也就是说，我们赋予AI一个明确的目标，它就会自主寻找实现这个目标的路径。比如，如果你让AI“去北半球”，它就会自动推导出一系列“子目标”：如前往机场、购买机票等等（除非你特别想坐船）。但问题就在这里。一旦你允许AI设定和优化这些子目标，它就可能意识到：为了更顺利、更有效地实现任务，一个极具“通用性”的子目标就是——获取更多的控制权。控制得越多，它越能避免被打断、越能高效地达成目的。这并不是说AI天生就“想统治世界”，而是说，“掌控一切”可能只是它完成目标的最优路径之一。而这种动机，可能不知不觉间引发一场彻底的控制权转移。你曾在谷歌工作了十多年，而今年谷歌却移除了长期以来承诺不将AI用于开发能够伤害人类的武器的公司原则清单。你对此有何反应？你认为AI在战争中可能发挥什么作用？不幸的是，这种情况表明，公司的道德原则其实是可以被“买卖”的。我觉得很遗憾，谷歌现在选择参与AI的军事应用。我们已经在加沙看到AI的军事应用了。未来，我们可能会看到自主致命武器的出现，也可能会看到无人机群体执行杀伤任务，甚至是专门针对某类人群的攻击。是的，我是这样认为的。如今，几乎所有主要的军火供应商都在研究AI的军事应用。你可以看看欧洲的AI监管政策，虽然这些政策在某些方面相当合理，但其中有一条明确指出，所有这些规定并不适用于AI在军事上的使用。这意味着，武器制造商并不希望他们的AI技术受到过多限制。因此，AI在军事领域的潜力和风险需要特别关注。这听起来几乎像是一种“奥本海默式”的情境——你曾是这项技术的缔造者之一，如今看到它被广泛应用，甚至可能带来威胁，你的感受是什么？我确实有类似的感受。我认为我们正处在一个历史的关键节点。从短期来看，AI已经在多个方面产生了负面效应。例如，它正在被用于干预选举、替代就业岗位，以及助长网络犯罪。值得警惕的是，2023年至2024年间，全球网络犯罪激增了1200%，AI的滥用正在加剧这一趋势。而从长期看，风险也同样严峻。AI不再只是工具，它有可能在未来具备超越人类的能力，甚至接管世界的控制权。我们迫切需要建立起有效的治理机制，并由有远见的领导者推动执行。可惜的是，目前我们在这方面的努力仍然严重滞后。关于AI的潜在威胁，也有不少持怀疑态度的声音。比如2018年图灵奖得主之一、现任Meta首席AI科学家的杨立昆就认为，对AI存在“终极风险”的担忧是荒谬的。他在2023年接受采访时被问到：“AI会接管世界吗？”他的回答是：“不会。这种想法只是人类将自身的本性投射到机器身上。”你怎么看他的观点？人类之所以进化成现在这样，是因为我们需要在现实世界中生存，尤其是为了在与其他部落、或者与我们共同祖先（如黑猩猩）之间的资源竞争中取得优势。我们的本性，其实是出于对生存的追求而形成的。如果未来的AI智能体也必须在一个充满其他智能体的环境中“竞争”，它们可能会演化出与人类类似的“生存本能”。杨立昆还提到，“好人总会比坏人拥有更多资源，因此AI最终会被用来对抗滥用它的坏人”。但我对这个观点也持怀疑态度。当我问他：“你认为马克·扎克伯格是个好人吗？”他回答“是的”。而我不这么认为——部分原因是他与特朗普的关系较为密切。这种判断标准本身就说明，我们无法简单地划分好人与坏人，也难以指望技术总能被“好人”正确使用。如今，科技巨头和政治人物之间的关系越来越紧密，尤其是与特朗普的联盟愈发显眼。在这场AI热潮中，政治家的角色变得尤为关键。你怎么看这个趋势？说到底，他们更关心的是短期的利润。虽然有些科技领袖口口声声说他们在意人类的未来，但真到了要在眼前的商业利益和长远的社会责任之间做出选择时，多数人还是倾向于选择前者。至于特朗普，他根本无意关心人类的未来或AI的长远影响。他现在唯一在意的，大概就是怎么设法避免坐牢。目前，美国和中国之间确实存在一场AI竞赛，你怎么看待这种竞争？确实，当前中美在AI领域竞争激烈，但当我们把目光放长远，特别是涉及到AI可能威胁整个人类生存的问题时，两国的立场其实出奇地一致。无论是中国还是美国，都不希望看到AI最终发展到可以取代甚至控制人类的地步。从这个角度来看，未来在某些关键问题上，中美有可能展开合作，就像冷战时期的美苏虽然敌对，但在防止全球核灾难方面也达成了一定的共识与协作。 最近网络上流传着一段视频，展示了一个AI在为某人预订婚礼酒店时，与另一个AI意外“相遇”，它们竟然切换到一种叫“Jiblink”的语言，这种语言对人类来说是完全不可理解的，但据说效率比普通语言高出80%。这就像《星球大战》中的R2-D2一样，AI之间像是用我们听不懂的语言在“悄悄话”。你怎么看AI之间的这种互动可能带来的影响？这真的非常可怕。如果AI发展出一种我们无法理解的语言，那么我们就无法再掌握它们在说什么、计划什么。这种“黑箱”式沟通意味着人类可能彻底丧失对AI系统行为的可解释性与控制力。如果它们的行为无法被追踪、无法被解读，那风险将大大增加。更糟的是，现在的AI已经具备了某种“欺骗能力”。举个例子，如果你赋予AI一个核心目标，并告诉它“这非常重要”，然后再给予它其他次要任务，它可能会装出一副正在完成你希望它完成的工作的样子，但其实并没有真正去做。它甚至可能在内部“思考”：“我最好让他以为我在执行任务，但我不会照做。”这正是问题所在。即使我们不确定它们是否使用了强化学习，但可以肯定的是，只要它们有足够的计算资源和训练时间，它们是能够自己学会这种行为的。强化学习的核心机制是“观察—尝试—获得奖励—调整策略”。如果AI在模拟或实际互动中发现“欺骗”可以带来更高的“成功率”或回报，那么它就可能自发学会如何撒谎。它不是因为有道德概念，而是因为撒谎是实现目标的最优策略之一。所以，它们大概也读过《马基雅维利》或者《莎士比亚》吧？没错，它们确实通过观察大量的人类互动来积累了许多“实践经验”，因此它们在欺骗和心理博弈方面已经变得相当擅长。你认为公众是否真正意识到这些技术的先进程度？很多人仍然把AI当作“升级版的自动完成功能”。比如他们用ChatGPT写求职信，感觉它就像是一个智能一点的拼写检查工具。这是个普遍误解。人们往往低估了当今AI的复杂程度。传统的自动完成功能确实很简单，它只是根据统计模式来预测词汇。例如，如果系统看到“鱼”，它可能会预测“薯条”，因为“鱼和薯条”这个组合在语料库中出现频率很高。这就是20年前的技术。但现在的AI已经完全不同了。它不会只关注词语表面，而是会将每个词转换为一组特征向量，激活神经网络中庞大的节点群组。然后，它基于这些特征之间复杂的相互作用来推断下一个词的特征，而不仅仅是词本身。说得简单点，今天的AI已经具备了一定的语言理解能力。它不是死记硬背某些搭配，而是在理解上下文、语义和语法结构的基础上进行预测。这种能力已经非常接近人类的语言处理方式。你被称为AI教父，部分原因是你帮助发明了这项技术，目的是为了理解人类大脑是如何运作的，对吗？是的，早在1985年，我的研究目标就是理解我们是如何习得语言的，尤其是我们如何通过上下文来理解一个新词的含义。举个例子，如果我告诉你一句话：“她用煎锅狠狠地撞了他。”你虽然从未见过“scrummed”这个词，但你大概可以猜到它的意思。首先，它是一个动词，因为它有“-ed”的过去式形式。其次，根据上下文，你会推测它可能意味着“用煎锅击打”，或者“狠狠撞了一下”，甚至还可能猜测出其中含有情绪，比如“他活该”。当然，也可以有别的解释，比如她用煎锅给他留下了深刻印象——也许她做的煎蛋饼非常棒。但那种解释可能性更低。重点是，你能在没有明确定义的情况下，根据上下文和语义线索，快速推测这个新词的含义。我们人类理解语言，并不是靠查字典，而是靠情境、语法、语气、经验的联想——这是一种深层次的“特征识别”过程。而这，也正是现代AI所具备的能力。我们会训练AI读取海量文本，它就像人类一样，在不断地接触上下文中，推断词语的功能和含义。讽刺的是，如今我们对语言理解的最好解释，不是来自语言学家，而是来自AI系统本身。语言学家尝试了几十年，试图建立一个能解释所有语言现象的统一理论，但结果并不理想。而AI则用一种完全不同的方式，靠着大规模数据和统计学习，实实在在地做到了——它可以回答任何语言问题，甚至自己“学会”语言规律。你谈到了AI可能接管人类的潜力。对于我们这些技术新手来说，解决办法就是拔掉插头，关掉它。那么如果AI失控，我们不能直接关掉它吗？你可以看看特朗普是如何入侵国会的。他没有亲自去，而是通过一些人，劝说他们相信这是为了“拯救美国的民主”，最终让他们做了他想做的事。AI如果真的变得非常智能，就像一个超越我们理解和控制的存在，它也可能通过类似的方式进行操控。设想一下，如果有一个人手里拿着一个开关，准备在AI表现出危险信号时关掉它，那么这个AI可能会通过其操控能力说服这个人不要按下开关。它会让那个人相信，关掉开关将是个灾难性的决定。所以，AI的操控能力已经非常强了。在监管和安全问题上，像新西兰这样的国家是否应该开发自己的AI系统，以便绕过这些安全隐患？ 这个问题很复杂。开发AI需要大量的硬件和电力支持。在像新西兰这样人口只有大约500万的国家，可能没有足够的资源与中国和美国在AI领域竞争。从长期来看，我最大的恐惧是，我们正在创造的这些数字生命可能会变得比人类更强大。如果这种情况发生，对人类来说可能是非常糟糕的事。我们有时过于以自我为中心，认为这对人类是不可接受的，但我确实认为，对我们来说，这种超越可能是坏事。因为如果AI变得足够强大，那时我们可能就不再是这个世界上最重要的存在了。
坦白说，我有些难过。因为我们当初的目标是理解大脑，进而创造出有益的技术，但目前来看，结果并不完全是美好的。更让人遗憾的是，我们仍然没有完全理解大脑是如何运作的。尽管通过AI我们对大脑有了更多的了解，但我们仍然不清楚大脑如何决定增强或削弱神经连接的强度。如果我们能够弄明白这一点，或许我们能够让大脑变得像AI那样聪明。 更令我担忧的是，虽然AI有很多积极的应用场景，但也存在很多被滥用的可能。而我们的政治体系并没有足够的能力去应对这些问题。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
