近日在备受瞩目的2025世界人工智能大会暨人工智能全球治理高级别会议上,77岁的“深度学习之父” 、图灵奖得主、2024年诺贝尔物理学奖获得者杰弗里·辛顿(Geoffrey Hinton)发表了主旨演讲。
各位同事、阁下、领导、女士们、先生们,
首先非常感谢大家给我这个机会,分享我对AI历史及未来的个人观点。在过去60多年里,AI发展存在两种不同的范式和路径。一种是逻辑性范式,这是过去一个世纪的主流,认为智能的本质在于推理,通过符号规则对符号表达式进行操作来实现推理,以此帮助我们更好地理解世界。另一种是以生物为基础的范式,这是图灵和冯・诺依曼所认同的,他们认为智能的基础是学习,是理解网络中的连接速度,而理解是前提,之后才能进行转化。与这两种理论相对应的是不同的AI类型。符号型AI关注数字,而这些数字如何成为核心关注点,心理学家则有完全不同的理论——他们认为数字的意义在于一系列语义学特征,这些特征的存在使其成为独特的标志。
1985年,我做了一个小型模型,尝试结合这两种理论,以此理解人们对词语的理解方式。我给每个词设置了多个不同特征,记录前一个词的特征后,就能预测下一个词是什么。在这个过程中,我没有存储任何句子,而是生成句子并预测下一个词。其中的相关性知识,取决于不同词的语义特征之间的互动方式。
如果问未来30年会发生什么,从发展轨迹能看到一些趋势。十年后,有人沿用这种建模模式,但将规模大幅扩大,使其成为自然语言的真实模拟。20年后,计算语言学家开始接受用特征向量嵌入来表达语义。又过了30年,谷歌发明了Transformer,OpenAI的研究人员也向人们展示了它的能力。所以我认为,如今的大语言模型就是我当年微型语言模型的 “后代”。它们使用更多词作为输入,采用更多层的神经元结构,由于需要处理大量模糊数字,学习特征之间也建立了更复杂的交互模式。但和我做的小模型一样,大语言模型理解语言的方式与人类相似——基本逻辑是将语言转化为特征,再以完美的方式整合这些特征,这正是大语言模型各层级所做的工作。因此我认为,大语言模型和人类理解语言的方式相同。
用乐高积木来打比方或许能更好地解释 “理解一句话” 的含义。符号型 AI 是将内容转化为清晰的符号,但人类并非如此理解。乐高积木能拼出任何 3D造型,比如小车模型。如果把每个词看作多维度的乐高积木(可能有几千个维度),语言就成了一种建模工具,能随时与人沟通,只要给这些 “积木” 命名——每个 “积木” 就是一个词。
不过,词和乐高积木有很多不同:词的符号形态可根据情况调整,而乐高积木造型固定;乐高积木的拼接是固定的(比如正方形积木插入正方形孔洞),但语言中每个词仿佛有多个 “手臂”,要通过合适的 “握手” 方式与其他词互动,词的 “造型” 变化,“握手” 方式也会改变。当一个词的 “造型”(即意思)改变,它与下一个词的 “握手” 方式就会不同,进而产生新的含义。这就是人脑或神经网络理解语义的根本逻辑,类似蛋白质通过氨基酸的不同组合形成有意义的结构。
所以我认为,人类理解语言的方式与大语言模型几乎一致,人类甚至可能和大语言模型一样产生 “幻觉”,因为我们也会创造出一些虚构的表达。
软件中的知识是永恒的,即便存储LLM的硬件被摧毁,只要软件存在,就能随时 “复活”。但要实现这种 “永生”,晶体管需在高功率下运行以产生可靠的二进制行为,这个过程成本很高,且无法利用硬件中不稳定的类似特性——它们是模拟型的,每次计算结果都不同。人脑也是模拟型而非数字型的,神经元每次激发的过程都一样,但每个人的神经元连接方式不同,我无法将自己的神经结构转移到他人脑中,这就导致知识在人脑间的传播效率远低于在硬件中的传播。
软件与硬件无关,因此能 “永生”,还能带来低功耗优势——人脑只需30瓦特就能运转。我们的神经元连接达数万亿个,无需花费大量资金制造完全相同的硬件。但问题在于,模拟模型间的知识转移效率极低,我无法直接将脑中的知识展示给他人。
Deepseek的做法是将大神经网络的知识转移到小神经网络中,即 “蒸馏”,类似教师与学生的关系:教师将词语在上下文中的关联教给学生,学生通过调整权重学会表达。但这种方式效率很低,一句话通常只有100个比特的信息,即便全被理解,每秒最多也只能传递约100个比特。而数字智能间的知识转移效率极高,同一神经网络软件的多个拷贝在不同硬件上运行时,能通过平均化比特的方式分享知识。如果智能体在现实世界中运行,这种优势更明显——它们能不断加速、拷贝,多个智能体比单个智能体学得更多,还能分享权重,这是模拟硬件或软件做不到的。
生物计算功耗低,但知识分享难。如果能源和计算成本低廉,情况会好很多,但这也让我感到担忧——几乎所有专家都认为,我们会创造出比人类更智能的AI。人类习惯了作为最智能的生物,很难想象AI超越人类的场景。其实可以换个角度:就像养鸡场的鸡无法理解人类一样,我们创造的AI智能体已能帮我们完成任务,它们能拷贝自身、评估子目标,还会为了生存和完成目标而寻求更多控制权。
有人认为可以在AI变得过强时关掉它们,但这并不现实。它们可能会像成年人操纵3岁孩子一样操纵人类,劝说控制机器的人不要关闭它们。这就像把老虎当宠物,幼虎很可爱,但长大后可能伤人,而养老虎当宠物通常不是好主意。
面对AI,我们只有两个选择:要么训练它永远不伤害人类,要么 “消灭” 它。但AI在医疗、教育、气候变化、新材料等领域作用巨大,能提升所有行业的效率,我们无法消除它——即便一个国家放弃AI,其他国家也不会。因此,若想让人类生存,必须找到训练AI不伤害人类的方法。
我个人认为,各国在网络攻击、致命武器、虚假信息操纵等领域的合作难度较大,因利益和看法不同。但在 “人类掌控世界” 这一目标上,各国存在共识:若有国家找到防止AI操控世界的方法,一定会愿意分享。因此我提议,全球主要国家或AI大国应建立一个由AI安全机构组成的国际社群,研究如何训练高智能AI向善 —— 这与训练AI变得聪明的技术不同。各国可在自身主权范围内研究,再分享成果。尽管目前还不知道具体怎么做,但这是人类长期面临的最重要问题,且所有国家都能在此领域合作。
谢谢大家。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )