导语
深度学习奠基人之一、2024年诺贝尔物理学奖得主杰弗里·辛顿在GAGATalk的访谈中，以罕见的坦诚回顾了改变他人生的那通午夜来电。他分享了从质疑中坚持神经网络研究的往事，深入剖析了AI在就业、选举、安全等领域的短期风险，更严肃指出了“制造比我们更智能的生物”这一长期、未知的终极挑战。同时，他透露了诺贝尔奖金的分配决定，展现了其对科学传承与社会公益的深切关怀。
辛顿：我们正在制造比自己更智能的生物
深度学习先驱杰弗里·辛顿在访谈中分享了他获得诺贝尔物理学奖的意外经历，深入剖析了AI带来的短期与长期风险，并基于个人经历给出了对年轻研究者的建议。他认为我们正在制造比自身更智能的生物，这带来了前所未有的控制难题。
大纲与深读 9 章
展开「深读」看每一段讨论的问题与论据。
01
诺贝尔奖电话与梦境怀疑
- 半夜在加州酒店接到瑞典来电被告知获诺贝尔物理学奖
- 最初怀疑是恶作剧，随后两天怀疑自己在做梦
- 用统计推理比较‘梦中得奖’与‘现实得奖’的概率
深读这一段
讨论的问题：辛顿如何接受并相信自己获得了诺贝尔奖？
论据 / 案例：统计推理：心理学家获物理学奖概率约1/200万，梦中得奖概率约1/2，因此梦境概率是现实的百万倍
02
AI短期风险：滥用与危害
02:18- AI可能取代大量工作并加剧贫富差距
- 虚假视频可能破坏选举，网络钓鱼攻击因大语言模型增长1200%
- AI可被用于高效设计生物武器（如COVID），单个疯狂者即可造成巨大混乱
深读这一段
讨论的问题：AI在短期内可能带来哪些主要风险？
论据 / 案例：网络钓鱼攻击去年上升1,200%；AI可能用于设计类似COVID的生物制剂
03
偏见问题与可测量性
03:33- AI可能延续训练数据中的历史偏见（如假释决定中的种族歧视）
- 与人类不同，AI系统的权重可以冻结并测量歧视程度
- 目标应是AI比现有系统歧视更少，而非完全无偏见
深读这一段
讨论的问题：AI的歧视与偏见问题应如何对待？
论据 / 案例：通过冻结权重可精确测量AI歧视，而人类受测时会改变行为（大众效应）
04
超级智能长期威胁
04:08- AI在5-20年内有50%概率比人类聪明，这是前所未有的情况
- 历史上几乎没有智慧低者控制智慧高者的例子（婴儿控制母亲除外）
- 神经网络通过数据学习，其行为不可预测，控制如同养育孩子
深读这一段
讨论的问题：人类能否控制比自己更智能的AI系统？
论据 / 案例：唯一好的控制例子是婴儿控制母亲，进化为此付出了巨大努力
05
训练数据与AI行为引导
06:00- 当前大型聊天机器人在所有可用数据上训练，包括连环杀手日记
- 就像不会让孩子阅读连环杀手日记学习阅读一样，AI训练数据需要筛选
- 主要控制方式是通过好行为训练，使其模仿所需行为
深读这一段
讨论的问题：如何确保AI系统行为合理？
论据 / 案例：类比：大型AI在包括连环杀手日记的所有数据上训练，如同让孩子用此类材料学习阅读
06
神经网络的学术抗争
07:25- 神经网络长期被认为荒谬且永远无效，几乎整个计算机科学界都反对
- 辛顿的自信部分源于少年时不信基督教的经历（对抗群体信念）
- 神经网络的遭遇类似大陆漂移理论：证据确凿但被主流学界排斥
深读这一段
讨论的问题：为何神经网络曾遭到学术界强烈反对？
论据 / 案例：大陆漂移理论（1920年代提出）被地质学界完全否定；神经网络论文曾被期刊拒绝
07
给研究者的建议
10:05- 如果一个想法对你正确但与所有人不同，不要放弃直到找出错误
- 大多数这样的想法最终是错的，但偶尔正确的想法只有坚持才能发现
- 辛顿善于忽视他人意见，这对坚持神经网络研究至关重要
深读这一段
讨论的问题：研究者应如何对待与主流相悖的创意？
论据 / 案例：辛顿根据自己的经历建议：除非自己发现错误，否则不要因他人反对而放弃想法
08
对风险认知的反思
11:20- 科学家比政治家和公众更了解AI技术，但仍存在分歧
- 部分科学家认为大型聊天机器人只是统计技巧，并不真正理解内容
- 辛顿后悔没有更早思考超级智能带来的存在性威胁
深读这一段
讨论的问题：科学界对AI威胁的理解与公众有何不同？
论据 / 案例：图灵在1950年代早期就提到AI比人类聪明后‘我们就完了’，但大多数人直到问题临近才思考
09
奖金捐赠与同行纪念
12:20- 一半奖金捐给加拿大组织，为原住民社区培训安全饮用水技术
- 另一半用于设立以特里·谢诺夫斯基命名的年轻研究者奖项
- 奖项将授予提出大脑工作疯狂理论的年轻研究者
深读这一段
讨论的问题：辛顿如何分配诺贝尔奖金以体现其价值观？
论据 / 案例：加拿大安大略省20%的原住民社区缺乏安全饮用水；特里·谢诺夫斯基是玻尔兹曼机理论的共同提出者
金句
- "Between five and 20 years from now, there's a good chance, a 50% chance we'll get AI smarter than us." —— 未来5到20年，有50%的概率我们将获得比人类更智能的AI。
- "Anybody who says it's all going to be fine is crazy, and anybody who says they're inevitably going to take over is crazy." —— 说‘一切都会好’的人是疯子，说‘AI必然会接管一切’的人也是疯子。
- "We're making things more intelligent than ourselves. We've never been in that situation before." —— 我们正在制造比自己更智能的东西，这是人类从未面临过的处境。
- "If you have an idea and it seems right to you and it's different from what everybody else believes, don't give up on it until you've figured out why it's wrong." —— 如果你有一个想法，你觉得它是对的，但与所有人的信念都不同，那就坚持下去，直到你弄清楚它为什么是错的。
- "It's ridiculous in this rich country like Canada that 20% of the indigenous communities do not have safe drinking water." —— 在加拿大这样富裕的国家，20%的原住民社区没有安全饮用水，这太荒谬了。
原文链接
↗完整内容见原文：GAGATalk · 辛顿：我们正在制造比自己更智能的生物
