深度学习：推理的天花板？
深度学习能否靠继续缩放通向通用智能，还是其关联学习本质注定留下抽象推理与数据效率的鸿沟？
立场盘点 193 位
Dario认为AI三年来的指数级进步基本符合其预期，最令他意外的是公众与政策制定者集体忽视了指数增长即将触顶的事实
“最令人意外的是，公众完全没有意识到我们距离指数增长的终点有多近。”
来源访谈 →深度学习本质是逐点的几何映射学习，需要训练数据对输入-输出空间密集采样，因而在抽象推理和远距离泛化任务上能力有限。
“Deep learning is really point-by-point geometric morphing, while abstract rules can generalize much better. —— 深度学习本质上是逐点的几何映射，而抽象规则能更好地泛化。”
来源访谈 →马库斯认为深度学习本质上是关联学习而非真正的抽象推理，无法像人类一样将学到的知识灵活迁移到新情境。
“AI实际上是一堆不同技术的集合，其中一些有其独特的优势和劣势。（英文原话：AI is actually a grab bag of different techniques, and some of them have unique strengths and weaknesses.）”
来源访谈 →当前Scaling Law无法弥合效率鸿沟，无限增加参数量也只能将所需数据减少约10倍，暗示人类智能可能遵循不同的缩放曲线。
“根据Scaling Law，即使无限增加模型参数量，也只能将所需数据量减少约10倍，远不足以弥合人类与AI之间数千甚至数百万倍的效率差距。这表明人类智能可能遵循不同的缩放曲线。”
来源访谈 →她以DeepMind的Atari游戏程序为例，指出强化学习虽能掌握游戏却未形成真正的概念模型，因此无法适应环境的微小变化
“虽然它能通过强化学习掌握游戏，但并未学到人类意义上的'球拍'或'球'的概念，因此无法适应微小的环境变化（如移动球拍）。”
来源访谈 →他批评研究界为快速发表论文倾向堆数据、贴标签，深度学习模型看似弄明白了，但其理解方式与人类根本不同。
“Our tendency in order that we get an archive paper really quickly is you just show a lot of data and give the labels and hope it figures it out. But it's not figuring it out in the same way we do.（为了快速发表论文，我们倾向于展示大量数据并贴上标签，然后希望它自己弄明白。但它理解世界的方式与我们根本不同。）”
来源访谈 →Karpathy认为神经网络本质上只是带有可调权重旋钮的复杂数学表达式，不应过度赋予人脑类比的意义。
“它真的只是一个带有旋钮的复杂数学表达式，而这些旋钮需要适当的设置才能让它执行你想要的任务。"It's really just a complicated mathematical expression with knobs and those knobs need a proper setting for it to do something desirable."”
来源访谈 →机器学习不只是应用统计学的计算方法，把它完全归入统计学并不那么有用
“化学只是物理学，但我认为将化学仅仅视为物理学并不那么有用。（Chemistry is just physics, but I don't think it's as useful to think about chemistry as being just physics.）”
来源访谈 →以深度学习为代表的当前AI本质是高度发达的“系统一”，擅长模式匹配与预测，但缺乏“系统二”式的推理能力，因而强大却有局限。
“Deep learning matches patterns and anticipate what's going to happen so it's highly predictive. What deep learning doesn't have... is the ability to reason. There is no system two there.——深度学习匹配模式并预测接下来会发生什么，因此具有高度的预测性。深度学习所缺乏的……是推理的能力。那里没有‘系统二’。”
来源访谈 →DHH认为许多开发者无法接受自己本质上只是做数据库增删改查的工作，于是通过过度复杂化工具链来补偿这种存在性恐惧。
“A lot of people, I think, are very uncomfortable with the fact that they are essentially CRUD monkeys... And they have to compensate for that existential dread by over complicating things. —— 我认为，许多人对自己本质上只是“增删改查猴子”的事实感到非常不适……他们不得不通过过度复杂化事物来补偿这种存在性恐惧。”
来源访谈 →马斯克认为人类语言交流的有效比特率极低（全天不到1比特/秒），高度有损的压缩解压过程构成信息传递的根本瓶颈
“人类全天通信的“有效比特率”不到1比特/秒。这是一个高度有损的压缩与解压过程。”
来源访谈 →马库斯反对完全抛弃符号操作而只依赖深度学习，主张未来AI必须结合深度学习的感知能力与符号系统的推理能力。
“我们确实需要能够表示符号的东西。（英文原话：We really do need to have stuff that represents symbols.）”
来源访谈 →Sutskever认为深度学习革命的关键想法早已存在，真正缺失的是海量监督数据、足够算力，以及坚信将现有技术与两者结合就能成功的信念，AlexNet为此提供了无可辩驳的证据。
“将现有技术与海量数据和算力结合就能成功”
来源访谈 →珀尔认为当前深度学习等机器学习本质上是条件概率估计器，只能学习变量间的关联，无法回答因果问题，这限制了AI达到真正智能水平。
“当今深度学习等机器学习方法本质上是条件概率估计器，擅长学习变量间的关联，但无法回答“为什么”或“如果……会怎样”这类因果问题。这限制了AI达到真正智能水平。”
来源访谈 →他认为机器学习相对数学是浅层领域，更依赖爬山式累加创新而非深邃抽象，因此AI更容易通过大量可验证子任务训练获得核心研发直觉。
“我认为，相对于数学，机器学习是一个非常浅层的领域。（I think ML is a very shallow domain relative to math.）”
来源访谈 →他乐于将认知视为基本计算，但认为在解释清楚是哪些基本计算造就人类认知的全部丰富性之前，理解并不算完整。
“我乐于将其视为基本计算。但请注意，除非有人向我解释，是什么基本计算导致了人类认知的全部丰富性，否则我不会满足。（I'm happy to think of it as just basic computation. But mind you, I won't be satisfied until somebody explains to me how what the basic computations are that are leading to the full richness of human cognition.）”
来源访谈 →米切尔认为如何形成并灵活运用概念是AI最重要的未解难题，当前深度学习并未学到人类意义上的概念
“如何形成并灵活地运用概念，是人工智能最重要的开放性问题。（How to form and fluidly use concepts is the most important open problem in AI.）”
来源访谈 →Imas认为经济学家个体预测分歧巨大且历史记录不佳，又缺乏需求弹性等关键数据，应放弃猜测单一未来，转向构建不同情景并分析每种情景下的稀缺性维度。
““If you don't take anything else out of this conversation from me: We don't have any data.”——“如果你们从我的发言中只记住一点：我们缺乏数据。””
来源访谈 →短视距RL训练可能不会泛化到长视距RL表现，难以指望受训于白领任务的agent在现实世界中从零建立像山姆·沃尔顿那样的商业帝国。
“短视距RL训练可能不会泛化到长视距RL表现。若如此，如何期望agent从训练于白领任务泛化到能在现实世界中从零建立像山姆·沃尔顿那样的商业帝国？”
来源访谈 →人类持续学习是把正确直觉和宏观理解“凿”进权重而非逐字记住经历，而模型梯度更新极度样本低效，已部署的在线学习模型需从数百万用户学习完全相同的内容。
“人类持续学习不是逐字记住全部经历，而是将正确直觉和宏观理解“凿”进权重。模型的梯度更新极度样本低效，已成功部署的在线学习模型都需从数百万用户中学习完全相同的内容。”
来源访谈 →深度学习只是以一定准确率解决了标注问题，并未解决符号与真实世界物体之间稳固关联的落地问题。
“The labeling problem was solved with some percentage accuracy which is different from the grounding problem.（标注问题以一定准确率得到了解决，但这与符号落地问题截然不同。）”
来源访谈 →沃尔夫勒姆认为ChatGPT这类大语言模型是宽而浅的，而他要构建的计算体系最重要的特征是深。
“我认为ChatGPT这类东西是宽而浅的，而我们试图通过构建计算来实现的是一种深，当然也很广，但最重要的是深的东西。"I view sort of the chat GPT thing as being wide and shallow and what we're trying to do with sort of building out computation as being this sort of deep also broad but but most importantly kind of a deep type of thing."”
来源访谈 →质疑短期RL训练能否泛化到构建企业等长期、非结构化的复杂任务，并认为Dario Amodei的言论也暗示这种泛化并非无限强。
“Maybe I'm reading too much into it but he seems to be saying that short-horizon RL training doesn't necessarily generalize to long-horizon RL performance. —— 也许我解读过度了，但他似乎在说，短期强化学习训练不一定能泛化到长期性能。”
来源访谈 →Tedrake认为深度学习让一些事情变得太容易，下一代不再因采用严谨方法获得即时回报，担心严谨推理训练的传承因此受损。
“我只是觉得深度学习让一些事情变得太容易了，以至于我们的下一代不会立即因采用更严谨的方法而获得回报，然后我想知道这会把我们带向何方。”
来源访谈 →Srinivas将Perplexity定位为知识发现引擎，而非搜索引擎或简单的答案引擎
“I think of Perplexity as a knowledge discovery engine neither a search engine, we of course we call it an answer engine. ——我认为Perplexity是一个知识发现引擎，既不是搜索引擎，我们当然称之为答案引擎。”
来源访谈 →认同加里·马库斯的观点：人类儿童能从两三个例子快速学习而机器学习需要百万级数据，说明人类天生具备先验知识框架，而AI领域尚未解决如何内置这种先验知识。
“人类儿童能从极少的例子（两三个）中快速学习，而机器学习需要百万级数据。这表明人类天生具备某种预期或知识框架，使高效学习成为可能，而AI领域尚未解决如何内置这种“先验知识”的问题。”
来源访谈 →Amodei 认为在多维度上精确引导模型行为极其困难，这种「打地鼠」式调整正是未来控制更自主、更强大 AI 系统问题的早期迹象。
“引导 AI 系统的困难，以及确保我们推动它向一个方向发展时，它不会以我们不想要的方式在其他方面走向另一个方向……我认为这是未来挑战的早期迹象。”
来源访谈 →费鲁奇表示开发Watson时不指望语言理解上的全新发明，而是依靠整合现有NLP与机器学习技术的架构能力。
“我们并不打算真正理解语言来解决这个问题……我的假设是不指望某种全新的发明。我指望的是整合现有技术的能力。（英文原话：We're not going to actually understand language to solve this problem... My assumption is I'm not counting on some brand new invention. What I'm counting on is the ability to take everything that has been done before to figure out an architec”
来源访谈 →以AlphaEvolve为例主张将大语言模型等基础模型与进化搜索、蒙特卡洛树搜等经典计算技术结合，是探索新知识、超越现有数据边界的重要方向。
“将基础模型与进化搜索、蒙特卡洛树搜等经典计算技术结合，是探索新知识、超越现有数据边界的重要方向。”
来源访谈 →DHH认为现代软件开发的根本洞见来自敏捷运动：在真正使用一个程序之前，无法知道它应该做什么。
“现代软件开发的根本洞见来自敏捷软件开发运动……在你真正使用一个程序之前，你并不知道它应该做什么。（The fundamental insight of modern software development came from the Agile software development movement... you don't know what a program should do until you play with it.）”
来源访谈 →构建庞大且完全一致的知识库是不可能的，Cyc改用局部一致性模型以容忍现实中的细微矛盾和例外
“我们不得不放弃全局一致性。这有点像地球表面整体是球形的，但你每天的生活都像是在平地上进行。”
来源访谈 →吉布森认为中心嵌套这类含极长多重依赖的结构在任何语言中都百分之百无法理解，其困难是跨语言普遍存在的。
“无论你观察哪种语言……它都不会是好的。可以百分之百保证，那种结构在该语言中将是无法理解的。（原文：No matter what language you look at... it won't be good. It's guaranteed like 100% that will be uninterpretable in that language.）”
来源访谈 →AlphaGo的训练本质上是纯监督学习过程，而不是传统的策略梯度强化学习。
“AlphaGo的训练本质上是一个纯监督学习过程，而非传统的策略梯度强化学习。每个动作都能获得一个由MCTS生成的改进标签，这种低方差的学习信号避免了稀疏奖励带来的信用分配难题。”
来源访谈 →肖莱以科学体系作为递归自我改进系统的现实模型，指出其资源消耗指数增长而产出仅线性增长，证明此类系统不会出现爆炸式进步。
“Science is probably the closest thing we have today to a recursively self-improving superhuman AI, and you can observe that scientific progress is not actually exploding. —— 科学可能是我们目前拥有的最接近递归自我改进的超人类AI的系统，而你可以观察到科学进展实际上并未爆炸式增长。”
来源访谈 →马库斯认为AI的发展更可能是线性而非指数级，智能是多维变量，不同维度的发展速度并不均衡。
“AI的发展更可能是线性而非指数级的。智能是一个多维变量，不同维度的发展速度并不均衡。”
来源访谈 →马库斯认为通用智能的关键在于将一个领域学到的知识灵活应用到另一个领域，而非完成无限多的任务。
“真正的通用智能不是完成无限多的任务，而是能够将在一个领域学到的知识灵活应用到另一个领域。”
来源访谈 →桑德森认为从一个无比巨大的集合中随机选取元素，与找到有效方法去主动描述该元素，是两项截然不同的任务。
“有时从一个无比巨大的集合中随机选择一个元素，与找到一种有效的方法去主动描述它，是两项截然不同的任务。”
来源访谈 →有效的机器人系统需结合学习与非学习组件，她反对纯内省编程的传统AI和纯端到端神经网络两种极端范式
“有效的机器人系统需要结合学习与非学习组件，根据具体问题选择最合适的表示和推理方式。”
来源访谈 →感知的下一步突破在于弄清系统应输出什么表示来支持高级推理，而非继续提升分类精度
“The thing that's going to make perception take the next step is actually understanding better what it should produce. ——让感知能力更进一步的关键，实际上是更好地理解它应该输出什么。”
来源访谈 →由于重大概念性突破无法即时验证，无法轻易为其训练强化学习循环。
“What this means for AI for science is that 1. You can't easily train an RL loop for big conceptual breakthroughs.——这对AI科学应用意味着：第一，你无法轻易为重大的概念性突破训练一个强化学习循环。”
来源访谈 →他认为GPU本质上是许多微型TPU的集合，每个SM都类似一个包含小型矩阵单元和向量单元的微型TPU，而TPU则采用少数大型矩阵单元的粗粒度设计
“A GPU is just a bunch of tiny TPUs.——GPU本质上就是一堆微型TPU。”
来源访谈 →Joon认为网络数据只反映人们'说什么'的态度而非真实行为，要模拟人类行为必须获取描述行为因果机制的'黑暗知识'。
“这些数据主要反映了人们“说什么”（态度数据），而非在现实生活中“做什么”（行为数据）。”
来源访谈 →乔丹认为人类至今不知道智能是什么，对人类层面的抽象和推理几乎一无所知，因此不应夸大当前AI在智能上的进展。
“We don't know what intelligence is and real intelligence we don't know much about abstraction and reasoning at the level of humans we don't have a clue. —— 我们不知道智能是什么，对于人类层面的抽象和推理，我们一无所知。”
来源访谈 →乔丹认为当前对大脑如何计算的理解仍处于隐喻阶段，声称AI受大脑启发或接近突破是误导性的，AI目标应是解决实际工程和市场问题而非复制大脑。
“我们对大脑如何计算几乎一无所知，神经科学仍处于隐喻阶段。”
来源访谈 →他明确指出模仿学习只是起点，仅能让智能体达到黄金/白金级水平，必须靠后续自博弈才能继续提升。
“通过向网络输入玩家等级信息，智能体能模仿不同水平的行为，但这仅能使其达到黄金/白金级，需要后续的自博弈来提升。”
来源访谈 →他承认AlphaStar虽已达宗师级水平、足够理解游戏，但并非无敌、决策并不完美，仍存在可被利用的弱点。
“智能体达到了宗师级水平。它们绝对足够理解游戏，能表现得极其出色。但它们是无敌的吗？它们打得完美吗？不。”
来源访谈 →现实世界多数领域的数据独特而稀疏、无法构建确定性模拟器，因此样本效率是模型达到精通水平、RLVR实现泛化的根本瓶颈。
“由于现实世界大多数领域的数据具有独特性和稀疏性，模型需要样本效率才能达到精通水平。无法为政坛或商业构建“可种植”的确定性模拟器，RLVR的泛化能力因此存疑。”
来源访谈 →算法主导的深度学习并非唯一路径，符号处理领域仍是待开发的“处女地”，当前主流范式未必是终极答案。
“她惊讶于深度学习等算法成为主流，并认为符号处理领域仍是待开发的“处女地”。”
来源访谈 →图灵定义的“计算”只是基于人类纸笔运算的隐喻，是强大工具但不等于大脑的工作方式，不应过度延伸到一切物理过程。
“图灵所定义的“计算”本质上是基于人类用纸笔进行机械步骤的隐喻，它是一个强大的工具，但不等于大脑的工作方式。”
来源访谈 →感知与物理行动远比下棋、推理等任务困难，当前AI做不到像16个月大幼儿那样看懂新环境并打开陌生的窗户。
“像一个16个月大幼儿那样，通过视觉理解新环境并协调双手打开一个从未见过的窗户，则需要极其复杂的感知与运动协调，这远超当前AI的能力。”
来源访谈 →Prasad认为Alexa的技术根基始于攻克曾被认为不可能的远场语音识别难题，通过大规模数据和深度学习训练奠定了产品基础。
“Alexa的成功始于解决远距离语音识别这一曾被认为不可能的难题。团队在2013年创立初期，通过大规模数据收集和分布式GPU上的深度学习训练，在六个月内将错误率降低了五倍，奠定了产品基础。”
来源访谈 →平克认为人类并非AI性能的完美基准，研究人脑是为了理解智能原理并做出比人类更优的系统（如诊断癌症），而非复刻人脑。
“正如我们发明飞机借鉴空气动力学而非模仿鸟类，我们研究人脑是为了理解智能的原理，但开发AI工具的目标是做出比人类更优的系统（如诊断癌症），而非追求与人脑完全一致。”
来源访谈 →智能无法脱离学习而存在，深度学习的成功正源于'大脑就是这样工作'的朴素直觉。
“智能与学习密不可分。Intelligence is inseparable from learning.”
来源访谈 →在海量数据上训练的神经网络只获得了非常基础、底层的理解，既不鲁棒也远不及人类理解的抽象性与通用性，因此训练方式需要根本性变革，更关注因果解释而非仅仅关联数据。
“在海量数据上训练的神经网络仅获得了非常基础、底层的理解，远不及人类理解的抽象性与通用性。”
来源访谈 →语言学习与语言所指世界的视觉学习目前是割裂的，应将二者结合、相互促进，让语言输入指导神经网络学习更高层的语义概念，从而建立良好的世界模型。
“我认为我们需要更好地将语言学习与语言所指的世界学习结合起来，让二者能够相互促进。”
来源访谈 →突破深度学习根本局限的关键在于设计新的训练目标与框架，让智能体从被动观察数据转向主动干预和探索以学习因果，而非单纯把网络层数从百层增加到万层。
“我认为关键在于训练目标和训练框架...要从被动观察数据转变为通过干预世界来学习的主动智能体。”
来源访谈 →验证码是检验人类级泛化能力的理想基准，当前深度学习无法做到五岁孩子那样的零样本泛化，而破解验证码需要将局部证据置于全局上下文推理
“验证码设计初衷就是对人易、对机器难。一个五岁的孩子可以无需针对特定风格的训练就解决新的验证码，而当前的深度学习系统无法做到这种零样本泛化”
来源访谈 →模型不应被理解为像人一样学会多种技能的学习者，而应视为由数十亿精心构造的示例缝合而成的“弗兰肯斯坦怪物”。
“它不像一个学会多种技能的人类……更像一个由十亿个精心构造的示例缝合而成的弗兰肯斯坦怪物。(It's not like a human who has learned all these different skills... It's more like a Frankenstein's monster which has been built out of a billion graphs of carefully constructed examples all sewn together.)”
来源访谈 →马斯克认为实现完全自动驾驶最难的一环是在向量空间中建立对物理对象的精确表征。
“最难的事情是在向量空间中建立对物理对象的精确表征。（英文原话：The hardest thing is having an accurate representation of the physical objects in vector space.）”
来源访谈 →他质疑模型能力提升的本质究竟是更复杂的数据输入（如强化学习环境）还是模型样本效率的根本突破，这对判断深度学习在机器人学等需要高样本效率领域的进展速度至关重要。
“模型是否变得更样本高效了……还是我们仅仅改变、扩展或改进了数据输入？（英文原话：Are models even getting more sample efficient... or have we just changed/expanded/improved the data input?）”
来源访谈 →AI要发展出人类的所有技能，必须能从稀缺的现实世界互动中揭示的非结构化、不可验证且模糊的信息中学习。
“If AIs are to develop all the skills that humans have... they need to be able to learn from information revealed in unstructured, unverifiable, and ambiguous ways from scarce amounts of real world interaction. —— 如果AI要发展出人类的所有技能……它们需要能够从稀缺的现实世界互动中揭示的、非结构化、不可验证且模糊的信息中学习。”
来源访谈 →AI目前只能解决一次性问题，无法像人类登山者那样在部分进展的基础上持续构建，这限制了它在真正复杂问题上的表现
“它像是能跳2米高的机器，能越过一些低矮墙头，但不会像人类登山者那样在岩壁上留下抓点、逐步攀爬。”
来源访谈 →认为图灵测试只是思想实验而非严谨测试，未来应测试AI在成千上万种任务上达到或超越人类水平的通用能力
“我认为，如果你回顾图灵1950年的论文……我并不认为他本意是将其作为一个严谨的正式测试。它更像是一个思想实验。”
来源访谈 →覆盖人类通用常识所需的知识量远超1984年估算的一百万条，实际需要数千万条知识碎片
“你需要数千万条这样的知识碎片。就像如果你把一个装满东西的咖啡杯倒过来，里面的东西会掉出来。”
来源访谈 →吉布森认为句子中需要连接的词对相距越远，语言的产出和理解就越困难。
“你所连接的词对之间的距离越远，产出和理解的难度就越大。（原文：The further apart the pair of words are that you're connecting, the harder it is to do the production, the harder it is to do the comprehension.）”
来源访谈 →他批评当前大语言模型易产生幻觉，xAI致力于让AI的答案根植于物理第一性原理与数学逻辑，使其像量子力学一样可靠。
“物理定律是法律，其他一切都只是建议。(Physics is the law, everything else is a recommendation.)”
来源访谈 →肖莱认为智能是大脑、身体和环境三者互动的涌现产物，单独优化“大脑”算法无法带来指数级智能增长，“智能爆炸”叙事缺乏逻辑基础。
“Intelligence emerges from the interaction between a brain, a body, and an environment. If you're missing one of these pieces, you cannot define intelligence. —— 智能涌现于大脑、身体和环境之间的互动。如果缺少其中一个，你就无法定义智能。”
来源访谈 →Hotz 澄清其 SXSW 演讲的重点不是字面上黑进模拟，而是将其视为理论物理问题：先构建大一统理论，再从中寻找漏洞。
“我在SXSW演讲的重点不是字面意义上的‘黑客攻击模拟’。我认为这是……理论物理的范畴。你想要一个大一统理论，但那就去构建一个大一统理论，然后寻找漏洞。（英文原文："The point of the South by talk was not literally to hack the simulation. I think that this is... theoretical physics. You want your grand unified theory, but then okay, build a grand unified theory, search for exploits”
来源访谈 →AI的下一个目标应是提出猜想、创造新定义并统一领域，这种能力难以被标准化为基准测试。
“好数学家证明定理，伟大的数学家提出猜想，而最伟大的则创造定义。创造新定义、统一领域的能力，是AI的下一个目标，且难以标准化为基准测试。”
来源访谈 →他主张解决问题时应先定义问题与目标，再思考如何通过调整连接权重来求解，而不是只从生物学中寻找现成的学习规则。
“你应该思考如何通过调整连接权重来解决问题。你定义你的问题，然后找出调整连接权重如何解决它。”
来源访谈 →Token并非通用电能，每个模型的Token承载独特印记无法互转，推理引擎必须针对特定模型和硬件做深度适配与优化
“Token并非通用电能，每个模型的Token都承载其独特印记，无法互转。这决定了推理引擎需针对特定模型和硬件做深度适配与优化。”
来源访谈 →珀尔认为仅凭观察数据无法可靠推断因果关系，因为可能存在未观测的混杂变量，必须依靠因果模型判断何时需要实验。
“仅凭观察数据（观察性研究）无法可靠推断因果关系，因为可能存在未观测的混杂变量。我们需要因果模型来判断何时可以从观察数据中识别出因果效应，何时必须进行实验。”
来源访谈 →不喜欢大型语言模型，认为其效率低下、消耗过多算力，本质是对思维的“暴力破解”，真正的AGI可能采用与Transformer根本不同的算法范式。
“I don't like them. I think that they're inefficient, I think that they use way too much compute." —— 我不喜欢它们（大语言模型）。我认为它们效率低下，我认为它们消耗了过多的算力。”
来源访谈 →当前AI领域工程进步巨大但科学理解滞后，是在用糟糕的方法处理巨大的问题
“What we're doing is doing a very bad job of very big problems. ——我们做的不是在解决简单问题上的优化，而是尝试用糟糕的方法解决巨大的问题。”
来源访谈 →学术界过度激励短期成果、鼓励学生频繁发表，可能扼杀解决AI根本问题所需的多年沉淀的重大突破
“这种趋势可能扼杀需要数年沉淀的重大突破，而这些突破对解决AI的根本问题至关重要。”
来源访谈 →人类与AI的样本效率差距接近百万倍，AI掌握技能所需的数据和练习量远超人类。
“一个人从出生到成年大约接触2亿个语言令牌（tokens），而前沿模型的训练数据量则高达数十万亿到数百万亿令牌，差距接近百万倍。无论是学开车还是操控机器人，人类所需的数据和练习量远低于AI。”
来源访谈 →Brown认为AI虽已能解决复杂问题，但要像爱因斯坦一样在没有实验数据指引下、纯粹从第一性原理出发重建革命性理论仍是巨大挑战
“虽然AI已能解决复杂问题，但要让AI像爱因斯坦一样，在没有实验数据指引下，纯粹从第一性原理出发重新构建像广义相对论这样革命性的理论，仍然是一个巨大挑战，这涉及到科学发现中最深刻的创造力和直觉部分。”
来源访谈 →AI在数学内部的进步极不均衡，能力前沿呈分形式崎岖，有些问题远比其他问题容易
“这种前沿的'崎岖'具有分形特征，因为当你聚焦于数学内部的具体进展时，会发现有些部分要容易得多。（"There's a fractal nature to that spikiness, because when you zoom into the specific progress within math, you have some things that are a lot easier than others."）”
来源访谈 →数学成就的最高层次是创造新定义，提出猜想次之，证明定理只是基础层级
“优秀的数学家证明定理，伟大的数学家提出猜想，而最伟大的数学家则创造定义。（"Good mathematicians prove theorems, great mathematicians come up with conjectures, and the greatest mathematicians come up with definitions."）”
来源访谈 →扎克伯格认为失败是学习的必要组成部分，真正掌握任何新东西都离不开失败
“I just think part of learning is failing. —— 我认为学习的一部分就是失败。”
来源访谈 →他认为认知结构的形成不仅取决于架构和算法，还取决于系统所嵌入的环境结构，真实世界无尽的多样性与冗余性塑造了学习。
“真实世界充满了这种特性，即无尽的多样性与无尽的冗余性。（The real world is sort of saturated with this kind of this property, it's endless variety with endless redundancy.）”
来源访谈 →他认为元学习（学会如何学习）是拥有记忆并经强化学习训练的系统自然涌现的现象，无需显式编程。
“在具备记忆（如循环网络或槽式记忆）并经过强化学习训练的系统中，元学习（学会如何学习）是一种自然涌现的现象，无需显式编程。”
来源访谈 →智能体开发领域连React级别的底层组合与状态管理范式都还没出现，先造这一基础层比直接做上层框架更重要
“我最初发推说我们在构建智能体的Astro或Next.js。但后来我意识到：也许根本还没人构建智能体的React。 —— I originally tweeted that we were building the Astro for agents or the Next.js for agents. But then I realized: maybe no one has even built the React for agents.”
来源访谈 →她认为实现人类水平智能需要大量基础性科学突破，而非当前方法的简单扩展，对AI领域的时间预测持谨慎态度
“人类水平的智能距离我们有一百个诺贝尔奖的距离。（Human level intelligence is a hundred Nobel Prizes away.）”
来源访谈 →《伦理算法》一书刻意只处理当前已能置于量化基础的算法伦理部分，而非泛谈全部伦理问题
“Our book is about that part of algorithmic ethics that we know how to put on that same kind of quantitative footing right now. —— 我们的书聚焦于算法伦理中，我们目前能够将其置于类似量化基础之上的那部分。”
来源访谈 →作为机器学习研究者，他认为对平台问题无能为力的说法不可信：知道如何优化某目标，本身就说明了如何不这样优化或另做他事
“The idea that there's nothing to do about it, that strikes me as implausible as a machine learning person. Anytime you know how to optimize for something, almost by definition, that solution tells you how not to optimize for it or to do something different. —— 作为一个机器学习研究者，我认为'对此无能为力'的说法令人难以置信。几乎可以肯定”
来源访谈 →他认为《星际争霸》的核心挑战在于探索：随机尝试很难获得胜利奖励，因此先用人类录像做模仿学习解决冷启动问题。
“在《星际争霸》中，随机尝试行动很难获得正向奖励（胜利）。AlphaStar通过利用人类录像数据进行模仿学习来解决早期探索难题，避免了智能体在随机尝试中一无所获。”
来源访谈 →计算机使用进展缓慢，是因为领域仅可验证还不够，还须能在确定性可重放的模拟器里大量并行“研磨”，而克隆常用应用目前费力且不可扩展。
“一个领域仅可验证还不够，还必须可“研磨”——能在确定性可重放的模拟器中进行大量并行演练。亚马逊不会允许你派一千个agent同时测试结账流程，而克隆常用应用在目前仍费力且不可扩展。”
来源访谈 →库兹韦尔认为人类智能可以通过技术手段逐级扩展十倍、百倍直至百万倍
“We're going to be able to go beyond that because that's useful but we can multiply that by 10, a hundred, thousand, a million.——我们将能够超越这个限制，因为这很有用，我们可以将其扩大十倍、百倍、千倍、百万倍。”
来源访谈 →人类达到如今的智能水平可能离不开与其他人类的互动，智能的一部分或许存在于交互过程中，孤立的海量数据训练的深度网络可能从根本上缺失关键要素。
“人类达到如今的智能水平，可能离不开与其他人类的互动。智能的一部分或许存在于交互过程中，这意味着孤立的、仅通过海量数据训练的深度学习网络可能从根本上就缺失了关键要素。”
来源访谈 →控制超级智能如同创造永动机，在理论上就不可能实现。
“在我看来，控制AI或超级智能的问题，就像试图创造一台'永久安全机器'，类比于永动机，这是不可能的。—— the problem of controlling AI or super intelligence in my opinion is like a problem of creating a perpetual safety machine by analogy with perpetual motion machine is impossible”
来源访谈 →什么能够被验证、什么不能被验证，存在非常强的根本性限制。
“我的主张是，我们对什么能够被验证、什么不能被验证，存在着非常强的限制。—— my claim is again that there are very strong limits in what we can and cannot verify”
来源访谈 →Prasad认为人机对话是检验智能本质的最佳试金石，因为对话目标不明确、状态未知且步骤复杂。
“Human-machine dialogue is definitely one of the best tests of intelligence. —— 人机对话绝对是测试智能的最佳方式之一。”
来源访谈 →Prasad认为AI的身份认同是尚未解决的深刻问题：如何让用户仅凭声音就能识别出属于自己的Alexa，涉及音色、语调、用词与文化适应性等多重因素。
“如何让用户仅通过声音就能识别出这是“他们的Alexa”？这涉及音色、语调、用词、文化适应性等多重因素，是塑造AI人格和品牌的关键，也是未来重要的研究方向。”
来源访谈 →AI获得常识不应依赖严格监督的数据，而应把世界视为海量交互经验，从众多可能的事物实例中学习。
“也许我们真正需要做的是，将世界更多地视为一种海量的经验，它不一定提供任何严格的监督，而是提供了许多可能的事物实例。”
来源访谈 →平克认为“回形针工厂”式价值对齐灾难场景自相矛盾：它假设能造出聪明到可以治愈癌症、却愚蠢到连治愈定义都无法明确的系统。
“我认为这些（“回形针工厂”场景）完全是幻想，事实上我认为它们实际上是自相矛盾的。—— I think these are utterly fanciful in fact I think they're actually self-defeating.”
来源访谈 →平克认为一个单目标狂飙、碾压一切障碍物的AI恰恰违背智能的本质，是“人工愚蠢”而非真正的通用智能。
“（那种）人工智能和通用智能，那是人工愚蠢。—— Artificial and general intelligence, that's artificial stupidity.”
来源访谈 →杨立昆坚信具身智能不可或缺，认为仅靠纯文本无法训练出智能的机器，智能需要从视觉等高带宽感官观察中学习物理常识。
“我坚信具身智能。我不认为仅靠文本就能训练出智能的机器，因为文本中包含的世界信息量与我们所需知道的相比微不足道。”
来源访谈 →生物神经网络仍存在大量未知，理解这些奥秘可能正是改进人工神经网络的关键所在。
“关于生物神经网络，我们有太多未知，这既神秘又迷人，因为这或许是改进我们人工神经网络的关键所在。”
来源访谈 →构建智能AI必须先理解大脑的计算原理，像“蓝脑计划”那样不理解原理、只堆砌生物细节的模拟行不通
“If you want to build the brain we definitely need to understand how it works. —— 如果你想构建大脑，我们绝对需要理解它是如何工作的。”
来源访谈 →智能的定义是样本效率，即用多少数据就能在特定领域熟练运作；近几年AI的进步主要靠扩大数据分布，而非提升训练样本效率。
“智能的定义是样本效率：即在特定领域用多少数据就能熟练运作。过去几年，AI进步主要靠扩大数据分布，而非提升训练样本效率。”
来源访谈 →强化学习的本质是合成数据生成：用大量计算配合验证器筛选出好数据，再让模型像预测下一个词那样学习这些正确轨迹。
“强化学习本质是合成数据生成：通过大量计算配合验证器，筛选出"好数据"，再像预测下一个词那样训练模型学习这些正确轨迹。”
来源访谈 →当前AI变聪明的方式（被训练完成编程等高经济价值任务）与获取权力的相关性并不强，AI擅长的抽象推理和现实中塑造权力的因素不是同一回事。
“目前AI变聪明的方式（例如被训练来完成编程等特定高经济价值任务）与获取权力的相关性并不强。AI擅长的抽象推理能力，与现实中塑造权力的因素（如魅力、授权）并非同一回事。”
来源访谈 →从面部表情推断内心情感没有一一对应关系，过度简化的情感识别方法非常危险，必须结合尽可能多的上下文信号。
“从面部表情推断内心情感极其复杂，没有一一对应的关系。例如，微笑可能因多种原因出现，皱眉可能代表困惑而非愤怒。她警告说，过度简化的推断方法非常危险，必须结合尽可能多的上下文信号。”
来源访谈 →网络数据只反映人们说了什么而非做了什么，必须依靠随机对照实验和A/B测试让模型理解因果关系和反事实情境。
“网络数据本质是"人们说了什么"而非"做了什么"。Simile不仅收集交易和观察数据，更大量依赖随机对照实验和A/B测试，以训练模型理解因果关系和反事实情境。”
来源访谈 →社交媒体商业模式实质是“认知访问勒索”而非有效说服
“"It's a giant cognitive access blackmail scheme at this point."”
来源访谈 →平台反馈循环只捕捉蜥蜴脑反应，系统性助长偏执与隔绝
“"Its fundamental core is one that promotes a paranoid style that promotes increasing irritability that promotes xenophobia, promotes fear, anger, promotes selfishness, promotes separation between people."”
来源访谈 →stance: 强化学习是机器获得真正智能的唯一根本途径
“quote: "我们从第一性的角度就觉得未来只有这条道路（强化学习）能够帮助机器获得真正的智能。"”
来源访谈 →严厉批评，认为其源于语言误解
“"That model is completely wrong, it's as wrong as a religious fundamentalist model."”
来源访谈 →stance: 具身智能当前的核心短板在于缺乏理解物理因果规律的“智慧大脑”
“quote: "对于巨星来说呢他基本上是十分的状态，所以我更想把这个十分推到90分。"”
来源访谈 →辛顿坚信神经网络是理解智能的正确途径，而当时主流的符号推理路线是错误的。
“Most people in AI believed that... reasoning must be done like logic... I thought they were doing AI all wrong.”
来源访谈 →stance: 理论优美但实用受限，是深度学习的催化剂
“quote: "So you can think of it as like an enzyme that helped deep learning be born."”
来源访谈 →当前机器学习研究过度工程化、局限于孤立任务，AI系统必须在真实混沌环境中长期生存学习
“要实现真正的进步，必须让AI系统在真实、混沌、不可控的环境中长期（数月）生存和学习，即使这意味着研究周期会被拉得很长。”
来源访谈 →要让机器真正理解语言和意义，可能需要赋予其感知系统并与物理世界互动（“接地”），不与外界感知交互的系统谈论世界的方式是空洞的。
“要让机器真正理解语言和意义，可能需要赋予其感知系统，使其与物理世界产生互动（“接地”）。一个完全不与外界感知交互的系统，其谈论世界的方式是空洞的。身体对于构建关于世界的知识至关重要。”
来源访谈 →费鲁奇认为智能由两种核心能力构成：从数据中学习模式并预测未来，以及以他人能理解的方式解释预测背后的推理。
“智能主要体现在两方面：一是预测能力……二是以他人能理解的方式解释这种预测的能力。（英文原话：Intelligence is primarily two ways: one is the ability to predict... the other is the ability to explain that prediction in a way others understand.）”
来源访谈 →真正的突破常常发生在人们意想不到的方向，因此对AI发展的预测很困难，未来进展可能来自当前未被重点关注的领域。
“历史表明，真正的突破（如GPT-4）常常发生在人们意想不到的方向。”
来源访谈 →常识知识的形式化录入是一次性工程，完成后未来无人需要为同一知识点重复这项工作
“这感觉就像《星空》或创作'π'，你只需要做一次。如果一切顺利，将来没有人需要再为这个特定的知识点重复这项工作。”
来源访谈 →尽管可以读取GPT模型的每个参数，我们对模型内部运作的理解远不如对人脑的理解，需要大量跨学科研究、可能数十年才有进展
“A blank map does not correspond to a blank territory.——空白的地图不等于空白的疆域。（意指我们不理解内部运作，不代表内部没有运作。）”
来源访谈 →AlphaGo的核心理念是用神经网络把超大规模搜索问题压缩为可处理的规模，而非直接穷举博弈树。
“AlphaGo的核心理念是利用神经网络将大规模搜索问题压缩为可处理的规模。围棋博弈树规模远超宇宙原子数量，但通过深度神经网络对局面进行快速价值评估和落子概率预测，可大幅削减搜索的深度与广度。”
来源访谈 →马库斯认为常识缺失是当前AI最大瓶颈，常识既包括物理知识也包括心理知识，机器可解释的常识知识库将极大加速AI进步。
“常识既包括物理知识，也包括心理知识。（英文原话：Common sense includes both physical knowledge and psychological knowledge.）”
来源访谈 →只有当AI能'建造山脉'——自主构建全新理论体系并重塑学科思考方式时，这种智能水平才可能渗透到经济各领域，其影响远超IMO金牌。
“如果它能建造出（理论的）山脉……清晰地重塑我们思考一个学科的方式，那代表了如此高的智能水平，以至于它若不能渗透到经济其他领域反而会令人惊讶。（英文原话：If it's capable of building mountains... that just crystallizes how we should be thinking about a subject, that's just such a level of intelligence that then it starts to feel like it would be surprising if that didn't perme”
来源访谈 →贝索斯学会非常谨慎地使用“不可能”这个词，不轻易断言某事无法实现。
“I have come to use the word impossible with great caution.——“我已经学会非常谨慎地使用‘不可能’这个词。””
来源访谈 →Keller认为好的工程是卓越的手艺而非发明，建立奖励发明的体系会导致手艺被忽视。
“好的工程就是卓越的手艺。当你开始认为工程就是发明，并建立一套奖励发明的体系时，手艺就会被忽视。—— Good engineering is great craftsmanship and when you start thinking engineering is about invention, and set up a system that rewards invention, the craftsmanship gets neglected.”
来源访谈 →珀尔认为没有相应的词汇就无法提出问题、也就无法回答问题，语言是提问与思考的前提。
“You cannot answer a question that you cannot ask, and you cannot ask a question you have no words for. —— 你无法回答一个你无法提出的问题，而你无法提出一个你没有词汇来描述的问题。”
来源访谈 →凯特·达林认为机器人学家的技术定义（物理实体、具身、非AI代理）在智能手机等设备面前已显局限，不应让'机器人=人形'的刻板印象限制想象力。
“如果你问机器人学家，他们会说机器人必须是物理实体，通常不是AI代理，必须有具身性。”
来源访谈 →机器人智能的关键是通过空间、时间和目标抽象降低问题复杂度使其计算可处理，而非模仿人类意识
“You cannot reason completely fine-grain about everything in your life. You can't make a plan at the level of images and torques for getting a PhD. ——你无法对生活中的一切进行完全精细的推理。你无法在图像和力矩层面规划获得博士学位。”
来源访谈 →预训练频繁失败的两大深层元凶是破坏因果律和引入系统性偏差
“Breaking causality, and adding bias, seem to be key culprits. —— 破坏因果关系和引入偏差似乎是两个关键的罪魁祸首。”
来源访谈 →AI能力的提升主要来自更优质、更庞大的数据分布及算力扩张，而非样本效率的改进，数据才是进步的真正驱动力。
“我认为开源和之前的落后者之所以能相对容易地在几个月内赶上前沿，是因为数据才是进步的真正驱动力。（I think the reason it is relatively easy for open source and previous laggards to catch up to within months of the frontier is that data is the real driver of progress.）”
来源访谈 →AI炫目的能力表象之下，实则是难以想象的海量数据在维系整个体系。
“我们将这些AI视为一个闪烁着能力的星系，但在其核心，肉眼看不见的地方，将所有星座维系在一起的，是一个难以想象的数据黑洞。（We see these AIs as a galaxy glittering with capabilities, but at their center, invisible to the naked eye, holding all the constellations together, is an unimaginably massive black hole of data.）”
来源访谈 →行为基础模型必须像普通人一样带有偏见与非理性地'犯错'，这与追求超级理性的前沿大模型完全不同，后者模拟特定人群行为时准确率可能低至20%-30%。
“"The models that we are trying to create are models that are as dumb as I am. So if I make some mistakes, the model has to make the same mistake." ——我们试图创造的模型，是要和我一样‘笨’的。如果我犯了错，模型也必须犯同样的错误。”
来源访谈 →开发AI技能的核心就是寻找“正确的词语”，他长期致力于为AI编程领域建立统一的词典和术语体系。
“Pocock长期致力于为AI编程领域建立一套统一的词典和术语体系。他相信，人与智能体之间存在沟通壁垒，而开发技能的核心就是寻找“正确的词语”，构建这种通用语言。”
来源访谈 →AI的超级智能将首先在数学领域显现，而不是其他应用领域
“数学将是我们首先见证超级智能的地方。（"Math is where we'll see superintelligence first."）”
来源访谈 →语言模型虽然成功，但领域内仍然缺少面向物理世界的基础模型，物理科学AI需要新的建模范式。
“"We have foundation models for language, not for physics" —— 我们有语言的基础模型，但没有物理的基础模型。”
来源访谈 →构建通用物理基础模型不是抛弃扩展思路，而是另辟一条路：靠嵌入物理世界固有的结构，而非等待永远无法满足的海量数据。
“这并非要抛弃扩展思路，而是开辟一条不同的道路：通过构建物理世界固有的结构来达成目标，而非等待永远无法满足的海量数据。这是通往覆盖多种现象、兼具模拟与设计能力的物理基础模型的起点。”
来源访谈 →哈特主张先用数学严格定义通用智能（如AIXI框架），从而得到一个可用理论工具或计算方法去分析的明确目标。
“一个关于智能的数学定义，给了我们一个目标，然后我们可以用理论工具或计算方法对其进行分析。——“A mathematical definition of intelligence gives us an objective which we can then analyze by theoretical tools or computational.””
来源访谈 →泰格马克认为只靠堆算力造出人类仍不理解的更大黑箱系统是通往危险AI的最鲁莽路径，主张先获直觉再解构黑箱、走可证明安全性的可理解智能路线。
“最让我感到恐惧的一种态度是，我们打算构建越来越大的系统，却仍然不理解它们，直到它们变得和人类一样聪明。这怎么可能不出问题呢？（英文原话：The one that scares the HebGBs out of me is this attitude that we're just going to make ever bigger systems that we still don't understand until they can be as smart as humans. What could possibly go wrong?）”
来源访谈 →他赞同"痛苦的教训"观点：AI领域最大的实践进步来自能利用不断增强计算力的简单算法，而非复杂的理论设计。
“我们在实践中看到最大改进的算法，是那些非常简单、甚至有些'愚蠢'但能够利用计算能力的算法。”
来源访谈 →迈克尔逊-莫雷实验并未证伪以太，只是否定了部分以太理论，爱因斯坦的相对论思想源于完全不同的路径，科学发现远比“实验-验证”的简单公式复杂。
“迈克尔逊-莫雷实验并未“证伪以太”，它只是否定了部分以太理论。爱因斯坦甚至不确定当时是否知道该实验，其相对论思想源于完全不同的路径”
来源访谈 →专业知识反而可能成为思想枷锁，庞加莱因“知道得太多”而错失相对论，爱因斯坦是通过“减法”完成突破的。
“庞加莱“知道得太多”，专业知识反而成为思想枷锁，爱因斯坦通过“减法”完成了突破。”
来源访谈 →AlphaFold的成功主要归功于数十年实验积累的蛋白质数据库，AI只是整个故事的一小部分，它也不具有广义相对论那样的解释力。
“AlphaFold的成功主要归功于数十年实验积累的蛋白质数据库，AI部分是整个故事的一小部分。它不像广义相对论那样具有解释力，但可能包含许多可提取的“小解释”。”
来源访谈 →Vinyals认为AlphaStar的核心是把观察与行动的序列建模为预测下一步的问题，与机器翻译在本质上完全相同。
“问题完全相同。你本质上是在将一个由观察和行动组成的前缀，翻译成接下来将发生什么——这与训练模型进行翻译或生成语言完全一致。(The problem is exactly the same. You're translating essentially a prefix of observations and actions onto what's going to happen next, which is exactly how you would train a model to translate or to generate language.)”
来源访谈 →人工智能的根基并非数学或计算机科学，而是深植于人类神话中创造“颅外智慧”、锻造神祇的古老愿望，比达特茅斯会议久远得多。
“"Artificial intelligence began with the ancient wish to forge the gods." —— 人工智能始于锻造神祇的古老愿望。”
来源访谈 →库兹韦尔坚持AI将在2029年通过持续数小时深度交互的有效图灵测试
“I believe 2029 that six seven years from now we'll have something to pass this Turing test and a valid Turing test meaning it goes for hours not just a few minutes.——我相信，在六年后的2029年，我们将拥有能通过有效图灵测试的系统，即测试持续数小时而非仅仅几分钟。”
来源访谈 →对不断学习、自我修改并重写自身代码的软件，人类不知道如何进行形式化验证。
“对于那些不断学习、自我修改、重写自身代码的软件，我们不知道如何做到这一点（形式化验证）。—— we don't know how to do this for software which keeps learning self-modifying rewriting its own code”
来源访谈 →Prasad认为能够进行连贯、开放域的对话是衡量智能的最高标准，难度远超下棋或自动驾驶，因为它要求真正的推理能力而非简单的信息检索。
“I do think the ability to converse is an sign of an ultimate intelligence. —— 我认为，对话能力是终极智能的一种标志。”
来源访谈 →哈里斯坦言对意识是涌现还是物质基本属性持“真正不可知”态度，倾向中性一元论，认为心物二分的概念框架本身可能就是问题的一部分。
“哈里斯坦言自己是“真正不可知”的。他倾向于一种“中性一元论”的观点，认为我们当前用“心”与“物”来划分现实的概念本身可能就是问题的一部分。”
来源访谈 →理解生命应当寻找组织该系统的物理学，而不是执着于特定的分子，正如意识在大脑中实例化却不等同于大脑这个物质。
“我们真正寻找的是组织该系统的物理学，而不是特定的分子。就像意识不是你的大脑，它是在大脑中实例化，但它不是你在观察的物质。”
来源访谈 →现有物理定律是低记忆规则，而复杂生物体需要40亿年的漫长历史因果链才能存在，无法仅靠这类普遍定律描述。
“物理学看起来是这样，因为它们是低记忆法则，不需要太多信息来指定它们，很容易让宇宙实现。但如果有了像我这样的东西，我需要40亿年的历史才能存在于宇宙中，我带着很多历史包袱。”
来源访谈 →沃尔夫勒姆认为科学、发明等进步的本质，是在计算不可约的复杂世界中寻找能够局部向前跳跃的地方。
“大多数科学、发明以及许多事物的故事，都是在寻找这些我们可以局部向前跳跃的地方的故事。"The story of most kinds of science, inventions, a lot of kinds of things is the story of finding these places where we can locally jump ahead."”
来源访谈 →平克认为智能系统的核心是综合权衡多重约束（如汽车设计兼顾速度与安全装刹车），真正智能的AI不会单目标狂奔而忽略附带影响。
“如果它真的是智能的，它就不会一心一意地追求某个目标，而忽略所有其他考虑和附带影响。—— If it's genuinely intelligent, it's not going to pursue some goal single mindedly, omitting every other consideration and collateral effect.”
来源访谈 →群体智能源于简单个体通过局部规则的分布式协作，个体简单坚韧反而在宏观涌现出强大且对个体故障鲁棒的整体行为
“蚂蚁个体简单且坚韧，但通过局部、间接的互动，整个群落能展现出惊人的集体智能和适应性。（to me, ants are really quite incredible creatures）”
来源访谈 →杨立昆认为智能很可能本质上就是统计，但关键在于它是包含因果、能进行干预推理的深层机制的特定类型统计，而非表面模式匹配。
“智能很可能只是统计，但是一种特定类型的统计。（It's quite possible that intelligence is just statistics, it's just statistics of a particular kind.）”
来源访谈 →杨立昆认为智能的本质是预测能力，通过预测缺失信息（如视频下一帧、文本空白词）来学习，是构建世界模型、实现机器真正智能的最有希望路径。
“智能的本质在于预测能力，大脑所做的一切都是试图用一切来预测一切。”
来源访谈 →感知与认知不可分割，有效的视觉模型不应只服务于分类，而应支持想象、操纵物体等自上而下的可控认知能力
“有效的视觉模型不应只服务于分类，而应能支持认知需求，例如在脑海中想象或操纵物体”
来源访谈 →AI的核心问题是概念的可靠表示，若能构建系统可靠识别字母A的所有变体，就抓住了智能问题的根本
“The central problem in AI is what is the letter A. If you can build a system that reliably can detect all the variations of the letter A, you don't even need to go to the B and the C. —— AI的核心问题是‘字母A是什么’。如果你能构建一个系统可靠地检测出字母A的所有变体，你甚至不需要处理B和C。”
来源访谈 →他认为即使没有单一的软件奇点，广泛部署的AI也可能通过持续学习和跨副本知识合并实现功能性超级智能，无需额外算法改进即可导致快速智能爆炸。
“即使没有单一的软件奇点，广泛部署的AI也可能通过持续学习和跨副本知识合并，实现功能性超级智能。”
来源访谈 →Dwarkesh Patel 认为把智能定义为“在广泛领域实现目标的能力”实际上是在定义权力，按此逻辑斯大林将成为史上最智能的人，这是概念混淆的谬误。
“如果你把智能定义为“在广泛领域实现目标的能力”，那么斯大林就是有史以来最智能的人。”
来源访谈 →Tedrake希望再出现一个牛顿，认为在为更复杂的任务建立简单模型方面还有很多工作要做。
“我希望再出现一个牛顿，因为我认为在为更复杂的任务提出简单模型方面还有更多工作要做。”
来源访谈 →Michael Li认为AI实验室靠API提供基础模型服务可能永远无法收回训练成本，应像香港地铁靠车站周边地产盈利那样，捕获发生在模型“周围”的价值增值
“The labs that survive won't be the ones that make the API profitable. They'll be the ones that identify their property above the station and build toward it now. —— 能存活下来的实验室不会是那些让API盈利的。而是那些能识别出自己“车站上方的物业”并立即着手建设的实验室。”
来源访谈 →人类擅长深度钻研、AI擅长大规模试错与遍历，应让大量中等能力AI清扫数学图谱中的容易问题、人类专家集中攻克难度孤岛，为此必须重新设计科学研究方式
“我们必须重新设计科学研究的方式，才能充分利用AI的广度能力。（We have to redesign the way we do science to take full advantage of this breadth capability.）”
来源访谈 →被AI解决的50个埃尔德什问题大多几乎无文献、解法只是冷门技巧与新问题的结合，对任意给定难题的真实成功率仅1%至2%，惊艳效果来自大规模试错后的成功放大
“系统化评测显示，AI对任意给定难题的成功率仅1%至2%，只是大规模试错后放大成功案例，才显得效果惊艳。”
来源访谈 →对数学策略的半形式化语言是未来重要方向，现有工具能形式化证明本身，但缺乏形式化策略、猜想可信度与部分进展价值的框架，AI难以参与最富创造性的研究环节
“Lean等工具已能形式化证明本身，但如何形式化“策略”、“猜想的可信度”、“部分进展的价值”仍是未知。缺乏这种框架，AI难以真正参与数学研究中最富创造性的环节。”
来源访谈 →有效约束超级智能需要运作良好的世界性政府，但目前并不存在这样的全球治理机构。
“What we really need is a kind of world government that works run by intelligent, thoughtful people. And that's not what we got." —— “我们真正需要的是一个由明智、深思熟虑的人领导的、运作良好的世界性政府。而我们并没有这样的政府。””
来源访谈 →