模型效率：范式、瓶颈与学习
在算力增长放缓的背景下，提升AI效率的关键在于模型创新还是数据优化？
⚡ 正面交锋：谁的说法站得住
自动比对 158 条立场：判定出 1 组对立、7 组共识（bge-m3 同话题预筛 + GLM-5.3 语义判定，非关键词匹配）。
立场盘点 158 位
Dario认为AI三年来的指数级进步基本符合其预期，最令他意外的是公众与政策制定者集体忽视了指数增长即将触顶的事实
“最令人意外的是，公众完全没有意识到我们距离指数增长的终点有多近。”
来源访谈 →Dario认为现有范式下预训练泛化与长上下文学习或已足以支撑'天才之国'实现，且Anthropic正在推进真正的持续学习研究并预计短期内突破
“Anthropic正在推进真正的持续学习研究，且"未来一两年内大概率能解决"”
来源访谈 →相比大语言模型按轨迹强化学习的“吸管”式监督，MCTS提供逐动作的本地改进信号，因此样本效率极高，这是围棋AI能稳定训练的关键。
“相较于大语言模型按轨迹强化学习的“吸管”式监督，MCTS提供了逐动作的本地改进信号，因此样本效率极高，这也是围棋AI能稳定训练的关键原因。”
来源访谈 →AlphaGo之所以优雅，在于永远不必从0%成功率起步去解决如何获得非零成功率的探索问题。
“（AlphaGo优雅的）主要原因在于，你永远不必从0%的胜率起步，去解决如何获得非零胜率的探索难题。（The major reason is that you never have to initialize at a 0% success rate and solve the exploration problem of how to get a non-zero success rate.）”
来源访谈 →随着计算能力增长放缓，AI研究的瓶颈将从算力转向数据，研究重点应从追求更大模型转向提升数据效率。
“We are going to move from a focus on the scale of computation to a focus on data efficiency. —— 我们将从关注计算规模转向关注数据效率。”
来源访谈 →人类与AI的样本效率差距接近百万倍，AI掌握技能所需的数据和练习量远超人类。
“一个人从出生到成年大约接触2亿个语言令牌（tokens），而前沿模型的训练数据量则高达数十万亿到数百万亿令牌，差距接近百万倍。无论是学开车还是操控机器人，人类所需的数据和练习量远低于AI。”
来源访谈 →当前Scaling Law无法弥合效率鸿沟，无限增加参数量也只能将所需数据减少约10倍，暗示人类智能可能遵循不同的缩放曲线。
“根据Scaling Law，即使无限增加模型参数量，也只能将所需数据量减少约10倍，远不足以弥合人类与AI之间数千甚至数百万倍的效率差距。这表明人类智能可能遵循不同的缩放曲线。”
来源访谈 →数据与计算预算决定架构取舍：有限条件下ResNet的局部归纳偏置优于Transformer，需要全局上下文理解时Transformer潜力更大
“在数据和计算有限的实验中，ResNet的局部归纳偏置使其表现优于Transformer。但随着对全局上下文理解需求的增加（如大规模棋盘、不完全信息游戏），Transformer的潜力更大。”
来源访谈 →物理世界比想象中更宽容，在聚变等复杂系统中只需几千个样本，AI就能以比传统模拟快百万倍的速度预测等离子体破裂。
“在聚变等复杂系统中，仅需几千个样本，AI模型就能以比传统模拟快百万倍的速度预测等离子体破裂，这为快速模拟和设计提供了可能。”
来源访谈 →他认为《星际争霸》的核心挑战在于探索：随机尝试很难获得胜利奖励，因此先用人类录像做模仿学习解决冷启动问题。
“在《星际争霸》中，随机尝试行动很难获得正向奖励（胜利）。AlphaStar通过利用人类录像数据进行模仿学习来解决早期探索难题，避免了智能体在随机尝试中一无所获。”
来源访谈 →现实世界多数领域的数据独特而稀疏、无法构建确定性模拟器，因此样本效率是模型达到精通水平、RLVR实现泛化的根本瓶颈。
“由于现实世界大多数领域的数据具有独特性和稀疏性，模型需要样本效率才能达到精通水平。无法为政坛或商业构建“可种植”的确定性模拟器，RLVR的泛化能力因此存疑。”
来源访谈 →人类持续学习是把正确直觉和宏观理解“凿”进权重而非逐字记住经历，而模型梯度更新极度样本低效，已部署的在线学习模型需从数百万用户学习完全相同的内容。
“人类持续学习不是逐字记住全部经历，而是将正确直觉和宏观理解“凿”进权重。模型的梯度更新极度样本低效，已成功部署的在线学习模型都需从数百万用户中学习完全相同的内容。”
来源访谈 →智能的定义是样本效率，即用多少数据就能在特定领域熟练运作；近几年AI的进步主要靠扩大数据分布，而非提升训练样本效率。
“智能的定义是样本效率：即在特定领域用多少数据就能熟练运作。过去几年，AI进步主要靠扩大数据分布，而非提升训练样本效率。”
来源访谈 →他质疑模型能力提升的本质究竟是更复杂的数据输入（如强化学习环境）还是模型样本效率的根本突破，这对判断深度学习在机器人学等需要高样本效率领域的进展速度至关重要。
“模型是否变得更样本高效了……还是我们仅仅改变、扩展或改进了数据输入？（英文原话：Are models even getting more sample efficient... or have we just changed/expanded/improved the data input?）”
来源访谈 →他认为即使没有单一的软件奇点，广泛部署的AI也可能通过持续学习和跨副本知识合并实现功能性超级智能，无需额外算法改进即可导致快速智能爆炸。
“即使没有单一的软件奇点，广泛部署的AI也可能通过持续学习和跨副本知识合并，实现功能性超级智能。”
来源访谈 →采用数据流架构是基于AI计算本质的第一性原理选择，比指令驱动的冯诺依曼架构更高效。
“在数据流架构里面，你切一刀的话，在某一个时刻切下去，他的状态是不固定的，有点像是薛定谔的芯片。”
来源访谈 →认同加里·马库斯的观点：人类儿童能从两三个例子快速学习而机器学习需要百万级数据，说明人类天生具备先验知识框架，而AI领域尚未解决如何内置这种先验知识。
“人类儿童能从极少的例子（两三个）中快速学习，而机器学习需要百万级数据。这表明人类天生具备某种预期或知识框架，使高效学习成为可能，而AI领域尚未解决如何内置这种“先验知识”的问题。”
来源访谈 →Dario以90%置信度预测'数据中心里的天才之国'十年内实现，端到端编码任务1-2年内可完成，核心不确定性集中在不可验证的任务上
“对于端到端编码任务，他认为是1-2年内的事，且"十年后还做不到是不可想象的"”
来源访谈 →Dario明确区分AI写90%代码、AI完成90%端到端SWE任务、SWE人才需求下降90%三个完全不同的里程碑，并承认当前AI编码的生产率提升仍有限但快速攀升
“他承认当前AI编码模型带来的"全要素生产率提升"仅约15-20%，但这一数字正在快速攀升”
来源访谈 →认为Veo等视频模型在模拟流体、材质、光照上的惊人准确性，说明模型可能通过海量视频数据逆向工程出世界运行的底层规律，获得类似人类儿童的直觉物理理解。
“如果Veo视频模型能生成一段令人信服的、符合物理规律的八秒视频，这本身就是一种对世界动态的'理解'形式。”
来源访谈 →认为游戏是AI研究的理想试验场：胜负条件清晰、指标可量化、可在云端高效运行数百万次模拟来迭代算法
“游戏在我的人生中有三个重要意义：首先是训练我自己，然后是设计游戏并为游戏编写AI，第三是用游戏作为开发AI算法的试验场。”
来源访谈 →AlphaGo的核心理念是用神经网络把超大规模搜索问题压缩为可处理的规模，而非直接穷举博弈树。
“AlphaGo的核心理念是利用神经网络将大规模搜索问题压缩为可处理的规模。围棋博弈树规模远超宇宙原子数量，但通过深度神经网络对局面进行快速价值评估和落子概率预测，可大幅削减搜索的深度与广度。”
来源访谈 →AlphaGo的训练本质上是纯监督学习过程，而不是传统的策略梯度强化学习。
“AlphaGo的训练本质上是一个纯监督学习过程，而非传统的策略梯度强化学习。每个动作都能获得一个由MCTS生成的改进标签，这种低方差的学习信号避免了稀疏奖励带来的信用分配难题。”
来源访谈 →肖莱以科学体系作为递归自我改进系统的现实模型，指出其资源消耗指数增长而产出仅线性增长，证明此类系统不会出现爆炸式进步。
“Science is probably the closest thing we have today to a recursively self-improving superhuman AI, and you can observe that scientific progress is not actually exploding. —— 科学可能是我们目前拥有的最接近递归自我改进的超人类AI的系统，而你可以观察到科学进展实际上并未爆炸式增长。”
来源访谈 →深度学习本质是逐点的几何映射学习，需要训练数据对输入-输出空间密集采样，因而在抽象推理和远距离泛化任务上能力有限。
“Deep learning is really point-by-point geometric morphing, while abstract rules can generalize much better. —— 深度学习本质上是逐点的几何映射，而抽象规则能更好地泛化。”
来源访谈 →在国际象棋这类封闭系统中机器无需破解游戏，只需靠更少、更稳定的失误就能胜出
“Machines will prevail simply because they will bring down the number of mistakes.（机器终将获胜，仅仅因为它们能将犯错的概率降至最低。）”
来源访谈 →数学内部进步的'尖峰'具有分形本质：几何易解、组合难啃，放大看子领域难度差异依旧巨大，说明进步的不均衡性是结构性的。
“这种（进步）尖峰具有分形本质，因为当你放大数学内部的特定进展时，你会发现有些事比其他事容易得多。（英文原话：There's a fractal nature to that spikiness because when you zoom into the specific progress within math you have some things are a lot easier than others.）”
来源访谈 →数学进步的两大引擎是可验证性与'可磨砺性'：答案可自动验证，计算环境可无限容器化复制以支持大规模并行试错并解决信用分配，这是计算机使用等领域难以企及的。
“除数学问题的答案可自动验证外，其计算环境可无限容器化复制，支持大规模并行试错并解决信用分配。这是计算机使用等领域难以企及的。”
来源访谈 →Keller认为计算的未来是可扩展的低效，靠大规模并行分解问题取胜而非单点效率。
“计算的未来是低效而非高效，但这种低效是可扩展的。—— The future of computing is inefficiency, not efficiency, but scales, inefficiency scales.”
来源访谈 →卡马克认为Python在AI/ML领域便捷但性能差距可达百万倍，严肃编程仍首选带C风格的C++
“Python在AI/ML领域“惊人地便捷”，但性能上可能存在“百万倍”的差距；而C++（带有C风格）仍是他“严肃编程”的首选”
来源访谈 →他认为机器学习相对数学是浅层领域，更依赖爬山式累加创新而非深邃抽象，因此AI更容易通过大量可验证子任务训练获得核心研发直觉。
“我认为，相对于数学，机器学习是一个非常浅层的领域。（I think ML is a very shallow domain relative to math.）”
来源访谈 →系统性偏差的危害远大于随机方差，因为方差可被平均化而偏差会复利式累积
“Bias much worse than variance - variance can average out, but bias compounds. —— 偏差比方差糟糕得多——方差可以被平均化，但偏差会累积。”
来源访谈 →FSDP是当前预训练默认首选策略，只有GPU数量太多时才被迫转向其他方案
“This is the go to default. And you only move on from this when having too many GPUs forces you to move on. —— 这是默认的首选方案。只有当你因为GPU数量太多而被迫做出改变时，才会转向其他方案。”
来源访谈 →他指出插入流水线寄存器提高时钟频率存在经典权衡，因为吞吐量是每时钟周期完成的工作量与每秒时钟数的乘积，提频可能反而损害吞吐量
“It hurts your throughput, in fact, because the throughput of your chip is the product of how much you get done per clock cycle... times how many clocks you get per second.——它实际上损害了你的吞吐量，因为芯片的吞吐量是每个时钟周期完成的工作量乘以每秒的时钟数。”
来源访谈 →AI能力的提升主要来自更优质、更庞大的数据分布及算力扩张，而非样本效率的改进，数据才是进步的真正驱动力。
“我认为开源和之前的落后者之所以能相对容易地在几个月内赶上前沿，是因为数据才是进步的真正驱动力。（I think the reason it is relatively easy for open source and previous laggards to catch up to within months of the frontier is that data is the real driver of progress.）”
来源访谈 →AI炫目的能力表象之下，实则是难以想象的海量数据在维系整个体系。
“我们将这些AI视为一个闪烁着能力的星系，但在其核心，肉眼看不见的地方，将所有星座维系在一起的，是一个难以想象的数据黑洞。（We see these AIs as a galaxy glittering with capabilities, but at their center, invisible to the naked eye, holding all the constellations together, is an unimaginably massive black hole of data.）”
来源访谈 →AI实验室应对样本效率问题的路径是先实现AI研究自动化，再让自动化AI去解决效率问题本身，但可行性仍是未知数。
“AI实验室的计划是先实现AI研究自动化，再由自动化AI来解决样本效率本身的问题。但这是否可行仍是未知数。”
来源访谈 →训练数据高度专业化且需求庞大，为让AI胜任特定任务所需的专家轨迹与评分数据生产已成数十亿美元产业。
“为了让AI胜任特定任务，需要大量该领域人类专家的轨迹数据、评分标准和思维链解释。这类数据生产已成为一个年收入数十亿美元的产业，足见其规模与复杂性。”
来源访谈 →MCTS在每个决策点都能建议严格更优的动作，为训练提供清晰监督信号，绕过了LLM策略梯度RL面临的信用分配难题
“与LLM使用的策略梯度RL不同，AlphaGo的MCTS在每个决策点都能建议一个严格更优的动作，这为训练提供了一个清晰的监督信号，有效绕过了信用分配难题。”
来源访谈 →GLM-5.3相比前代架构并无根本改变，性能飞跃完全来自长周期高复杂度环境中的强化学习
“在基础模型架构上并无根本改变，其显著性能提升完全源于在长周期、高复杂度环境中的强化学习（RL）”
来源访谈 →一旦跨过知识容量阈值，长程推理等高级技能与总参数量关系不大，更多取决于训练质量和推理时的计算分配
“Advanced skills... require carrying long causal chains (20+ inference steps) without losing the thread. This ability does not live in total parameter count once a certain knowledge-holding threshold is reached.（高级技能……需要在不偏离主线的情况下进行长达20步以上的长因果链推理。一旦模型达到某个知识容量阈值，这种能力就不再体现在总参数量中了。）”
来源访谈 →连续物理系统模拟所需的分辨率会把上下文长度推到数千亿甚至万亿级别，远超现有Transformer的处理能力。
“"If each dimension is even a few hundred grid points... we're talking hundreds of billions to even a trillion context length." —— 如果每个维度哪怕只有几百个网格点……我们谈论的是数千亿甚至万亿级别的上下文长度。”
来源访谈 →神经算子将数据与物理定律结合、直接对函数而非网格建模，在保留深度学习有效做法的同时使其更有原则性。
“"All of the things that work with deep learning, let's take them, but make them a bit more principled." —— 深度学习中所有有效的部分，让我们都拿来，但让它们更有原则性一些。”
来源访谈 →持续学习将打破当前AI智能体因相似数据集而同质化的局面，不同AI会因独特交互经验发展出真正多样化的智能与性格
“不同的AI将在不同环境、与不同用户交互中积累独特经验，从而可能发展出真正多样化的“智能”或“性格”。”
来源访谈 →框架对智能体实际表现影响巨大，同一模型在不同框架下完成相同任务可产生23.8分的分数差距
“Harness-Bench用同一个模型在不同框架下完成相同的106项任务，分数从52.4到76.2不等：在模型本身毫无变化的情况下，产生了23.8分的差距。"Harness-Bench ran the same model over the same 106 tasks in different harnesses, and scores ranged from 52.4 to 76.2: a 23.8-point spread with zero change to the model."”
来源访谈 →乔丹认为当前对大脑如何计算的理解仍处于隐喻阶段，声称AI受大脑启发或接近突破是误导性的，AI目标应是解决实际工程和市场问题而非复制大脑。
“我们对大脑如何计算几乎一无所知，神经科学仍处于隐喻阶段。”
来源访谈 →AlphaFold的成功主要归功于数十年实验积累的蛋白质数据库，AI只是整个故事的一小部分，它也不具有广义相对论那样的解释力。
“AlphaFold的成功主要归功于数十年实验积累的蛋白质数据库，AI部分是整个故事的一小部分。它不像广义相对论那样具有解释力，但可能包含许多可提取的“小解释”。”
来源访谈 →Vinyals认为《星际争霸》因实时性、战争迷雾和长期规划需求比围棋等棋类更具挑战性，是探索通用人工智能的绝佳试验场。
“游戏的实时性、庞大行动空间、部分可观察性（战争迷雾）以及需要长期规划的特点，使其比围棋等棋类游戏更具挑战性。这为探索通用人工智能提供了绝佳的试验场。”
来源访谈 →罗素主张摒弃目标函数固定已知的传统AI范式，让机器对应该最大化什么目标保持不确定，把目标当作需要学习的变量。
“我们需要不确定性。我们需要机器对自己应该最大化什么目标感到不确定。”
来源访谈 →巨大的神经网络仅靠相对少量的数据和随机梯度下降就能有效学习，彻底颠覆了传统机器学习教科书关于参数数量、样本量与非凸优化的所有警告。
“机器学习本质上是一门关于"粗糙"的科学。Machine learning is the science of sloppiness really.”
来源访谈 →人类一生接触约2亿tokens而前沿模型训练用数十万亿tokens，人类样本效率比模型高出数千至百万倍，且这一差距可能被低估。
“人类的样本效率比这些模型高出数千至百万倍。(Humans are somewhere between thousands to millions of times more sample efficient than these models.)”
来源访谈 →规模扩张无法补偿样本效率差距：即便参数无限增加，按Chinchilla定律也只能将数据需求降低约10倍，人类处于完全不同的扩展曲线上。
“即便参数无限增加，按Chinchilla定律也仅能将数据需求降低约10倍，而人类比模型高效数千至百万倍——人类处于完全不同的扩展曲线上。”
来源访谈 →白领工作自动化“低效但盈利”：AI训练低效无所谓，因为技能可摊销到数十亿次会话中，而人类受寿命限制无法承受如此海量的训练。
“AI训练低效无所谓，因为其技能可摊销到数十亿次会话中；人类因寿命限制，无法承受如此海量的训练。”
来源访谈 →分布外思考是AI的瓶颈；Dwarkesh Patel预测2027年人类软件工程师需求反会因AI互补而增加，实验室的解法是先自动化AI研究再解决样本效率问题。
“软件工程等职业需频繁应对分布外问题；作者预测2027年人类软件工程师需求反会因AI互补而增加，而实验室的解法是先自动化AI研究，再解决样本效率问题。”
来源访谈 →他认为大模型在上下文中表现出极高样本效率与灵活性，但注意力机制的“快速权重”需要消耗巨大内存，内存消耗与学习效率之间存在底层原理尚待深入阐明的根本性权衡。
“这揭示了内存消耗与学习效率之间存在根本性的权衡，其底层原理尚待深入阐明。”
来源访谈 →AI的下一个重大突破将来自模型在部署中的“在职学习”，而非当前依赖可验证奖励的强化学习范式。
“The next big breakthrough will be AIs learning on the job —— 下一个重大突破将是AI在职学习。”
来源访谈 →实验室约30-50%算力用于推理，但产生的“在职经验”未回馈给模型权重，是极大浪费，而部署中的真实互动信息才是最宝贵的学习素材。
“目前，约30-50%的AI实验室算力用于推理，但这些算力产生的“在职经验”并未有效回馈给模型权重，这是极大的浪费。部署中产生的真实世界信息（模型如何被使用、犯了什么错）恰恰是最宝贵的学习素材。”
来源访谈 →推测AI可通过自建模拟环境“做梦”排练，体验远多于真实世界时间线的样本以大幅提升样本效率，这可能成为继预训练、RL和推理计算之后的第四个扩展维度。
“AI可以构建自己对现实世界的模拟环境，在其中进行“排练”或尝试不同策略。通过在模拟中体验远多于真实世界时间线的样本，从而大幅提升样本效率。这可能成为继预训练、RL和推理计算之后的第四个扩展维度。”
来源访谈 →人类擅长深度钻研、AI擅长大规模试错与遍历，应让大量中等能力AI清扫数学图谱中的容易问题、人类专家集中攻克难度孤岛，为此必须重新设计科学研究方式
“我们必须重新设计科学研究的方式，才能充分利用AI的广度能力。（We have to redesign the way we do science to take full advantage of this breadth capability.）”
来源访谈 →被AI解决的50个埃尔德什问题大多几乎无文献、解法只是冷门技巧与新问题的结合，对任意给定难题的真实成功率仅1%至2%，惊艳效果来自大规模试错后的成功放大
“系统化评测显示，AI对任意给定难题的成功率仅1%至2%，只是大规模试错后放大成功案例，才显得效果惊艳。”
来源访谈 →陶哲轩个人生产效率因AI提升约2倍，但主要体现在文献搜索、数据计算、图表绘制等辅助工作，论文变得更丰富宽广，核心数学突破仍依赖纸笔
“论文变得更“丰富”和“宽广”，但真正核心的数学突破仍依赖纸笔，AI尚未让这些工作变得“更深刻”。”
来源访谈 →多数越狱技巧本质上是社交工程（如诉诸权威、指示模型不要拒绝），字符混淆等冷门技术增益有限，这印证了"拟人化"AI模型的实用性。
“多数越狱技巧本质上是社交工程，如诉诸权威、指示模型不要拒绝等。相对冷门的字符混淆等技术增益有限。这印证了"拟人化"AI模型的实用性。”
来源访谈 →预训练数据过滤是成本最低且被低估的安全干预手段，能在不显著影响模型能力的情况下过滤危险数据，FAR AI计划投入约200万美元验证。
“这是成本最低且被低估的干预手段，在预训练阶段直接过滤危险数据，不会对模型能力造成显著影响。FAR AI正计划投入约200万美元进行大规模验证实验。”
来源访谈 →推理时缩放让模型在给出第一个词之前能思考数秒、数分钟甚至数小时，是能力上的巨大飞跃
“推理时缩放让模型在给出第一个词之前，能思考数秒、数分钟甚至数小时，这是能力上的巨大飞跃。”
来源访谈 →机器学习不只是应用统计学的计算方法，把它完全归入统计学并不那么有用
“化学只是物理学，但我认为将化学仅仅视为物理学并不那么有用。（Chemistry is just physics, but I don't think it's as useful to think about chemistry as being just physics.）”
来源访谈 →以深度学习为代表的当前AI本质是高度发达的“系统一”，擅长模式匹配与预测，但缺乏“系统二”式的推理能力，因而强大却有局限。
“Deep learning matches patterns and anticipate what's going to happen so it's highly predictive. What deep learning doesn't have... is the ability to reason. There is no system two there.——深度学习匹配模式并预测接下来会发生什么，因此具有高度的预测性。深度学习所缺乏的……是推理的能力。那里没有‘系统二’。”
来源访谈 →Amodei 坚信沿当前缩放曲线外推，AI 将在 2026 或 2027 年达到人类最高水平的专业能力。
“如果我们推演目前的曲线，确实会让我们觉得到 2026 或 2027 年就能达到那个水平。”
来源访谈 →DeepSeek V3与R1同源不同路：V3是基础模型经标准指令微调的聊天模型，R1则是经全新推理训练、回答前展示思维链的推理模型。
“DeepSeek V3的基础预训练完成后，他们做了两种不同的后训练：一种是创建标准的指令微调模型V3，另一种是通过新的推理训练创建R1。”
来源访谈 →DeepSeek高效训练的两大技术支柱是混合专家模型（只激活参数子集，如671B参数中仅激活37B）和自创的多头潜在注意力机制。
“混合专家模型（MoE）通过每次只激活参数的一个子集，大幅降低了训练和推理成本。”
来源访谈 →蛋白质进化的核心规律是模块化，域的重组使蛋白质获得新功能而不破坏原有结构。
“Modularity. That's the single keyword about protein evolution. —— 关于蛋白质进化，如果要选一个关键词，那就是模块化。”
来源访谈 →认为图灵测试只是思想实验而非严谨测试，未来应测试AI在成千上万种任务上达到或超越人类水平的通用能力
“我认为，如果你回顾图灵1950年的论文……我并不认为他本意是将其作为一个严谨的正式测试。它更像是一个思想实验。”
来源访谈 →AlphaFold将蛋白质结构预测从博士生耗时数年缩短到数秒，并已预测人类全部2万种蛋白质，是DeepMind迄今最复杂最有意义的系统
“AlphaFold是我们迄今为止构建的最复杂、也可能最有意义的系统。”
来源访谈 →构建庞大且完全一致的知识库是不可能的，Cyc改用局部一致性模型以容忍现实中的细微矛盾和例外
“我们不得不放弃全局一致性。这有点像地球表面整体是球形的，但你每天的生活都像是在平地上进行。”
来源访谈 →MCTS并非直接优化胜率，而是为每个已执行动作生成更优的替代标签，输出比初始策略网络更尖锐的落子概率分布。
“蒙特卡洛树搜索（MCTS）并非试图直接优化胜率，而是为每个已执行的动作提供更优的替代标签。算法通过选择、扩展、评估和回溯四步迭代，最终输出比初始策略网络更尖锐的落子概率分布。”
来源访谈 →把搜索成果蒸馏回策略网络，可将1000步搜索摊销进前向传播，实现测试时计算与训练时计算的相互替代。
“这几乎就像，如果你能把最初1000步搜索的成果摊销进策略网络而非搜索过程本身，你就能从一个好得多的起点出发。（It's almost like if you could just, you know, amortize the first 10,00 steps actually into the policy network instead of the search process, then you could begin at a much better starting point.）”
来源访谈 →从零训练AlphaGo的关键是先获得可靠的价值函数，再引入MCTS自我对弈，否则搜索基于垃圾估值将毫无意义。
“从零训练AlphaGo的关键是先获得可靠的价值函数。初期可使用专家棋谱或小型棋盘随机对弈预训练，待终局价值判断准确后再引入MCTS自我对弈，否则搜索基于垃圾估值将毫无意义。”
来源访谈 →Hotz 认为特征工程类方法（如特斯拉数据引擎）终将被端到端学习方法取代并击败。
“我认为特征工程的方法最终总会被端到端的方法所取代和击败。（英文原文："I think feature engineering approaches will always be replaced and lose to end to end."）”
来源访谈 →马库斯认为深度学习本质上是关联学习而非真正的抽象推理，无法像人类一样将学到的知识灵活迁移到新情境。
“AI实际上是一堆不同技术的集合，其中一些有其独特的优势和劣势。（英文原话：AI is actually a grab bag of different techniques, and some of them have unique strengths and weaknesses.）”
来源访谈 →当前大模型的损失函数是最大化压缩，导致产出平庸，与追求AGI的目标背道而驰。
“如果你的损失函数仅仅是试图最大化压缩……它写的说唱听起来就像YouTube评论里的说唱。（If your loss function is just try to maximize compression... the raps that it wrote sounded like YouTube comment raps.）”
来源访谈 →AI在IMO几何题上的优异表现源于暴力求解特性、组合题仍是难点，攻克IMO金奖只是又一个基准测试被攻破，并非AGI到来的信号。
“这不过是又一个被攻克的基准测试，而非AGI到来的信号。”
来源访谈 →AI的下一个目标应是提出猜想、创造新定义并统一领域，这种能力难以被标准化为基准测试。
“好数学家证明定理，伟大的数学家提出猜想，而最伟大的则创造定义。创造新定义、统一领域的能力，是AI的下一个目标，且难以标准化为基准测试。”
来源访谈 →形式化的重要性被高估：AI解决单位距离猜想用的是自然语言思维链而非Lean证明，但Lean的长期价值在于构建无需人工监督、可无限延伸的数学树。
“AI解决单位距离猜想时用的是自然语言思维链，而非Lean证明。但Lean的长期价值在于可构建无需人工监督的"无限延伸"的数学树，如同AlphaZero在高维空间自主进步。”
来源访谈 →Sutskever认为深度学习革命的关键想法早已存在，真正缺失的是海量监督数据、足够算力，以及坚信将现有技术与两者结合就能成功的信念，AlexNet为此提供了无可辩驳的证据。
“将现有技术与海量数据和算力结合就能成功”
来源访谈 →学术评审质量下滑、算法研究低垂果实被摘尽、加上基础设施决定实验成败的体感，使他从算法研究转向机器学习系统成为行业趋势下的必然转身
“学术评审质量下滑、算法研究"低垂的果实"被摘尽、以及基础设施决定实验成败的体感，共同推动了他从"算法雕刻"转向"系统构建"的必然转身。”
来源访谈 →模型必须根据硬件特性与基础设施协同设计才能最大化效率，否则算法再好也难以落地
“硬件如自然资源，模型似发电机，推理引擎是电网。只有根据硬件特性设计模型结构，才能最大化"发电效率"，否则算法再好也难以落地。”
来源访谈 →极限协同设计是应对AI规模化的必然选择——当问题规模超越单台计算机的加速能力时,必须打破学科壁垒对整个技术栈端到端协同优化,才能突破阿姆达尔定律的限制、实现超越线性增长的扩展
“英伟达必须打破学科壁垒，协同优化整个技术栈，以实现超越线性增长的计算扩展。”
来源访谈 →AI扩展并未遇到数据耗尽等根本性瓶颈,推理即思考且计算强度极高,扩展已形成预训练、后训练、测试时计算与智能体扩展的持续增强循环,最终受限因素是算力而非数据或架构
“Inference is thinking, and I think thinking is hard. Thinking is way harder than reading. —— 推理就是思考，而我认为思考是困难的。思考比阅读要难得多。”
来源访谈 →Keller认为GPU执行AI计算图本质是模拟、效率不高，为矩阵乘法、卷积和图数据流动设计的原生硬件才是下一个创新方向。
“为像素着色器程序设计的 GPU 在执行 AI 计算图时本质上是在“模拟”，效率不高。”
来源访谈 →珀尔认为当前深度学习等机器学习本质上是条件概率估计器，只能学习变量间的关联，无法回答因果问题，这限制了AI达到真正智能水平。
“当今深度学习等机器学习方法本质上是条件概率估计器，擅长学习变量间的关联，但无法回答“为什么”或“如果……会怎样”这类因果问题。这限制了AI达到真正智能水平。”
来源访谈 →Greenblatt认为AI研发具有高可验证性与迭代性，一旦AI匹配顶尖人类专家就可能触发递归自我改进的反馈循环，一年内实现四到五年的AI进展。
“我的中位数预期是，AI可能在一年内取得相当于四到五年的人类AI进展。（My median expectation is something like four or five years of AI progress in a single year.）”
来源访谈 →实验室会把算力更多分配给内部研发而非对外推理服务，因为内部使用超快AI或最佳模型产生的价值远高于外部用户。
“"The whole point is, if I'm selling tokens… I'm going to allocate it to internal and external, because the internal value I'm generating from super-fast AI or the best AI model is way more than what someone external is."——关键在于，如果我在出售代币……我会将其分配给内部和外部，因为我从超快AI或最佳AI模型中产生的内部价值，远高于外部用户所获得的价值。”
来源访谈 →FSDP规模化受通信交叉点和批大小双重限制，超过交叉点后训练效率急剧下降
“随着GPU增多，计算时间缩短而通信时间不变，会达到一个计算与通信时间相等的“交叉点”，超过此点后训练效率将急剧下降。”
来源访谈 →由于重大概念性突破无法即时验证，无法轻易为其训练强化学习循环。
“What this means for AI for science is that 1. You can't easily train an RL loop for big conceptual breakthroughs.——这对AI科学应用意味着：第一，你无法轻易为重大的概念性突破训练一个强化学习循环。”
来源访谈 →GLM-5.3的能力飞跃并非来自更大规模的基础模型预训练，而是完全依靠扩展后训练
“Scaling post-training is all we did for GLM-5.3.（扩展后训练是我们为GLM-5.3所做的全部工作。）”
来源访谈 →不应盲目相信厂商发布的基准测试数字，评分器中的小错误就可能使得分从65%飙升至93.6%，开发者应运行自己的评估
“评分器中的小错误或可导致系统得分从65%飙升至93.6%，呼吁开发者应运行自己的评估，而非盲目相信营销数字。”
来源访谈 →Reiner Pope认为低精度算术在神经网络中如此成功的唯一原因，是乘加电路规模随位宽呈简单的二次方关系，累加需要更高精度应对误差累积
“This is the single reason low-precision arithmetic has worked so well for neural nets.——这是低精度算术在神经网络上如此有效的唯一原因。”
来源访谈 →他认为GPU本质上是许多微型TPU的集合，每个SM都类似一个包含小型矩阵单元和向量单元的微型TPU，而TPU则采用少数大型矩阵单元的粗粒度设计
“A GPU is just a bunch of tiny TPUs.——GPU本质上就是一堆微型TPU。”
来源访谈 →尽管训练AI比训练人类低效得多，但AI能并行学习并把技能应用于数十亿次会话，从整体经济角度看依然划算。
“尽管训练AI完成特定任务比训练人类低效得多，但AI可以并行学习并将技能应用于数十亿次会话。因此，即使训练成本高昂，从整体经济角度看依然划算。”
来源访谈 →Joon用1000名美国人的数字孪生验证模拟保真度：数字孪生以85%的准确率复现真人回答，达到了人类重复自身回答的准确率水平。
“为1000名美国人创建数字孪生，两周后让数字孪生预测这些真人在一系列测试中的行为，结果显示数字孪生能以85%的准确率复现人们自我重复的回答，这达到了人类重复自身回答的准确率水平。”
来源访谈 →AlphaGo是搜索、从经验中学习与自我对弈这三大智能核心要素最清晰的范例，理解它有助于洞察未来更通用AI系统的学习路径
“AlphaGo仍然是智能基本原理最清晰的实例：搜索、从经验中学习和自我对弈。”
来源访谈 →围棋决策树过于庞大无法穷举，价值网络与策略网络通过压缩搜索的宽度和深度使问题变得可解
“围棋的决策树过于庞大，无法穷举搜索。AlphaGo通过价值网络（快速评估棋局胜率）和策略网络（推荐可能的好棋）极大地压缩了搜索的宽度和深度，使问题变得可解。”
来源访谈 →LLM已能较好地自动化实验实现、运行和超参数优化等执行环节，但选择研究问题、突破研究僵局等创造性决策目前仍显不足
“LLM可以较好地自动化实验实现、运行和超参数优化等环节，但在选择研究问题、突破研究僵局等需要判断力的创造性工作上，目前仍显不足。”
来源访谈 →池side认为当前配方下1-2万张GB300就能训练出媲美前沿的模型，但下一代前沿模型所需集群规模将再大一个数量级以上，递归自我改进将使物理算力需求前所未有地凸显。
“在当前模型配方下，使用1-2万张GB300就能训练出媲美当前前沿的模型。但下一代前沿模型所需的集群规模，将比这个数字再大一个数量级以上。”
来源访谈 →自然选择并未如传统观点认为的那样在农业革命后停滞，而是在基因组数千个位点上持续发挥作用，约1000万个分析位点中约2%显示出清晰选择信号。
“自然选择无处不在，而非处于静默状态。”
来源访谈 →与智力测试表现、受教育年限相关的基因组合频率在过去一万年系统性提升，整体效应量接近一个现代人群标准差，这与集体智能假说的预测相反。
“数据揭示了相反的事实：文明的开端反而增加了对智力的选择压力。”
来源访谈 →复杂性状的进化受限的关键是时间而非仅是种群大小：微效多基因性状可在数百到数千年内推向新的适应性平衡点，而青铜时代全球人口增长至约5000万，消除了乳糖耐受这类需等待特定新突变的突变等待时间限制。
“进化受时间限制，而非仅受种群大小限制。”
来源访谈 →训练环境可完全合成、大规模自动化生成，扩展后训练的难度重心已从模型转移到环境本身
“As agent capability improves, much of the difficulty in scaling post-training moves from the model to the environment.（随着智能体能力的提升，扩展后训练的大部分难度从模型转移到了环境本身。）”
来源访谈 →AI在数学内部的进步极不均衡，能力前沿呈分形式崎岖，有些问题远比其他问题容易
“这种前沿的'崎岖'具有分形特征，因为当你聚焦于数学内部的具体进展时，会发现有些部分要容易得多。（"There's a fractal nature to that spikiness, because when you zoom into the specific progress within math, you have some things that are a lot easier than others."）”
来源访谈 →智能提升的本质是算力密度增加：更大参数规模、更复杂训练和更长推理时间都直接提升算力单价
“更聪明的模型往往意味着更大的参数规模、更复杂的训练过程或更长的推理时间。这些都需要单位时间内消耗更多的计算资源，直接提升了算力的单价”
来源访谈 →部署即训练会形成强者愈强的飞轮效应，实验室将被迫更早推出最聪明的模型以抢占学习先机
“当部署即训练，拥有最佳模型的实验室会获得更多用户、更复杂的任务和更高质量的反馈，从而加速模型进化。”
来源访谈 →持续学习通过巨大切换成本将用户与模型深度绑定，为领先AI实验室建立类似云服务商的强护城河和高利润率
“一旦模型通过持续学习与用户深度绑定，切换AI就如同解雇一位熟悉公司情况数月的老员工并重新培训新人，成本巨大。”
来源访谈 →模型越智能，同等数量算力的经济变现能力越强，这是算力价格将大幅上涨的关键驱动力。
““随着AI模型变得更智能，它们将能更好地变现同等数量的算力。”（"As AI models become smarter, they'll better monetize the same amount of compute."）”
来源访谈 →实验室赚取推理收入的核心意义不是盈利本身，而是说服投资者提供更多资金去购买算力、训练更大的模型。
““推理收入的意义在于说服投资者给你更多钱，去买更多算力来训练更大的模型。”（"The point of inference revenue is to convince investors to give you more money to buy more compute to train bigger models."）”
来源访谈 →算力价格高涨将通过阿尔钦-艾伦效应放大低效模型的浪费，使训练出最高效模型的实验室可收取极高溢价，拉大与追随者的差距、提升市场集中度。
“根据阿尔钦-艾伦效应，当算力成本高昂时，使用低效模型的“浪费”会更显著。这使得能训练出最高效模型的实验室可以收取极高溢价，从而拉大与追随者的差距，导致市场集中度提升。”
来源访谈 →实验室本不愿增加推理算力占比以免更像云服务商而非前沿模型训练者，但推理收入增长快于训练算力投入，迫使它们分配更多资源服务现有模型以维持现金流。
“增加推理算力占比意味着实验室更像云服务商，而非前沿模型训练者，这与它们的雄心相悖。然而，推理收入增长快于训练算力投入，迫使它们必须分配更多资源来服务现有模型以维持现金流。”
来源访谈 →框架能力正通过训练被吸收进模型权重，形成“训练-吸收-精简”循环，删除与吸收过程结束后剩下的是权限、身份、信任等以人类为中心的能力
““模型权重接下来会吸收什么？……在这个删除和吸收过程结束后，剩下的是以人类为中心的智能体能力。比如权限、身份、信任和可解释性。”"What do the model weights absorb next? ... What's left at the end of this deletion and absorption process are the human-centric agent capabilities. Things like permissions, identity, trust and legability."”
来源访谈 →解码提取的推理过程是真实的隐藏思维，而非伪造内容：其推理令牌计数与计费的API思考令牌在大多数查询上1:1匹配。
“我们验证了对于大多数查询的提示，我们的推理令牌计数与计费的API思考令牌1:1匹配。”
来源访谈 →作为机器学习研究者，他认为对平台问题无能为力的说法不可信：知道如何优化某目标，本身就说明了如何不这样优化或另做他事
“The idea that there's nothing to do about it, that strikes me as implausible as a machine learning person. Anytime you know how to optimize for something, almost by definition, that solution tells you how not to optimize for it or to do something different. —— 作为一个机器学习研究者，我认为'对此无能为力'的说法令人难以置信。几乎可以肯定”
来源访谈 →上下文学习若足够强大，可把新员工约6个月才能掌握的经验压缩进上下文窗口，从而无需将部署所学蒸馏回权重。
“如果上下文学习能力足够强大，就能将新员工入职6个月才能掌握的经验压缩进上下文窗口，而无需将部署中学到的知识蒸馏回权重。”
来源访谈 →短视距RL训练可能不会泛化到长视距RL表现，难以指望受训于白领任务的agent在现实世界中从零建立像山姆·沃尔顿那样的商业帝国。
“短视距RL训练可能不会泛化到长视距RL表现。若如此，如何期望agent从训练于白领任务泛化到能在现实世界中从零建立像山姆·沃尔顿那样的商业帝国？”
来源访谈 →实验室30%-50%的算力用于推理却未在改进模型上发挥生产性作用，已广泛部署的AI掌握大量领域与组织隐性知识却无法利用，如同永远无法实习的天才学生。
“我们已有广泛部署于经济中的AI，掌握了大量领域和组织特定的隐性知识，却无法加以利用，这太奇怪了。（英文原话：It's so bizarre that we have AIs that are broadly deployed through the economy already and are privy to so much domain and organization specific tacit knowledge. And they're not able to make use of it.）”
来源访谈 →算法主导的深度学习并非唯一路径，符号处理领域仍是待开发的“处女地”，当前主流范式未必是终极答案。
“她惊讶于深度学习等算法成为主流，并认为符号处理领域仍是待开发的“处女地”。”
来源访谈 →批处理规模是决定推理成本与延迟的最大变量，最优批大小约等于300乘以模型稀疏度，与模型绝对规模无关。
“若不进行批处理，单用户推理的经济性会比批处理差约千倍；而批处理大小的最优值约等于300乘以模型稀疏度，与模型绝对规模无关，实践中通常取该值的2-3倍。”
来源访谈 →稀疏专家模型虽能大幅降低计算量，但增加内存容量与通信开销，扩大64倍总参数仅等效于4倍活跃参数的质量提升，并非免费午餐。
“经验数据显示，将总参数扩大64倍仅能等效于4倍活跃参数的模型质量提升，因此稀疏化并非免费午餐。”
来源访谈 →当前模型预训练数据约200万亿token，是Chinchilla最优值的100倍，本质是为降低推理成本而刻意过度训练。
“据此估算，当前模型预训练数据量约为200万亿token，是Chinchilla最优值的100倍——本质上是为降低推理成本而“过度训练”。”
来源访谈 →模型上下文长度在100K-200K停滞一两年，说明这正是内存带宽与计算的合理成本平衡点，瓶颈不在算力。
“I think it's like if you look at the history of context lengths of models... they shot up from about 8K to 100K 200K and then for the last year or two they've all been hovering around there. I think that actually indicates that that's sort of the reasonably balanced cost point. —— 上下文长度从8K跃升至200K后便停”
来源访谈 →感知与物理行动远比下棋、推理等任务困难，当前AI做不到像16个月大幼儿那样看懂新环境并打开陌生的窗户。
“像一个16个月大幼儿那样，通过视觉理解新环境并协调双手打开一个从未见过的窗户，则需要极其复杂的感知与运动协调，这远超当前AI的能力。”
来源访谈 →深度学习只是以一定准确率解决了标注问题，并未解决符号与真实世界物体之间稳固关联的落地问题。
“The labeling problem was solved with some percentage accuracy which is different from the grounding problem.（标注问题以一定准确率得到了解决，但这与符号落地问题截然不同。）”
来源访谈 →沃尔夫勒姆认为ChatGPT这类大语言模型是宽而浅的，而他要构建的计算体系最重要的特征是深。
“我认为ChatGPT这类东西是宽而浅的，而我们试图通过构建计算来实现的是一种深，当然也很广，但最重要的是深的东西。"I view sort of the chat GPT thing as being wide and shallow and what we're trying to do with sort of building out computation as being this sort of deep also broad but but most importantly kind of a deep type of thing."”
来源访谈 →当前循环神经网络在数百个时间步后性能显著下降，而人脑能对跨越任意长时间的事件做信用分配，这得益于大脑高效且有针对性的遗忘机制以及意识与情感对信息存取的作用。
“当前的循环神经网络在处理数百个时间步后性能会显著下降，而人类能够对跨越任意长时间的事件进行信用分配。”
来源访谈 →在海量数据上训练的神经网络只获得了非常基础、底层的理解，既不鲁棒也远不及人类理解的抽象性与通用性，因此训练方式需要根本性变革，更关注因果解释而非仅仅关联数据。
“在海量数据上训练的神经网络仅获得了非常基础、底层的理解，远不及人类理解的抽象性与通用性。”
来源访谈 →突破深度学习根本局限的关键在于设计新的训练目标与框架，让智能体从被动观察数据转向主动干预和探索以学习因果，而非单纯把网络层数从百层增加到万层。
“我认为关键在于训练目标和训练框架...要从被动观察数据转变为通过干预世界来学习的主动智能体。”
来源访谈 →RCN在前馈结构基础上增加反馈与侧向连接，核心优势是能进行动态推理，而非像传统神经网络那样依赖训练时的摊销推理
“其核心优势在于能够进行动态推理，而非像传统神经网络那样依赖训练时的“摊销推理””
来源访谈 →验证码是检验人类级泛化能力的理想基准，当前深度学习无法做到五岁孩子那样的零样本泛化，而破解验证码需要将局部证据置于全局上下文推理
“验证码设计初衷就是对人易、对机器难。一个五岁的孩子可以无需针对特定风格的训练就解决新的验证码，而当前的深度学习系统无法做到这种零样本泛化”
来源访谈 →强化学习的本质是合成数据生成：用大量计算配合验证器筛选出好数据，再让模型像预测下一个词那样学习这些正确轨迹。
“强化学习本质是合成数据生成：通过大量计算配合验证器，筛选出"好数据"，再像预测下一个词那样训练模型学习这些正确轨迹。”
来源访谈 →模型不应被理解为像人一样学会多种技能的学习者，而应视为由数十亿精心构造的示例缝合而成的“弗兰肯斯坦怪物”。
“它不像一个学会多种技能的人类……更像一个由十亿个精心构造的示例缝合而成的弗兰肯斯坦怪物。(It's not like a human who has learned all these different skills... It's more like a Frankenstein's monster which has been built out of a billion graphs of carefully constructed examples all sewn together.)”
来源访谈 →开放模型仅落后前沿四个月，是因为数据是进步的主要驱动力且易于从API蒸馏；若超参数或架构才是关键，追赶将困难得多。
“数据是进步的主要驱动力，且易于从API蒸馏；若超参数或架构才是关键，追赶将困难得多。”
来源访谈 →他认为训练与推理在极限情况下理论上应融合，未来模型可能通过“在职学习”在执行实际任务的同时进行学习，以突破仅靠人造训练环境带来的增长瓶颈。
“未来，模型可能通过"在职学习"——在执行实际任务的同时进行学习——来突破仅靠人造训练环境带来的增长瓶颈。”
来源访谈 →质疑短期RL训练能否泛化到构建企业等长期、非结构化的复杂任务，并认为Dario Amodei的言论也暗示这种泛化并非无限强。
“Maybe I'm reading too much into it but he seems to be saying that short-horizon RL training doesn't necessarily generalize to long-horizon RL performance. —— 也许我解读过度了，但他似乎在说，短期强化学习训练不一定能泛化到长期性能。”
来源访谈 →提出在线策略自蒸馏（OPSD）作为无需外部验证奖励的持续学习方法：让基础模型模仿长会话中积累丰富上下文的“资深”模型，比SFT更优。
“让基础模型去模仿那个在长会话中积累了丰富上下文的“资深”模型所做出的预测。这比监督微调（SFT）更优，因为它只提取达到正确结果所必需的知识，避免了死记硬背整个会话记录。”
来源访谈 →Tedrake认为深度学习让一些事情变得太容易，下一代不再因采用严谨方法获得即时回报，担心严谨推理训练的传承因此受损。
“我只是觉得深度学习让一些事情变得太容易了，以至于我们的下一代不会立即因采用更严谨的方法而获得回报，然后我想知道这会把我们带向何方。”
来源访谈 →AI目前只能解决一次性问题，无法像人类登山者那样在部分进展的基础上持续构建，这限制了它在真正复杂问题上的表现
“它像是能跳2米高的机器，能越过一些低矮墙头，但不会像人类登山者那样在岩壁上留下抓点、逐步攀爬。”
来源访谈 →AI的根本优势在于其数字性，可以完美复制、并行工作，并以远超人类语言的速度共享学习成果。
“数字智能可以完美复制、并行工作，并通过同步权重（连接强度）以每秒万亿比特的速度共享学习成果，这是人类通过语言（每秒仅10比特）无法比拟的。”
来源访谈 →