Anima Anandkumar

Anima Anandkumar

Anima Anandkumar
Bren计算教授,加速理解联合创始人
海外PC 优先级✓ 已收录 1 期访谈

立场时间线 8 条 · 8 个议题

同一议题按时间排列,说法变化一目了然。

上下文瓶颈
2026-08

连续物理系统模拟所需的分辨率会把上下文长度推到数千亿甚至万亿级别,远超现有Transformer的处理能力。

“"If each dimension is even a few hundred grid points... we're talking hundreds of billions to even a trillion context length." —— 如果每个维度哪怕只有几百个网格点……我们谈论的是数千亿甚至万亿级别的上下文长度。”

来源访谈 →
相关观点 (3)赖纳·波普 · 上下文长度:模型上下文长度在100K-200K停滞一两年,说明这正是内存带宽与计算的合理成本平衡点,瓶颈不在算力。陶哲轩 · 算力瓶颈:某些数学问题的复杂度会迅速增长,无法靠直接暴力计算解决赖纳·波普 · 推理延迟:单次推理存在由硬件决定的延迟下限,因为必须把全部模型权重从内存读入芯片,这一时间无法绕过。
神经算子
2026-08

神经算子将数据与物理定律结合、直接对函数而非网格建模,在保留深度学习有效做法的同时使其更有原则性。

“"All of the things that work with deep learning, let's take them, but make them a bit more principled." —— 深度学习中所有有效的部分,让我们都拿来,但让它们更有原则性一些。”

来源访谈 →
相关观点 (2)迪利普·乔治 · 递归皮层网络:RCN在前馈结构基础上增加反馈与侧向连接,核心优势是能进行动态推理,而非像传统神经网络那样依赖训练时的摊销推理Dwarkesh Patel · 推理占比:实验室本不愿增加推理算力占比以免更像云服务商而非前沿模型训练者,但推理收入增长快于训练算力投入,迫使它们分配更多资源服务现有模型以维持现金流。
形式化验证
2026-08

TorchLean框架把PyTorch式网络引入证明助手Lean实现形式化验证,这对聚变反应堆控制等关键系统中神经网络的可靠性至关重要。

“Anandkumar的TorchLean框架将PyTorch式网络引入证明助手Lean,实现了形式化验证。这对确保用于聚变反应堆控制等关键系统的神经网络的可靠性至关重要。”

来源访谈 →

金句墙 3 条

访谈收录

A