扬·勒昆
立场时间线 15 条 · 14 个议题
同一议题按时间排列,说法变化一目了然。
他判断通向人类水平AI是渐进迭代的过程:先造出猫一样智能的系统,再逐步提升能力并同步设置护栏,而非突然出现超级智能。
“我们将先拥有像猫一样聪明的系统,然后逐步让它们变得更智能。”
来源访谈 →杨立昆认为智能很可能本质上就是统计,但关键在于它是包含因果、能进行干预推理的深层机制的特定类型统计,而非表面模式匹配。
“智能很可能只是统计,但是一种特定类型的统计。(It's quite possible that intelligence is just statistics, it's just statistics of a particular kind.)”
来源访谈 →杨立昆认为智能的本质是预测能力,通过预测缺失信息(如视频下一帧、文本空白词)来学习,是构建世界模型、实现机器真正智能的最有希望路径。
“智能的本质在于预测能力,大脑所做的一切都是试图用一切来预测一切。”
来源访谈 →杨立昆坚信具身智能不可或缺,认为仅靠纯文本无法训练出智能的机器,智能需要从视觉等高带宽感官观察中学习物理常识。
“我坚信具身智能。我不认为仅靠文本就能训练出智能的机器,因为文本中包含的世界信息量与我们所需知道的相比微不足道。”
来源访谈 →为机器设计目标函数是延续千年的古老问题而非AI新挑战,人类社会早已通过法律这种代码来约束行为,计算机科学与立法科学终将汇合。
“我们已经制定了数千年的法律,而这(设计目标函数)正是它在做的事。We've been writing laws for millennia, and that's exactly what it is.”
来源访谈 →巨大的神经网络仅靠相对少量的数据和随机梯度下降就能有效学习,彻底颠覆了传统机器学习教科书关于参数数量、样本量与非凸优化的所有警告。
“机器学习本质上是一门关于"粗糙"的科学。Machine learning is the science of sloppiness really.”
来源访谈 →智能无法脱离学习而存在,深度学习的成功正源于'大脑就是这样工作'的朴素直觉。
“智能与学习密不可分。Intelligence is inseparable from learning.”
来源访谈 →当前强化学习和纯监督学习效率低下,源于缺乏对世界运作的直觉模型;自监督学习通过预测视频帧、填补文本缺失让模型掌握世界内在规律与不确定性,是通往更智能系统的必由之路。
“我们拥有对世界的预测模型,其中包括在不确定性下进行预测的能力。We have predictive models of the world that include the ability to predict under uncertainty.”
来源访谈 →情感不是智能的附属品,而是智能系统评估状态、预测未来并做决策的核心动机来源,因此是自主智能不可或缺的必要组件。
“没有情感,我们无法拥有自主智能。We're not going to have autonomous intelligence without emotions.”
来源访谈 →金句墙 14 条
“You're not going to be able to do this with generative models.”
你无法用生成式模型来实现这一点。
LeCun:AI未来在于联合嵌入,而非生成式模型 · 2024/3/7“The reason we can do this is because the world is incredibly more complicated and richer in terms of information than text.”
我们之所以能(在语言上)成功,是因为世界在信息复杂度和丰富度上远超文本。
LeCun:AI未来在于联合嵌入,而非生成式模型 · 2024/3/7“Open source enables diversity, and that's the inevitable direction of history.”
开源实现了多样性,而这是历史的必然方向。
LeCun:AI未来在于联合嵌入,而非生成式模型 · 2024/3/7“If you're really interested in human-level AI, abandon the idea of generative AI.”
如果你对达到人类水平的AI真正感兴趣,那就放弃生成式AI的想法。
LeCun:AI未来在于联合嵌入,而非生成式模型 · 2024/3/7“We're going to have systems that are as smart as a cat, and then we're going to walk our way up to make those things more intelligent.”
我们将先拥有像猫一样聪明的系统,然后逐步让它们变得更智能。
LeCun:AI未来在于联合嵌入,而非生成式模型 · 2024/3/7“It's quite possible that intelligence is just statistics, it's just statistics of a particular kind.”
智能很可能只是统计,但是一种特定类型的统计。
Yann LeCun:智能的本质是统计,但必须是特定类型的统计 · 2022/1/22“The essence of intelligence is the ability to predict, and everything the brain does is trying to predict everything from everything else.”
智能的本质在于预测能力,大脑所做的一切都是试图用一切来预测一切。
Yann LeCun:智能的本质是统计,但必须是特定类型的统计 · 2022/1/22“The big challenge of AI for the next decade is how do we get machines to learn pretty accurate models of the world that deal with uncertainty and deal with the real world in all its complexity.”
未来十年AI的重大挑战在于,如何让机器学习能够应对不确定性及现实世界所有复杂性的、相当精确的世界模型。
Yann LeCun:智能的本质是统计,但必须是特定类型的统计 · 2022/1/22“I believe in grounded intelligence. I don't think we can train a machine to be intelligent purely on text, because the amount of information about the world that's contained in text is tiny compared to what we need to know.”
我坚信具身智能。我不认为仅靠文本就能训练出智能的机器,因为文本中包含的世界信息量与我们所需知道的相比微不足道。
Yann LeCun:智能的本质是统计,但必须是特定类型的统计 · 2022/1/22“We've been writing laws for millennia, and that's exactly what it is.”
我们已经制定了数千年的法律,而这(设计目标函数)正是它在做的事。
Yann LeCun:深度学习的直觉与AI的未来 · 2019/8/31“Machine learning is the science of sloppiness really.”
机器学习本质上是一门关于“粗糙”的科学。
Yann LeCun:深度学习的直觉与AI的未来 · 2019/8/31“We have predictive models of the world that include the ability to predict under uncertainty.”
我们拥有对世界的预测模型,其中包括在不确定性下进行预测的能力。
Yann LeCun:深度学习的直觉与AI的未来 · 2019/8/31“We're not going to have autonomous intelligence without emotions.”
没有情感,我们无法拥有自主智能。
Yann LeCun:深度学习的直觉与AI的未来 · 2019/8/31“Intelligence is inseparable from learning.”
智能与学习密不可分。
Yann LeCun:深度学习的直觉与AI的未来 · 2019/8/31访谈收录

LeCun:AI未来在于联合嵌入,而非生成式模型
在访谈中,Yann LeCun系统阐述了当前生成式AI的根本局限,并提出了通向高级机器智能的技术路径。他指出,仅通过预测文本无法构建真正的世界模型,而视频生成的困难在于无法有效建模高维连续空间的分布。LeCun大力倡导联合嵌入预测架构(JEPA),认为这是学习世界抽象表示、实现物理推理的关键。他强调,开源是实现AI多样性、避免意识形态偏见和保障民主的必由之路,并对构建可规划、可理解物理世界的下一代AI模型充满信心。

Yann LeCun:智能的本质是统计,但必须是特定类型的统计
杨立昆与Lex Fridman深入探讨自监督学习为何是通往机器智能的关键路径。他认为,当前监督学习和强化学习效率低下,无法解释人类和动物如何高效学习。自监督学习通过“填补空白”(如预测视频下一帧)来构建世界模型,是从观察中获取背景知识的核心机制。杨立昆指出,尽管在语言领域已取得巨大成功,但让机器从视频中学习世界表征仍是巨大挑战。他强调,智能或许本质上是一种特定类型的统计,但必须能学习包含因果关系的、可微分的世界模型,这是未来十年AI研究的核心目标。

Yann LeCun:深度学习的直觉与AI的未来
Yann LeCun在访谈中探讨了AI的价值对齐问题、深度学习的反直觉成功、自监督学习的核心作用、自动驾驶的技术路径,以及构建人类水平智能系统所面临的挑战,强调了情感与常识推理在AI中的重要性。