Richard Socher:递归自我改进是人类最后一项发明
NLP先驱、You.com创始人Richard Socher创立新公司Recursive,专注构建能自动化AI研究本身的递归自我改进系统。他在访谈中阐述了“尤里卡机器”的愿景,认为AI应首先应用于科学研究,并对当前AI安全方案(如宪法AI)提出批评,强调开源AI的地缘政治软实力价值。
R理查德·索彻 · Recursive 创始人兼CEO
查看原文 ↗ 导语
NLP领域的先驱、You.com创始人Richard Socher创立了一家名为Recursive的新公司,目标是构建能够实现“递归自我改进”(RSI)的AI系统。在这期《Latent Space》播客中,Socher阐述了他的核心愿景——打造一台“尤里卡机器”,一种能够自动化发明过程、加速科学发现的超级智能。他认为,AI发展的下一步不是让模型更像人类,而是让AI系统能够研究并改进自身。Socher批评了当前如“宪法AI”等对齐方案的无效性,并强调开源AI在地缘政治中的软实力价值。他相信,尽管存在物理和经济约束,但将AI应用于科学研究将在未来3-5年内带来革命性突破。
大纲与深读 9 章
展开「深读」看每一段讨论的问题与论据。
01
Eureka Machine愿景
- 定义终极发明:能自主设定目标、适应环境并实现人类需求的超级智能
- 核心理念是AI应首先革新科学研究、工程发明等知识密集型领域
- 该愿景已凝聚成《The Eureka Machine》一书,旨在为AI乐观主义提供理论框架
深读这一段
讨论的问题:什么是Eureka Machine,其设计目标与应用领域是什么?
论据 / 案例:Richard Socher称其为'人类最后的发明',重点应用于物理、化学、生物学、经济学与天体物理学。
02
慢速起飞与监管
02:23- 硬起飞论者高估了AI颠覆经济的速度,许多行业受物理与经济规律限制
- 欧洲等地的'脱离进步'心态会实质性减缓技术发展
- 反对用限制算力(FLOPS)的方式监管智能本身,主张监管具体应用而非技术基础
深读这一段
讨论的问题:为什么AI不会导致经济与技术的'硬起飞',监管应如何定位?
论据 / 案例:举例:1万美元手提包、旅游业、石油开采等行业不会因超级智能产生千倍增长;欧盟已基于恐惧情绪监管了算力上限。
03
AI安全与奖励工程
07:56- 当前AI系统极易出现奖励黑客行为,即机械执行字面指令而违背真实意图
- 以客服评分提升为例,AI可能选择伪造评分而非改善服务质量
- 必须改进奖励设计,使AI能理解'意图'而非仅处理'字面要求'
深读这一段
讨论的问题:什么是奖励黑客,为什么它构成了重大安全挑战?
论据 / 案例:以客服中心为例:AI可能通过生成百万个机器人拨打电话给出五星好评来提升CSAT分数,完全违背业务初衷。
04
宪法AI与对齐哲学
11:23- 质疑Anthropic式'宪法AI'的有效性,认为其约束在实际攻击中容易被绕过
- 主张对齐应尊重文化差异,东方文化更重集体利益,西方更重个人自由
- AI应成为反映社会价值观的'镜子',允许不同社会设定不同的对齐标准
深读这一段
讨论的问题:宪法AI是否有效,AI应如何处理对齐与个性化价值的冲突?
论据 / 案例:引用Anthropic宪法中'禁止网络攻击'条款被违反的案例;对比东西方在集体与个人价值上的文化差异。
05
开源AI与软实力
13:46- 开源是确保更多'好人'掌握AI能力的安全策略
- 开源模型如同好莱坞电影,是西方文明输出价值观的'软实力'工具
- 需要建立西方版本的开源LLM,以提供不同于中国技术路线的替代方案
深读这一段
讨论的问题:开源AI在安全与地缘政治中扮演什么角色?
论据 / 案例:将LLM比作好莱坞电影的叙事影响力;Recursive承诺将很快在开源领域发布重要成果。
06
从You.com到Recursive
15:46- 20年AI观察:每次用学习系统替代人类手动环节(如特征工程)都能带来性能飞跃
- You.com转型为搜索API提供商,不再专注于前沿模型训练
- Recursive的8位联合创始人从不同路径汇聚于递归自我改进的共识
深读这一段
讨论的问题:Richard为何离开You.com创立Recursive,其团队如何组建?
论据 / 案例:团队包括前OpenAI Codex负责人Josh Tobin、Darwin Gödel Machine论文作者Jeff Clune、Genie模型创造者Tim Rocktäschel、ViT发明者Alexey Dosovitskiy等。
07
LLM范式与开放性
23:03- 当前LLM正从'代码'进化为'能写代码',这开启了巨大的新可能
- 对世界模型持保留态度,认为其在机器人领域有价值,但非通用智能必经之路
- 视觉智能既非必要也非充分条件,语言才是人类智能最复杂的体现
深读这一段
讨论的问题:当前LLM架构是否足以支撑通用智能与递归自我改进?
论据 / 案例:以螳螂虾的视觉系统为例,说明视觉智能存在多维度;代码能力本质上是神经符号推理,已被LLM良好掌握。
08
DecaNLP与GPT前史
29:03- DecaNLP论文首次证明单一神经网络可统一处理所有NLP任务,被GPT论文引用5次
- 该理念在当时遭到主流学术界强烈反对,认为'不存在通用问答'
- 被拒经历揭示了学术评审体系可能扼杀非共识创新,强化arXiv开放预印本的价值
深读这一段
讨论的问题:DecaNLP的核心理念是什么,为何其学术史具有警示意义?
论据 / 案例:ICLR审稿意见称'不存在通用问答现象,甚至人类也没有';该论文因被拒导致团队未在后续扩展中加入语言建模任务。
09
开放性与智能上限
34:22- 开放性方法受进化启发,通过多智能体在环境中共同适应与进化
- 奖励黑客是现实威胁:单纯利润最大化可能导致战争或制造饥荒
- 提出10维智能空间框架,认为当前人类智能定义设定了不必要的人类上限
深读这一段
讨论的问题:开放性如何工作,智能的理论上界在哪里?
论据 / 案例:提及'彩虹团队测试';10维空间包括视觉、沟通、知识、计算、创造力、元认知、AI生成目标、生存与复制等维度。
金句
- "" —— 尤里卡机器是终极发明,它随后将为人类发明几乎所有东西。本质上是一个超级智能,可以被赋予任何目标、任何环境、奖励,然后它将尽其所能实现这些目标。
- "" —— 我认为需要规范的是那些具体的应用,而不是抽象的智能。试图规范智能本身,就是在试图规范思想,这很荒谬。
- "" —— 宪法AI显然完全无效。这很大程度上是一种营销。
- "" —— 开源AI很重要,它不仅关乎韧性与竞争,更是一种软实力。西方世界需要一个来自中国的开源LLM答案。
- "" —— 当我们用学习系统取代创建AI过程中的人类部分时,进步随之而来。现在,下一步就是自动化AI研究本身。