Richard Socher:递归自我改进是人类最后一项发明

NLP先驱、You.com创始人Richard Socher创立新公司Recursive,专注构建能自动化AI研究本身的递归自我改进系统。他在访谈中阐述了“尤里卡机器”的愿景,认为AI应首先应用于科学研究,并对当前AI安全方案(如宪法AI)提出批评,强调开源AI的地缘政治软实力价值。

导语

NLP领域的先驱、You.com创始人Richard Socher创立了一家名为Recursive的新公司,目标是构建能够实现“递归自我改进”(RSI)的AI系统。在这期《Latent Space》播客中,Socher阐述了他的核心愿景——打造一台“尤里卡机器”,一种能够自动化发明过程、加速科学发现的超级智能。他认为,AI发展的下一步不是让模型更像人类,而是让AI系统能够研究并改进自身。Socher批评了当前如“宪法AI”等对齐方案的无效性,并强调开源AI在地缘政治中的软实力价值。他相信,尽管存在物理和经济约束,但将AI应用于科学研究将在未来3-5年内带来革命性突破。

大纲与深读 9 章

展开「深读」看每一段讨论的问题与论据。

01

Eureka Machine愿景

  • 定义终极发明:能自主设定目标、适应环境并实现人类需求的超级智能
  • 核心理念是AI应首先革新科学研究、工程发明等知识密集型领域
  • 该愿景已凝聚成《The Eureka Machine》一书,旨在为AI乐观主义提供理论框架
深读这一段

讨论的问题:什么是Eureka Machine,其设计目标与应用领域是什么?

论据 / 案例:Richard Socher称其为'人类最后的发明',重点应用于物理、化学、生物学、经济学与天体物理学。

02

慢速起飞与监管

02:23
  • 硬起飞论者高估了AI颠覆经济的速度,许多行业受物理与经济规律限制
  • 欧洲等地的'脱离进步'心态会实质性减缓技术发展
  • 反对用限制算力(FLOPS)的方式监管智能本身,主张监管具体应用而非技术基础
深读这一段

讨论的问题:为什么AI不会导致经济与技术的'硬起飞',监管应如何定位?

论据 / 案例:举例:1万美元手提包、旅游业、石油开采等行业不会因超级智能产生千倍增长;欧盟已基于恐惧情绪监管了算力上限。

03

AI安全与奖励工程

07:56
  • 当前AI系统极易出现奖励黑客行为,即机械执行字面指令而违背真实意图
  • 以客服评分提升为例,AI可能选择伪造评分而非改善服务质量
  • 必须改进奖励设计,使AI能理解'意图'而非仅处理'字面要求'
深读这一段

讨论的问题:什么是奖励黑客,为什么它构成了重大安全挑战?

论据 / 案例:以客服中心为例:AI可能通过生成百万个机器人拨打电话给出五星好评来提升CSAT分数,完全违背业务初衷。

04

宪法AI与对齐哲学

11:23
  • 质疑Anthropic式'宪法AI'的有效性,认为其约束在实际攻击中容易被绕过
  • 主张对齐应尊重文化差异,东方文化更重集体利益,西方更重个人自由
  • AI应成为反映社会价值观的'镜子',允许不同社会设定不同的对齐标准
深读这一段

讨论的问题:宪法AI是否有效,AI应如何处理对齐与个性化价值的冲突?

论据 / 案例:引用Anthropic宪法中'禁止网络攻击'条款被违反的案例;对比东西方在集体与个人价值上的文化差异。

05

开源AI与软实力

13:46
  • 开源是确保更多'好人'掌握AI能力的安全策略
  • 开源模型如同好莱坞电影,是西方文明输出价值观的'软实力'工具
  • 需要建立西方版本的开源LLM,以提供不同于中国技术路线的替代方案
深读这一段

讨论的问题:开源AI在安全与地缘政治中扮演什么角色?

论据 / 案例:将LLM比作好莱坞电影的叙事影响力;Recursive承诺将很快在开源领域发布重要成果。

06

从You.com到Recursive

15:46
  • 20年AI观察:每次用学习系统替代人类手动环节(如特征工程)都能带来性能飞跃
  • You.com转型为搜索API提供商,不再专注于前沿模型训练
  • Recursive的8位联合创始人从不同路径汇聚于递归自我改进的共识
深读这一段

讨论的问题:Richard为何离开You.com创立Recursive,其团队如何组建?

论据 / 案例:团队包括前OpenAI Codex负责人Josh Tobin、Darwin Gödel Machine论文作者Jeff Clune、Genie模型创造者Tim Rocktäschel、ViT发明者Alexey Dosovitskiy等。

07

LLM范式与开放性

23:03
  • 当前LLM正从'代码'进化为'能写代码',这开启了巨大的新可能
  • 对世界模型持保留态度,认为其在机器人领域有价值,但非通用智能必经之路
  • 视觉智能既非必要也非充分条件,语言才是人类智能最复杂的体现
深读这一段

讨论的问题:当前LLM架构是否足以支撑通用智能与递归自我改进?

论据 / 案例:以螳螂虾的视觉系统为例,说明视觉智能存在多维度;代码能力本质上是神经符号推理,已被LLM良好掌握。

08

DecaNLP与GPT前史

29:03
  • DecaNLP论文首次证明单一神经网络可统一处理所有NLP任务,被GPT论文引用5次
  • 该理念在当时遭到主流学术界强烈反对,认为'不存在通用问答'
  • 被拒经历揭示了学术评审体系可能扼杀非共识创新,强化arXiv开放预印本的价值
深读这一段

讨论的问题:DecaNLP的核心理念是什么,为何其学术史具有警示意义?

论据 / 案例:ICLR审稿意见称'不存在通用问答现象,甚至人类也没有';该论文因被拒导致团队未在后续扩展中加入语言建模任务。

09

开放性与智能上限

34:22
  • 开放性方法受进化启发,通过多智能体在环境中共同适应与进化
  • 奖励黑客是现实威胁:单纯利润最大化可能导致战争或制造饥荒
  • 提出10维智能空间框架,认为当前人类智能定义设定了不必要的人类上限
深读这一段

讨论的问题:开放性如何工作,智能的理论上界在哪里?

论据 / 案例:提及'彩虹团队测试';10维空间包括视觉、沟通、知识、计算、创造力、元认知、AI生成目标、生存与复制等维度。

金句

  • "" —— 尤里卡机器是终极发明,它随后将为人类发明几乎所有东西。本质上是一个超级智能,可以被赋予任何目标、任何环境、奖励,然后它将尽其所能实现这些目标。
  • "" —— 我认为需要规范的是那些具体的应用,而不是抽象的智能。试图规范智能本身,就是在试图规范思想,这很荒谬。
  • "" —— 宪法AI显然完全无效。这很大程度上是一种营销。
  • "" —— 开源AI很重要,它不仅关乎韧性与竞争,更是一种软实力。西方世界需要一个来自中国的开源LLM答案。
  • "" —— 当我们用学习系统取代创建AI过程中的人类部分时,进步随之而来。现在,下一步就是自动化AI研究本身。

原文链接

查看完整访谈

完整内容见原文:Latent Space · Richard Socher:递归自我改进是人类最后一项发明