沃尔夫勒姆谈计算、语言与AI的深层逻辑

斯蒂芬·沃尔夫勒姆在第四次做客Lex Fridman播客时,深入探讨了Wolfram语言与大型语言模型的根本区别。他认为LLM是“宽而浅”的语言续写,而Wolfram构建的是基于符号表示的“深”计算。他重点阐述了“计算不可约性”理论,并指出我们作为观察者,正是通过识别世界中的“可约性口袋”来构建知识和科学。他还提出了语言存在“语义语法”或“思想法则”的假说,认为GPT正通过海量文本发现这些超越纯句法规则的深层结构。

斯蒂芬·沃尔夫勒姆

导语

在第四次做客Lex Fridman播客时,计算科学巨匠斯蒂芬·沃尔夫勒姆(Stephen Wolfram)与主持人深入探讨了AI时代计算的本质、语言的深层结构以及人类认知的边界。他将其创建的Wolfram语言/Alpha与以ChatGPT为代表的大型语言模型(LLM)进行对比,阐述了“深计算”与“浅统计”的核心区别。对话围绕“计算不可约性”这一关键理论展开,揭示了科学探索的本质,即从复杂世界中寻找可简化的“可约性口袋”。沃尔夫勒姆进一步提出,语言本身可能存在一种“语义语法”或“思想法则”,而LLM正无心插柳地从海量数据中发现这些规则。

大纲与深读 10 章

展开「深读」看每一段讨论的问题与论据。

01

ChatGPT与Wolfram Alpha的整合

00:54
  • 宣布了ChatGPT与Wolfram Alpha及Wolfram语言的集成。
  • 这代表了两种截然不同的AI系统:基于文本统计的大语言模型与基于形式化计算的庞大计算基础设施。
  • 整合的目标是结合两者的优势:大语言模型的广度与计算系统的深度和可靠性。
深读这一段

讨论的问题:大语言模型与Wolfram Alpha/Wolfram语言这两种系统在哲学和技术层面的核心区别是什么?

论据 / 案例:ChatGPT基于万亿单词的网络文本,进行基于统计的浅层计算;Wolfram系统基于40年构建的计算堆栈,进行基于数学和系统知识的深层计算。

02

浅层统计 vs. 深层计算

01:58
  • 大语言模型的核心是延续人类网络文本的统计模式,是一种“宽而浅”的计算。
  • Wolfram系统则旨在将文明积累的形式化知识(数学、科学等)转化为可计算的、可进行任意深度推导的系统。
  • 其目标是让世界上原则上可回答的专家知识问题都能以可靠的方式被计算出来。
深读这一段

讨论的问题:这两种系统在计算本质和目标上有何不同?

论据 / 案例:大语言模型是基于训练数据的统计延续;Wolfram系统是基于形式结构进行深度计算,以得出新结果。

03

计算宇宙与人类抽象

03:48
  • 计算宇宙中充满了由简单规则产生的、极其复杂的行为(如元胞自动机)。
  • 人类的认知和智力史发展出了一套形式化体系(逻辑、数学、科学),使我们能逐步构建知识的“高塔”。
  • 挑战在于将计算宇宙的普遍可能性与人类心智能理解、关联的特定抽象形式相连接。
深读这一段

讨论的问题:如何连接计算的普遍可能性与人类心智的认知结构?

论据 / 案例:1980年代初的发现:极其简单的程序(不到一行代码)运行后能产生极其复杂的行为,这与自然界的运作方式相似。

04

符号编程作为关键接口

05:32
  • 关键桥梁是“符号编程”和“符号表示”,它将世界事物封装成与人类高层思维匹配的结构。
  • 人类语言是一种表示形式,但不能直接用于计算;需要将其转化为更精确的符号形式。
  • 符号表达式(如函数与参数的结构)已成为一种与人类概念化方式良好匹配的计算表示,历经45年验证有效。
深读这一段

讨论的问题:用什么形式来封装和连接人类抽象与计算可能性?

论据 / 案例:1979年左右发明的基于符号表达式的计算表示方法,被证明在45年里非常成功。

05

计算不可约性与可约性口袋

06:52
  • “计算不可约性”指无法跳过计算步骤直接预测结果,必须逐步运行才能知道。
  • 宇宙在底层可能是计算不可约的,但科学、发明和生活在于寻找“可约性口袋”——可以提前预测的局部模式。
  • 我们作为观察者,正是生存在这些可约性构成的、具有足够可预测性的“切片”上。
深读这一段

讨论的问题:什么是计算不可约性,它与人类观察和理解世界有何关系?

论据 / 案例:宇宙底层每秒可能进行10^100次重写,但人类无需也无力追踪;我们依赖诸如“空气仍在”等可约化的局部事实来生活。

06

观察者与物理定律

08:44
  • 我们作为“计算有界观察者”,必须将世界细节压缩成能放入心智的简化符号精华。
  • 结合“我们在时间中持续存在”的信念,这种观察方式导致了主要物理定律的发现。
  • 意识可能是一种特殊化:它具有单一经验线索,这并非一般计算系统的特性。
深读这一段

讨论的问题:“观察者”的本质是什么?它如何影响我们所知的物理定律?

论据 / 案例:我们每刻都由不同的时空原子构成,但体验到持续的自我;意识是计算受限系统在可约化口袋中观察的特征。

07

从自然语言到计算语言的转换

11:02
  • Wolfram Alpha的核心功能是将自然语言查询转化为精确的计算语言(符号表示)。
  • 大语言模型(如GPT-4)在辅助完成这一转换上表现出色,但这一工作流仍在探索中。
  • 典型流程是:用户用自然语言模糊描述意图 -> LLM生成Wolfram语言代码 -> 用户检查并调试。
深读这一段

讨论的问题:如何将互联网上海量的自然语言映射为精确的Wolfram计算语言?

论据 / 案例:Wolfram Alpha已对查询实现98-99%的成功率;LLM生成的代码通常很短,且其可读性(设计初衷)便于人类和AI理解。

08

调试与工作流的演进

12:40
  • LLM能查看代码输出、错误信息、堆栈跟踪和文档,并自动尝试修正错误。
  • 这种工作流结合了笔记本(代码、输出、文本)和聊天对话,是新的交互模式。
  • Wolfram语言的一致性设计,意外地使其对AI也非常友好,如同另一种“自然语言”。
深读这一段

讨论的问题:自然语言到计算语言的转换工作流中,调试和交互如何进行?

论据 / 案例:LLM插件能自动读取文档、分析错误信息并重写代码;36年前发明的笔记本概念正在与聊天模式结合。

09

语言的语义语法与思想法则

14:46
  • ChatGPT的成功暗示语言存在超越语法的“语义语法”——关于意义的规则结构。
  • 就像亚里士多德从演说中发现逻辑(可填充具体词汇的模板),GPT可能发现了更多此类语义模板。
  • 布尔代数(1830年)比逻辑模板更深入,但语言中仍有大量未被充分探索的、可形式化的语义结构(“思想法则”)。
深读这一段

讨论的问题:ChatGPT的成功是否揭示了语言和思维中更深层的、可形式化的规则?

论据 / 案例:逻辑是第一个例子(可抽象为p和q);语言中还有如“A到B再到C等于A到C”的传递性规则,而“朋友”关系则不然。

10

有限规则与无限意义

16:44
  • 可能存在一个相当有限的“语义规则集”,就像语法规则能生成合乎语法的句子一样。
  • 这些规则能生成“语义正确”(有意义潜力)的句子,即使它们描述的场景在物理上未实现(如“大象飞向月球”)。
  • 人类只关心AI输出中那些与人类目的和兴趣相关的“可约化”部分,这通过人类反馈强化学习实现。
深读这一段

讨论的问题:这些潜在的“语义规则”是否有限?人类如何筛选AI的输出?

论据 / 案例:AI可以进行很多有趣的计算,但只有以人类方式交流、涉及人类关心的话题时,才被我们认为有价值。

金句

  • "I view sort of the chat GPT thing as being wide and shallow and what we're trying to do with sort of building out computation as being this sort of deep also broad but but most importantly kind of a deep type of thing." ——我认为ChatGPT这类东西是宽而浅的,而我们试图通过构建计算来实现的是一种深,当然也很广,但最重要的是深的东西。

  • "The story of most kinds of science, inventions, a lot of kinds of things is the story of finding these places where we can locally jump ahead." ——大多数科学、发明以及许多事物的故事,都是在寻找这些我们可以局部向前跳跃的地方的故事。

  • "I think chat GPT is showing us that as an additional kind of regularity to language which has to do with the meaning of the language beyond just this pure part of speech combination type of thing." ——我认为ChatGPT向我们展示了语言存在一种额外的规律性,它关乎语言的意义,而不仅仅是词性组合这类纯粹的东西。

  • "The fact is that if we are talking about observers like us that one of the key things is this idea of kind of taking all the detail of the world and being able to stuff it into a mind." ——事实上,如果我们谈论的是像我们这样的观察者,其中一个关键点就是能够将世界的所有细节塞进一个头脑中的想法。

  • "Computation is this very broad way of sort of formalizing the way we think about the world and the thing that's that's cool about computation is if we can successfully formalize things in terms of computation computers can help us figure out what the consequences are." ——计算是形式化我们思考世界方式的一种非常广泛的方式,计算的酷炫之处在于,如果我们能用计算成功地形式化事物,计算机就能帮助我们找出其后果。

原文链接

查看完整访谈

完整内容见原文:Lex Fridman Podcast · 沃尔夫勒姆谈计算、语言与AI的深层逻辑