马克斯·泰格马克:人工智能安全的关键在于可理解的智能

马克斯·泰格马克在访谈中阐述了他对AI安全的核心观点。他认为,当前依赖不断扩大、却不理解其工作原理的神经网络是极其危险的道路,呼吁走‘可理解的智能’路线。他深入探讨了从基因到公司再到AI的价值对齐问题,并指出技术赋予的能力与人类理解能力的不匹配是核心风险。他还分享了利用AI对抗信息操纵的开源项目,强调在技术赋能的时代,人类主动承担责任至关重要。

马克斯·泰格马克

导语

在Lex Fridman的播客中,物理学家与人工智能研究员马克斯·泰格马克再次作为嘉宾,深入探讨了人工智能(AI)的发展路径、潜在风险及其与人类社会的复杂互动。泰格马克不仅是生命未来研究所的联合创始人,也是AI长期存在性风险的知名倡导者。本次对话中,他强烈批判了当前AI发展中“只追求更大规模、却不求甚解”的危险趋势,并提出了“可理解的智能”这一替代方案。他将AI对齐问题置于从基因演化到公司治理的更宏大叙事中,认为这是人类文明面临的核心挑战。同时,他也介绍了利用AI技术对抗信息操纵、打破信息茧房的创新项目,展现了技术赋能个体的乐观一面。

大纲与深读 9 章

展开「深读」看每一段讨论的问题与论据。

01

访谈背景与开场介绍

  • 嘉宾Max Tegmark是MIT物理学家、AI研究员、未来生命研究所联合创始人
  • 本次访谈聚焦AI的长期存在风险与激动人心的可能性
  • 主持人Alex认为当前社交媒体算法的智能和影响力已超越任何单个人类
深读这一段

讨论的问题:本次访谈的核心议题是什么?

论据 / 案例:Max Tegmark是《生命3.0》作者;Alex将当前AI比作‘坐在温水里的龙虾’,指出算法已深刻塑造人类社会互动

02

AI发现科学定律的能力

24:00
  • AI可自动重现开普勒、普朗克等科学家耗费数年发现的物理定律
  • 该过程模拟人类科学家从经验观察中提炼符号公式的认知路径
  • 未来有望发现全新的、前所未见的科学公式
深读这一段

讨论的问题:神经网络能否像人类科学家一样发现基础科学定律?

论据 / 案例:AI Feynman项目可自动重现开普勒行星运动定律(耗时4年)和普朗克黑体辐射公式

03

通往AGI的两条路径与风险

32:00
  • ‘智能不可理解’路径:构建更大但无人理解的神经网络,风险极高
  • ‘智能可理解’路径:用神经网络获取直觉,再用符号AI等技术将其转化为可理解、可验证的理论
  • 前者可能导致不可控的意外后果,后者允许数学证明系统安全性
深读这一段

讨论的问题:实现通用人工智能(AGI)的更安全路径是什么?

论据 / 案例:Max认为只追求更大、不可理解的系统有‘50%的灭绝风险’;DARPA的seL4操作系统已能数学证明其不可被入侵

04

对齐问题:从基因到公司

40:00
  • 历史上基因通过进化‘对齐’了生物大脑的激励机制
  • 人类创造了公司等强大实体,需通过制度(如反垄断法)持续对齐其目标与人类利益
  • AI对齐不仅需确保机器服从指令,更需确保其根本目标与人类福祉一致
深读这一段

讨论的问题:如何确保强大的智能体(如AI、公司)的目标与人类利益对齐?

论据 / 案例:基因创造了大脑但人类用避孕技术‘黑掉’了其繁殖目标;美国用反垄断法对抗铁路公司腐败;德国之翼航空Lubitz坠机事件凸显缺乏基本伦理编程

05

人类集体智慧与末日风险

56:00
  • 人类历史似乎总能靠集体智慧在危机前‘最后一刻’重新对齐价值
  • 但当前技术(如工程化大流行病)的破坏力已达到可能终结文明的规模
  • 乐观主义可能导致自满,主动承担责任比寄望‘因果报应’更可靠
深读这一段

讨论的问题:人类能否再次像历史上那样,在技术末日前重新对齐价值?

论据 / 案例:复活节岛文明因资源错配而灭绝;COVID-19暴露出全球准备不足;当前技术可造成‘数十亿人’级别的伤亡

06

COVID-19的教训与准备

64:00
  • 韩国因SARS记忆,通过快速检测与追踪将死亡控制在约500人
  • 人类应系统性地进行‘地平线扫描’,提前识别并准备应对未来危机
  • 疫情暴露出数据收集、共享和利用效率低下
深读这一段

讨论的问题:从COVID-19中应学到哪些关键教训以应对未来危机?

论据 / 案例:韩国COVID死亡约500人,得益于从SARS中吸取的教训;西方国家因缺乏准备而遭受重创

07

社交媒体与信息茧房

72:00
  • 社交媒体算法为最大化广告收入,利用情绪化内容将用户困在‘信息茧房’中
  • 在线媒体摧毁了传统新闻业,导致记者数量减半,削弱了事实核查能力
  • 左右派媒体都擅长通过‘遗漏’关键事实来操控叙事
深读这一段

讨论的问题:机器学习算法如何加剧了社会分裂与政治极化?

论据 / 案例:美国记者数量比一代人前减少一半以上;左右媒体对同一事件(如拜登/特朗普家族财务)的报道截然不同

08

新闻聚合器项目:赋能个体

80:00
  • 创建Improvethenews.org,提供滑块帮助用户打破左右、强弱等叙事偏见
  • 项目旨在用AI‘赋能小人物’,抵御大公司的操控,而非用于盈利
  • 通过展示不同立场、更尊重的报道,培养用户的批判性思维
深读这一段

讨论的问题:如何利用技术工具帮助个体突破信息操纵?

论据 / 案例:Improvethenews.org提供‘左右滑块’、‘细粒度滑块’和‘建制派滑块’来呈现多元视角;David Rand的研究显示人们愿意在尊重的前提下接受反对观点

09

地缘政治与技术未来的抉择

85:00
  • 未来地缘政治只有两种结局:要么技术带来共同繁荣,要么导致共同毁灭
  • 自主武器(如利比亚、纳卡冲突中使用的)正成为增长最快的军事AI领域
  • 各国需超越零和博弈,共同维持和平以最大化技术收益
深读这一段

讨论的问题:强大的技术(如自主武器)将如何塑造未来地缘政治格局?

论据 / 案例:2020年利比亚内战和纳卡冲突中,自主武器发挥了决定性作用;自1945年以来西欧无战争且通过技术共同致富

金句

  • "The one that scares the HebGBs out of me is this attitude that we're just going to make ever bigger systems that we still don't understand until they can be as smart as humans. What could possibly go wrong?" —— 最让我感到恐惧的一种态度是,我们打算构建越来越大的系统,却仍然不理解它们,直到它们变得和人类一样聪明。这怎么可能不出问题呢?
  • "We have to worry about people using machines they're short of AI AGI and power to do bad things." —— 我们需要担心的是,人们利用他们手中的AI或AGI工具去作恶。
  • "It's all about putting the right incentives in place." —— 一切都在于建立正确的激励机制。
  • "Machine learning meets propaganda. That's what's new, that's why this has gotten so much worse." —— 机器学习与宣传手段相遇。这是新情况,也是情况急剧恶化的原因。
  • "There are really no reasons why [machine learning algorithms] only have to help the big guy to manipulate the little guy, they can just as well help the little guy to see through all the manipulation attempts from the big guys." —— 没有理由让算法只帮助强者操纵弱者,它们同样可以帮助弱者看穿强者的一切操纵企图。

原文链接

查看完整访谈

完整内容见原文:Lex Fridman Podcast · 马克斯·泰格马克:人工智能安全的关键在于可理解的智能