导语
在本期播客中，主持人Lex Fridman与加州大学伯克利分校的计算机安全专家宋丹教授展开了一场深度对话。访谈录制于新冠疫情爆发前，宋教授从计算机安全的哲学基础出发，探讨了漏洞的必然性、攻击手段的演化，以及人工智能时代带来的全新安全与隐私挑战。她指出，随着传统系统安全性的提升，攻击目标正从软件层上移至人类自身，并深入分析了对抗性机器学习如何从理论走向现实世界，对自动驾驶、翻译服务等关键应用构成威胁。宋教授的研究揭示了当前机器学习系统的脆弱性，并指向了更鲁棒、更注重隐私保护的未来方向。
宋丹：安全漏洞永不消失，人类是系统最薄弱环节
宋丹教授在访谈中探讨了软件安全漏洞的持久性，指出攻击正从系统层转向人类这一'最薄弱环节'。她详细阐述了对抗性机器学习的攻击与防御，包括物理世界中的可鲁棒攻击和针对真实系统（如谷歌翻译）的黑盒攻击。此外，她还讨论了如何通过差分隐私保护训练数据，以及建立数据所有权概念对未来经济的重要性。
大纲与深读 8 章
展开「深读」看每一段讨论的问题与论据。
01
系统安全漏洞的本质
- 软件系统几乎不可能完全无漏洞，漏洞定义广泛且攻击手段持续演变。
- 记忆安全漏洞（如缓冲区溢出）允许攻击者接管程序控制权。
- 侧信道攻击可通过观察程序输出推断秘密信息。
- 形式化验证技术已能证明代码无特定类型漏洞，但无法覆盖所有攻击形式。
深读这一段
讨论的问题：系统能否达到绝对安全？形式化验证能解决哪些问题？
论据 / 案例：形式化验证系统已应用于微内核、编译器、文件系统及加密库；证明代码无内存安全漏洞需静态分析技术。
02
攻击重心转向人类
03:00- 网络攻击正从系统层向人类层（社会工程学）转移，人类是系统最薄弱环节。
- 钓鱼攻击、假新闻等利用人性弱点，比技术漏洞更难防范。
- 可使用NLP和聊天机器人技术实时检测并防御社会工程攻击。
深读这一段
讨论的问题：为什么人类成为主要攻击目标？如何用技术辅助人类防御？
论据 / 案例：案例：Google员工被钓鱼导致汇款；聊天机器人可通过质疑对话者身份、发起挑战应答来识别攻击。
03
对抗性机器学习攻击
07:00- 推理阶段攻击：通过微小扰动（甚至肉眼不可见）欺骗模型产生错误分类。
- 训练阶段攻击（后门攻击）：注入少量毒化数据，使模型在特定触发条件下输出攻击者预设结果。
- 攻击可在数字或物理世界实现，如佩戴特定眼镜即可伪装身份。
深读这一段
讨论的问题：对抗性攻击如何在不同阶段实现？物理世界攻击有哪些挑战？
论据 / 案例：后门攻击案例：面部识别中，仅需插入少量带特定眼镜的毒化数据，即可让佩戴该眼镜的所有人被识别为指定目标。
04
物理世界对抗样本攻击
10:00- 物理世界攻击需克服视角、距离、光照等环境变化，比数字世界更复杂。
- 通过优化设计，可制作在真实环境中稳健有效的对抗样本（如被篡改的停车标志）。
- 该研究展示了从数字到物理的攻击可行性，对自动驾驶等实际系统构成威胁。
深读这一段
讨论的问题：数字对抗样本如何转化为物理世界攻击？自动驾驶面临哪些安全挑战？
论据 / 案例：案例：被粘贴特制贴纸的停车标志，可被自动驾驶系统误判为限速标志；该实物被伦敦科学博物馆收藏。
05
防御对抗性攻击的探索
13:00- 当前防御多为补丁式（如对抗训练），缺乏通用强效方法。
- 需要构建更丰富、更符合人类认知的表示学习，而非仅学习表面特征。
- 可利用任务固有的空间/时间一致性等自然约束来检测对抗样本。
深读这一段
讨论的问题：如何构建更鲁棒的机器学习模型？有哪些有前景的防御方向？
论据 / 案例：案例：利用语义分割的空间一致性（随机重叠区域分割结果应一致）可有效检测图像对抗样本；该方法可扩展至音频的时间一致性。
06
攻击真实世界商业系统
15:00- 通过API查询可窃取模型（如谷歌翻译），并构建模仿模型发起攻击。
- 对抗样本可在自然语言处理等非视觉领域生效，并可迁移至原始商业系统。
- 真实系统易受攻击并非假设，已有多次成功实验。
深读这一段
讨论的问题：商业机器学习系统（如翻译API）的脆弱性如何？
论据 / 案例：案例：通过模仿模型生成的对抗样本，仅将英文句子中的‘6’改为‘7’，即可导致谷歌翻译将温度‘6华氏度’错误输出为‘21摄氏度’。
07
自动驾驶系统的安全隐忧
17:00- 现有视觉感知系统已能在无攻击情况下因泛化不足而犯错，攻击只会加剧风险。
- 多模态传感器融合（视觉、雷达、超声波等）与多角度一致性检查是重要防御方向。
- 攻击可行性与实际危害性是两个问题，但安全挑战不容忽视。
深读这一段
讨论的问题：自动驾驶系统应如何应对传感器层面的攻击？
论据 / 案例：已有研究表明，道路上少量贴纸可干扰特斯拉的视觉系统；专家认为多传感器融合是提升鲁棒性的关键。
08
数据隐私与所有权问题
19:00- 机器学习模型可能通过查询泄露训练数据中的敏感信息（如社会安全号）。
- 差分隐私技术通过在训练中添加噪声，可有效增强模型对隐私的保护。
- 数据所有权如同财产权，其明确与执行是数字经济发展的关键基础。
深读这一段
讨论的问题：机器学习如何侵犯数据隐私？数据所有权应如何界定？
论据 / 案例：案例：在Enron邮件数据集上训练的语言模型，仅通过查询接口，即可被提取出原始数据中的社会安全号与信用卡号；采用差分隐私训练后，此类攻击失效。
金句
- "Security is job security." —— 安全就是工作保障。
- "The weakest link in the system oftentimes is actually humans themselves." —— 系统中最薄弱的环节往往是人类自己。
- "We are at a very early stage of really developing robust and generalizable machine learning methods." —— 我们仍处于开发稳健且可泛化的机器学习方法的非常早期阶段。
- "What defines a person is more and more the data that the person has generated." —— 定义一个人的，越来越是其所生成的数据。
原文链接
SUGGEST
- topic: 网络安全威胁的演化方向 | stance: 攻击正从技术系统层上移，聚焦于作为“最薄弱环节”的人类 | quote: "The weakest link in the system oftentimes is actually humans themselves." | date: 2026-08-29
- topic: 对抗性机器学习的现实风险 | stance: 对抗性攻击不仅在理论上可行，已能在物理世界和真实商业系统中实现 | quote: "Our recent work has shown very effective attacks on real-world systems for example Google Translate." | date: 2026-08-29
- topic: 构建更稳健的机器学习系统 | stance: 防御的根本在于让模型学习更丰富、更符合自然规律的表征，而非仅做表层修补 | quote: "The representations we are learning is not rich enough... the richer representation will also help us to build a more generalizable, more resilient learning system." | date: 2026-08-29
- topic: 数据隐私与所有权 | stance: 明确个人数据的所有权是数据经济健康发展的基础性第一步 | quote: "Clearly identifying the ownership is a first step. Once you identify the ownership, then you can say who gets to define how that data should be used." | date: 2026-08-29
