AI 安全：对齐、攻防与生存

对齐问题是生存危机：第一次失败就可能导致人类灭绝，必须在首次关键尝试中做对。

“GPT-4 比他预想的该技术路径所能达到的水平更聪明一点，而我们正超越科幻小说中的安全警戒线。”

主张「开放的竞争性宪法」：不同公司各配 AI 宪法、公开对比迭代；监管要「快速但不仓促」，在生物安全等明确风险领域先行。

针对 AI 滥用风险的攻防态势正逆转：谨慎部署下灾难性滥用风险总体可控，但开源模型是隐患。

深入中国两周走访学界与产业界后的结论：中国确实在乎 AI 安全，西方的误解需要纠正。