斯图尔特·罗素：AI安全的核心是目标的不确定性

导语

斯图尔特·罗素是人工智能领域的奠基者之一，其合著的教材《人工智能：一种现代方法》影响了数百万从业者。在本次访谈中，他从个人早年编写国际象棋AI的经历出发，深入探讨了机器如何通过“元推理”高效决策，并尖锐地指出了当前AI发展面临的核心风险——“控制问题”。罗素认为，解决这一问题的关键在于设计一种全新的AI范式，即让机器对其目标保持根本性的不确定性，并通过与人类互动不断学习，从而确保其行为真正有益于人类。

金句

• "The machine should never take an objective that's given as gospel truth." —— 机器绝不应将一个给定的目标奉为绝对真理。
• "We need uncertainty. We need the machine to be uncertain about what it is that it's supposed to be maximizing." —— 我们需要不确定性。我们需要机器对自己应该最大化什么目标感到不确定。
• "The machine should be deferential to us. If we say 'don't do that', now the machine learns something a bit more about our true objectives." —— 机器应该服从于我们。如果我们说‘不要那样做’，机器就更多地了解了我们的真实目标。
• "The gorilla problem is you know the problem that the gorillas face. They made something more intelligent than them, namely us, and now they're in deep D. They failed to solve the control problem." —— 这就是‘大猩猩问题’。大猩猩制造了比它们更聪明的东西，也就是我们，现在它们处境堪忧。它们未能解决控制问题。
• "I think the same is going to be true for driving. You can have a driving system that's pretty good when it doesn't do any look ahead. But that's not good enough." —— 我认为自动驾驶也是如此。一个不做任何前瞻的驾驶系统可能还不错，但这还不够好。

原文链接

查看完整访谈