斯图尔特·罗素
立场时间线 5 条 · 5 个议题
同一议题按时间排列，说法变化一目了然。
罗素认为AI最大的风险不是超级智能本身，而是机器优化的目标与人类真实意图不对齐，即控制问题，大猩猩造出更聪明的人类后失控就是前车之鉴。
“这就是‘大猩猩问题’。大猩猩制造了比它们更聪明的东西，也就是我们，现在它们处境堪忧。它们未能解决控制问题。”
来源访谈 →罗素主张摒弃目标函数固定已知的传统AI范式，让机器对应该最大化什么目标保持不确定，把目标当作需要学习的变量。
“我们需要不确定性。我们需要机器对自己应该最大化什么目标感到不确定。”
来源访谈 →罗素认为有益的AI应对人类保持服从，人类说‘不’就是在向机器提供真实目标的信息，从而形成人机协作、目标共同演进的模式。
“机器应该服从于我们。如果我们说‘不要那样做’，机器就更多地了解了我们的真实目标。”
来源访谈 →金句墙 5 条
“The machine should never take an objective that's given as gospel truth.”
机器绝不应将一个给定的目标奉为绝对真理。
斯图尔特·罗素：AI安全的核心是目标的不确定性 · 2018/12/9“We need uncertainty. We need the machine to be uncertain about what it is that it's supposed to be maximizing.”
我们需要不确定性。我们需要机器对自己应该最大化什么目标感到不确定。
斯图尔特·罗素：AI安全的核心是目标的不确定性 · 2018/12/9“The machine should be deferential to us. If we say 'don't do that', now the machine learns something a bit more about our true objectives.”
机器应该服从于我们。如果我们说‘不要那样做’，机器就更多地了解了我们的真实目标。
斯图尔特·罗素：AI安全的核心是目标的不确定性 · 2018/12/9“The gorilla problem is you know the problem that the gorillas face. They made something more intelligent than them, namely us, and now they're in deep D. They failed to solve the control problem.”
这就是‘大猩猩问题’。大猩猩制造了比它们更聪明的东西，也就是我们，现在它们处境堪忧。它们未能解决控制问题。
斯图尔特·罗素：AI安全的核心是目标的不确定性 · 2018/12/9“I think the same is going to be true for driving. You can have a driving system that's pretty good when it doesn't do any look ahead. But that's not good enough.”
我认为自动驾驶也是如此。一个不做任何前瞻的驾驶系统可能还不错，但这还不够好。
斯图尔特·罗素：AI安全的核心是目标的不确定性 · 2018/12/9