标签:控制问题
共 2 篇相关访谈。

AI安全研究者:超级智能几乎必然导致人类终结
AI安全研究者Roman Yampolskiy在访谈中警告,创造通用超级智能几乎必然导致人类终结(X风险)。他区分了存在风险(X风险)、苦难风险(S风险)和意义风险(IR风险),认为我们无法预测、解释或控制超级智能。他批评乐观派低估了系统不可预测和失控的本质,并主张我们唯一安全的选择是“不玩这场游戏”。
R罗曼·扬波尔斯基AI安全与安全研究者,新书《AI:不可解释、不可预测、不可控》作者

斯图尔特·罗素:AI安全的核心是目标的不确定性
在Lex Fridman的访谈中,斯图尔特·罗素教授从他早期的国际象棋AI项目切入,阐述了“元推理”的核心作用。他指出当前AI安全的关键在于“控制问题”——即如何确保机器的目标与人类真实意图对齐。罗素提出,解决方案是让AI系统对其目标保持不确定性,并能够通过人类反馈不断学习和调整,这是构建有益AI的基石。
S斯图尔特·罗素加州大学伯克利分校计算机科学教授、《人工智能:一种现代方法》合著者