罗曼·扬波尔斯基
立场时间线 5 条 · 5 个议题
同一议题按时间排列，说法变化一目了然。
控制超级智能如同创造永动机，在理论上就不可能实现。
“在我看来，控制AI或超级智能的问题，就像试图创造一台'永久安全机器'，类比于永动机，这是不可能的。—— the problem of controlling AI or super intelligence in my opinion is like a problem of creating a perpetual safety machine by analogy with perpetual motion machine is impossible”
来源访谈 →一旦创造出通用超级智能，人类的长期结局不会是好的。
“如果我们创造出通用超级智能，我认为人类的长期前景不容乐观。—— if we create General super intelligences I don't see a good outcome longterm for Humanity”
来源访谈 →应对超级智能这场危险游戏的唯一取胜方式就是不参与开发。
“赢得这场游戏的唯一方式，就是不参与这场游戏。—— the only way to win this game is not to play it”
来源访谈 →什么能够被验证、什么不能被验证，存在非常强的根本性限制。
“我的主张是，我们对什么能够被验证、什么不能被验证，存在着非常强的限制。—— my claim is again that there are very strong limits in what we can and cannot verify”
来源访谈 →对不断学习、自我修改并重写自身代码的软件，人类不知道如何进行形式化验证。
“对于那些不断学习、自我修改、重写自身代码的软件，我们不知道如何做到这一点（形式化验证）。—— we don't know how to do this for software which keeps learning self-modifying rewriting its own code”
来源访谈 →金句墙 5 条
“if we create General super intelligences I don't see a good outcome longterm for Humanity”
如果我们创造出通用超级智能，我认为人类的长期前景不容乐观。
AI安全研究者：超级智能几乎必然导致人类终结 · 2024/6/2“the problem of controlling AI or super intelligence in my opinion is like a problem of creating a perpetual safety machine by analogy with perpetual motion machine is impossible”
在我看来，控制AI或超级智能的问题，就像试图创造一台‘永久安全机器’，类比于永动机，这是不可能的。
AI安全研究者：超级智能几乎必然导致人类终结 · 2024/6/2“the only way to win this game is not to play it”
赢得这场游戏的唯一方式，就是不参与这场游戏。
AI安全研究者：超级智能几乎必然导致人类终结 · 2024/6/2“my claim is again that there are very strong limits in what we can and cannot verify”
我的主张是，我们对什么能够被验证、什么不能被验证，存在着非常强的限制。
AI安全研究者：超级智能几乎必然导致人类终结 · 2024/6/2“we don't know how to do this for software which keeps learning self-modifying rewriting its own code”
对于那些不断学习、自我修改、重写自身代码的软件，我们不知道如何做到这一点（形式化验证）。
AI安全研究者：超级智能几乎必然导致人类终结 · 2024/6/2