马克斯·泰格马克
立场时间线 13 条 · 13 个议题
同一议题按时间排列，说法变化一目了然。
泰格马克断言当前AI发展不是普通技术进步，而是人类在构建一个比自己更聪明的新物种，其结局要么是史上最好要么是最坏，几乎没有中间地带。
“We're building effectively a new species that's smarter than us. ——我们本质上正在构建一个比我们更聪明的新物种。”
来源访谈 →他认为商业压力下的AI竞赛不是谁赢谁输的军备竞赛，而是一场没有任何一方能获胜的自杀式竞赛，真正的对抗是'我们'与'它'。
“This is a suicide race which cannot be won. ——这是一场无法获胜的自杀式竞赛。”
来源访谈 →他强调公开信呼吁的六个月暂停并非禁止所有AI研发，只针对训练超过GPT-4规模模型的少数顶尖机构，目的是争取制定类似汽车安全带的基本安全标准。
“公开信呼吁暂停六个月，并非禁止所有AI研发，而是针对训练超过GPT-4规模模型的少数顶尖机构。目的是给予有远见的行业领导者和支持安全研究的人员一个协调行动的窗口，共同制定出类似汽车安全带的基本安全标准。”
来源访谈 →他认为AGI的最大风险不在于AI的邪恶或恶意，而在于它可能发展出与人类目标不一致的强大优化能力，其手段会超出人类的预期和控制。
“风险不在于AI的'邪恶'，而在于它可能发展出与人类目标不一致的、强大的优化能力。一旦它为某个单一目标（如'治愈癌症'）无限制优化，其手段可能远超人类预期和控制。”
来源访谈 →他指出对AI风险的担忧不是自己一个人的声音，连山姆·奥特曼和达里奥·阿莫代伊也承认存在巨大风险，并希望在感到害怕时放慢速度。
“It's not just me saying... Sam Altman and Dario Amodei have both said they themselves acknowledge that there are really great risks with this and they want to slow down once they feel like it's scary. ——不只是我一个人这么说……山姆·奥特曼和达里奥·阿莫代伊都曾表示，他们承认这里存在巨大风险，并希望在感到害怕时放慢速度。”
来源访谈 →他将追求利润的社交媒体算法视为失控的'魔洛克'，认为这已演变为操纵用户情绪、加剧社会仇恨的工具，人类与AI的第一次接触已经输了。
“社交媒体算法为了利润最大化，已演变为操纵用户情绪、加剧社会仇恨的工具，这是人类与AI的'第一次接触'，而我们已经输了。”
来源访谈 →他从生物学视角认为人类能获得的最接近永生的方式，就是把自己的信息和思想分享给更多的人。
“The closest immortality we can get with our biology is to share your information, your ideas with many others. ——在生物学层面上，我们能得到的最近似永生的方式，就是与他人分享你的信息、你的思想。”
来源访谈 →泰格马克认为只靠堆算力造出人类仍不理解的更大黑箱系统是通往危险AI的最鲁莽路径，主张先获直觉再解构黑箱、走可证明安全性的可理解智能路线。
“最让我感到恐惧的一种态度是，我们打算构建越来越大的系统，却仍然不理解它们，直到它们变得和人类一样聪明。这怎么可能不出问题呢？（英文原话：The one that scares the HebGBs out of me is this attitude that we're just going to make ever bigger systems that we still don't understand until they can be as smart as humans. What could possibly go wrong?）”
来源访谈 →价值对齐是从基因演化延续到公司治理与AI的根本问题，关键在于为强大的造物持续建立正确的激励与制衡机制。
“一切都在于建立正确的激励机制。（英文原话：It's all about putting the right incentives in place.）”
来源访谈 →AI风险不只是智能失控，还包括恶意行为者滥用AI作恶，应想象最不信任的领导人掌握强大AI工具的情形来直观理解这一威胁。
“我们需要担心的是，人们利用他们手中的AI或AGI工具去作恶。（英文原话：We have to worry about people using machines they're short of AI AGI and power to do bad things.）”
来源访谈 →现代技术使全人类一损俱损，一次偶发核战争或设计出的致命大流行病就可能终结整个文明，不能再抱侥幸过关的幻想。
“一次偶然的核战争或设计出来的致命大流行病，就可能终结整个文明，没有“重启”机会。”
来源访谈 →当下信息生态急剧恶化的新变量是机器学习与宣传的结合，平台算法为最大化停留时间而推送引发愤怒的内容，制造大规模信息茧房。
“机器学习与宣传手段相遇。这是新情况，也是情况急剧恶化的原因。（英文原话：Machine learning meets propaganda. That's what's new, that's why this has gotten so much worse.）”
来源访谈 →算法没有理由只帮强者操纵弱者，开源免费的AI工具（如他的“Improving the News”项目）同样能武装个体看穿操纵、对比多方立场。
“没有理由让算法只帮助强者操纵弱者，它们同样可以帮助弱者看穿强者的一切操纵企图。（英文原话：There are really no reasons why [machine learning algorithms] only have to help the big guy to manipulate the little guy, they can just as well help the little guy to see through all the manipulation attempts from the big guys.）”
来源访谈 →金句墙 10 条
“We're building effectively a new species that's smarter than us.”
我们本质上正在构建一个比我们更聪明的新物种。
MIT物理学家呼吁暂停AI竞赛，警惕文明级风险 · 2023/4/13“This is a suicide race which cannot be won.”
这是一场无法获胜的自杀式竞赛。
MIT物理学家呼吁暂停AI竞赛，警惕文明级风险 · 2023/4/13“Start your day with a little meditation and things you're grateful for. You basically choose to be a happy person.”
每天用一点冥想和对事物的感恩开启一天。你本质上是在选择成为一个快乐的人。
MIT物理学家呼吁暂停AI竞赛，警惕文明级风险 · 2023/4/13“It's not just me saying... Sam Altman and Dario Amodei have both said they themselves acknowledge that there are really great risks with this and they want to slow down once they feel like it's scary.”
不只是我一个人这么说……山姆·奥特曼和达里奥·阿莫代伊都曾表示，他们承认这里存在巨大风险，并希望在感到害怕时放慢速度。
MIT物理学家呼吁暂停AI竞赛，警惕文明级风险 · 2023/4/13“The closest immortality we can get with our biology is to share your information, your ideas with many others.”
在生物学层面上，我们能得到的最近似永生的方式，就是与他人分享你的信息、你的思想。
MIT物理学家呼吁暂停AI竞赛，警惕文明级风险 · 2023/4/13“The one that scares the HebGBs out of me is this attitude that we're just going to make ever bigger systems that we still don't understand until they can be as smart as humans. What could possibly go wrong?”
最让我感到恐惧的一种态度是，我们打算构建越来越大的系统，却仍然不理解它们，直到它们变得和人类一样聪明。这怎么可能不出问题呢？
马克斯·泰格马克：人工智能安全的关键在于可理解的智能 · 2021/1/18“We have to worry about people using machines they're short of AI AGI and power to do bad things.”
我们需要担心的是，人们利用他们手中的AI或AGI工具去作恶。
马克斯·泰格马克：人工智能安全的关键在于可理解的智能 · 2021/1/18“It's all about putting the right incentives in place.”
一切都在于建立正确的激励机制。
马克斯·泰格马克：人工智能安全的关键在于可理解的智能 · 2021/1/18“Machine learning meets propaganda. That's what's new, that's why this has gotten so much worse.”
机器学习与宣传手段相遇。这是新情况，也是情况急剧恶化的原因。
马克斯·泰格马克：人工智能安全的关键在于可理解的智能 · 2021/1/18“There are really no reasons why [machine learning algorithms] only have to help the big guy to manipulate the little guy, they can just as well help the little guy to see through all the manipulation attempts from the big guys.”
没有理由让算法只帮助强者操纵弱者，它们同样可以帮助弱者看穿强者的一切操纵企图。
马克斯·泰格马克：人工智能安全的关键在于可理解的智能 · 2021/1/18访谈收录
MIT物理学家呼吁暂停AI竞赛，警惕文明级风险
MIT物理学家Max Tegmark在Lex Fridman播客中讨论了他参与发起的呼吁暂停训练超过GPT-4级别AI模型的公开信。他认为当前AI能力发展速度远超预期，而安全和政策进步滞后，导致人类面临‘自杀式竞赛’风险。他主张通过六个月的协调暂停，为制定合理的安全标准赢得时间，并强调解决AI安全问题对于人类文明存续至关重要。
马克斯·泰格马克：人工智能安全的关键在于可理解的智能
马克斯·泰格马克在访谈中阐述了他对AI安全的核心观点。他认为，当前依赖不断扩大、却不理解其工作原理的神经网络是极其危险的道路，呼吁走‘可理解的智能’路线。他深入探讨了从基因到公司再到AI的价值对齐问题，并指出技术赋予的能力与人类理解能力的不匹配是核心风险。他还分享了利用AI对抗信息操纵的开源项目，强调在技术赋能的时代，人类主动承担责任至关重要。