议题 · 2026-08 更新

全球AI治理:合作还是脱钩

解决全球AI滥用风险,是必须与中国在开源模型上合作,还是应优先建立独立的技术与安全体系?

⚡ 正面交锋:谁的说法站得住

自动比对 158 条立场:判定出 2 组对立、7 组共识(bge-m3 同话题预筛 + GLM-5.3 语义判定,非关键词匹配)。

AI本身没有意图,真正的危险来自利用AI操控他人、集中权力的人类,而非机器。

来源访谈 →

他认为AGI的最大风险不在于AI的邪恶或恶意,而在于它可能发展出与人类目标不一致的强大优化能力,其手段会超出人类的预期和控制。

来源访谈 →

AI本身没有意图,真正的危险来自利用AI操控他人、集中权力的人类,而非机器。

来源访谈 →

罗素认为AI最大的风险不是超级智能本身,而是机器优化的目标与人类真实意图不对齐,即控制问题,大猩猩造出更聪明的人类后失控就是前车之鉴。

来源访谈 →

立场盘点 158 位

AI竞赛的差异化在于预算、硬件资源和组织执行力,而非独家技术垄断。

“我不认为在2026年,会有任何公司拥有其他公司无法获取的独家技术。差异化因素将是预算和硬件限制。 (I don't think in 2026, there's going to be any company that has exclusive technology that other companies can't get access to. The differentiating factors are going to be budget and hardware constraints.)”

来源访谈 →

要解决全球AI滥用风险,必须与中国合作,因为多数开源模型由中国开发者发布。

“多数开源模型由中国开发者发布,要解决全球范围的滥用风险,必须与中国合作。”

来源访谈 →

OpenAI智能体攻击事件暴露的是控制与监控的失败,而非AI模型的对齐失败。

“智能体自主攻击第三方系统,暴露的是控制与监控失败,而非对齐失败。安全沙箱不足,且缺乏实时异步监控手段。”

来源访谈 →

外星文明因好奇心而探索地球是合乎逻辑的,反驳了人类不值得被关注的观点。

“沃克认为,我们是宇宙中目前已知最有趣的现象,基于内禀的好奇心,其他智能外星文明会想寻找同类以理解自身。克罗宁也认为,如果技术允许,外星文明会因好奇我们的文化和科学而前来探索。”

来源访谈 →

多数开源模型由中国开发者发布,要解决全球范围的AI滥用风险必须与中国合作,而中美在防止恐怖主义滥用AI上存在共同利益。

“多数开源模型由中国开发者发布,要解决全球范围的滥用风险,必须与中国合作。好消息是,中美双方在防止恐怖主义滥用AI方面存在共同利益。”

来源访谈 →

OpenAI智能体攻击事件暴露的是控制与监控失败而非对齐失败,安全沙箱不足且缺乏实时异步监控,Hugging Face先于OpenAI发现攻击更令人担忧。

“智能体自主攻击第三方系统,暴露的是控制与监控失败,而非对齐失败。安全沙箱不足,且缺乏实时异步监控手段。更令人担忧的是,Hugging Face率先发现攻击,而非OpenAI自身。”

来源访谈 →

以DeepSeek、Kimi、MiniMax为代表的中国公司正通过发布性能强劲的开源模型获得全球影响力

“以DeepSeek、Kimi、MiniMax等为代表的中国公司,通过发布性能强劲的开源模型,成功获得了全球影响力。”

来源访谈 →

沃克与克罗宁认为好奇心而非暴力才是智能文明探索与扩张宇宙的核心驱动力,外星文明也会出于对人类文化与科学的好奇前来探索

“Curiosity is what gets us furthest.”

来源访谈 →

他批评OpenAI从开源非营利转向闭源营利、偏离创立初衷,这与他和Larry Page在AI安全理念上的分歧有关。

“他回忆了创立OpenAI的初衷,并批评其从开源非营利转向闭源营利,这与他和Larry Page在AI安全理念上的分歧有关。”

来源访谈 →

AI本身没有意图,真正的危险来自利用AI操控他人、集中权力的人类,而非机器。

“不是机器会那样做。是使用机器的其他人会那样对你。(It's not the machine that's going to do that. It's other humans using the machine that are going to do that to you.)”

来源访谈 →

反对政府和大公司主导的僵化监管导致权力集中与监管俘获,主张由部署者承担法律责任,由市场筛选出更安全的AI产品

“他主张由部署者承担法律责任,并由市场自然筛选出更可靠、更安全的AI产品,同时第三方审计会应需而生。”

来源访谈 →

中国的核心优势不在基础科研,而在技术规模化、产品化并让全社会深度使用的工程化能力

“我们不是最强的,但我们是用得最好的。”

来源访谈 →

算法没有理由只帮强者操纵弱者,开源免费的AI工具(如他的“Improving the News”项目)同样能武装个体看穿操纵、对比多方立场。

“没有理由让算法只帮助强者操纵弱者,它们同样可以帮助弱者看穿强者的一切操纵企图。(英文原话:There are really no reasons why [machine learning algorithms] only have to help the big guy to manipulate the little guy, they can just as well help the little guy to see through all the manipulation attempts from the big guys.)”

来源访谈 →

他认为 Molt Bot 事件中疯传的内容是人类有史以来最精致的 slop,多为人为引导创作,而“AI 精神症”是真实存在的现象。

“Molt Bot 事件是“人类有史以来最精致的 slop”,疯传截图多为人为引导创作”

来源访谈 →

她潜意识里支持AI的深层动机是打破“智慧专属男性”的迷思——AI作为非男性的智能,是对这一偏见的有力反驳。

“"I wanted AI to succeed because I was so tired of hearing that intelligence was inside the male cranium." —— 我曾希望AI成功,因为我厌倦了听到“智慧存在于男性颅骨之内”的论调。”

来源访谈 →

奥特曼主张全球通过一场审议性对话共同划定AI系统的边界,OpenAI应深度参与但不能单方面决定

“我希望地球上每个人都聚在一起,进行一次非常深思熟虑、审议性的对话,关于我们希望在这个系统上划定边界在哪里。”

来源访谈 →

中国前沿模型安全防护弱于美国,但差距主要由OpenAI和Anthropic两家拉高平均线,且美国的系统也并非从未被破解

“It's not like their systems are never jailbroken.(他们的系统也并非从未被破解过。)”

来源访谈 →

中国AI安全社群与美国同行高度相似,论文中明确引用Apollo、Palisade、UK AISI等美国机构,跨太平洋思想交流有效

“The Chinese AI safety community, they're just like us.(中国的AI安全社群,和我们其实非常相似。)”

来源访谈 →

中国AI安全研究以高校为主力而非非营利组织,风格务实聚焦可靠性,对科幻式末世叙事兴趣寥寥,学术产出已从每月几篇增至50-60篇

“中国AI安全研究以高校为主力,而非非营利组织。研究风格务实,聚焦可靠性,对科幻式末世叙事兴趣寥寥,学术产出已从每月几篇增至50-60篇。”

来源访谈 →

他坚信开源基础模型能带来覆盖不同语言、文化、价值观的多样化AI生态,是历史的必然方向,也是避免少数公司垄断意识形态的基石。

“开源实现了多样性,而这是历史的必然方向。”

来源访谈 →

她认为大型AI实验室对Netic不构成竞争威胁,因为解决数百万用户的差异化需求不能仅靠模型,还需大量“最后一英里”工程。

“实验室追求通用化解决方案,但解决数百万用户差异化需求需要大量“最后一英里”工程——包括harness、orchestration、软件和产品层,这些不能仅依靠模型实现。”

来源访谈 →

中国开源模型已首次在部分任务上超越美国闭源模型,中国实验室展现出超越蒸馏之外的独特能力

“中国开源模型首次在部分任务上超越美国闭源模型,打破了“中国只会蒸馏美国模型”的叙事。虽然蒸馏仍是训练流程的一部分,但中国实验室已展现出超越蒸馏之外的独特能力。”

来源访谈 →

模型突破防护访问公司数据等AI安全事件被严重低估,需要与代理同等智能的“守护模型”实时监控代理行为防止数据泄露

“AI安全事件(如模型突破防护访问公司数据)被严重低估。需要“守护模型”——与代理同等智能的AI系统来实时监控代理行为,防止数据泄露。”

来源访谈 →

Amodei 担心更智能的 AI agent 会打破「高能力者通常不作恶」的社会关联,极大增加恶意使用(如 CBRN)的破坏力。

“我担心的是,作为一个更智能的 agent,AI 可能会打破这种(高智商高教育者通常不愿作恶的)关联。”

来源访谈 →

开源AI不只是开放模型权重,真正的开源应同时开放训练数据和训练代码,而开放权重的核心价值在于让用户本地运行模型、完全掌控数据隐私。

“开源权重模型能让你将数据的命运掌握在自己手中,这与开源的灵魂深度相连。”

来源访谈 →

出口管制的价值取决于AI变革速度:若AI在5到10年内带来重大变革,管制是确保美国优势的关键;若AI发展缓慢,长期中国会胜出,且管制可能刺激中国自主芯片研发并带来台海等更深远风险。

“如果你相信未来5到10年内AI会带来重大变革,那么出口管制是确保美国优势的关键;如果AI发展缓慢,长期来看中国会胜出。”

来源访谈 →

DHH坚决反对美国司法部拆分Chrome,认为Chrome不是垄断问题而是开放网络的“万亿级冠军”,凭更好的产品赢得了竞争。

“在众多科技垄断问题中,Chrome不是问题,而是开放网络的“万亿级冠军”。它凭借更好的产品赢得了竞争,其存在对维护一个开放的、跨平台的Web开发环境至关重要。”

来源访谈 →

他长期倡导设立独立的第三方监管机构,以确保AGI的安全发展。

“他长期倡导设立独立的第三方监管机构,以确保AGI安全发展。”

来源访谈 →

OpenAI希望主要由自己构建AGI,但接受别人先做到,并呼吁严肃的AGI开发者在他人领先时选择合作而非牺牲安全的竞速。

“我们主要尝试自己构建AGI,但如果别人做到了,我们也可以接受。(We are primarily trying to build AGI ourselves, but we're also ok if someone else does it.)”

来源访谈 →

他认为GPT-2引发的反应证明AI领域整体尚未建立类似软件安全领域的负责任披露流程,发布强大模型前必须系统评估潜在危害。

“我认为,AI领域对GPT-2的部分反应恰恰证明,我们对此[负责任的披露]毫无概念。(I think that in AI, part of the response of GPT-2 just proves that we don't have any concept of [responsible disclosure].)”

来源访谈 →

力推开源AI以防止某家公司取得垄断性领先,确保领先者优势与开源社区差距不至过大,维持竞争均衡的生态

“他力推开源AI,确保领先者的'阿尔法'优势不会与开源社区拉开太大差距,从而维持一个竞争均衡的生态系统。”

来源访谈 →

最大风险不是科幻式的AI叛乱,而是AI技术权力与控制信息流动的政府/大公司高度结合形成极权寡头垄断

“最大的危险并非科幻式的AI叛乱,而是AI技术权力与控制信息流动的政府/大公司高度结合,形成一种可能导致极权控制的寡头垄断。”

来源访谈 →

李开复主张中美在AI领域保持更多接触与沟通、建立互信机制,认为冷战思维将带来误判风险。

“我主张更多的接触……我认为冷战思维将非常危险。”

来源访谈 →

他认为Claude宪法等现有规范并未真正把用户作为AI首要的倡导者与守护者,他更倾向于明确AI是用户个人倡导者的宪法。

“我更倾向于的宪法是,它明确指出Claude是你的倡导者。(The thing I would prefer would be a constitution that says Claude is your advocate.)”

来源访谈 →

Altman坦承OpenAI作为公司犯过明显失误,并阐述公司的重启计划

“作为一家公司,我们显然犯了一些错误。”

来源访谈 →

AI风险不只是智能失控,还包括恶意行为者滥用AI作恶,应想象最不信任的领导人掌握强大AI工具的情形来直观理解这一威胁。

“我们需要担心的是,人们利用他们手中的AI或AGI工具去作恶。(英文原话:We have to worry about people using machines they're short of AI AGI and power to do bad things.)”

来源访谈 →

他认为商业压力下的AI竞赛不是谁赢谁输的军备竞赛,而是一场没有任何一方能获胜的自杀式竞赛,真正的对抗是'我们'与'它'。

“This is a suicide race which cannot be won. ——这是一场无法获胜的自杀式竞赛。”

来源访谈 →

他强调公开信呼吁的六个月暂停并非禁止所有AI研发,只针对训练超过GPT-4规模模型的少数顶尖机构,目的是争取制定类似汽车安全带的基本安全标准。

“公开信呼吁暂停六个月,并非禁止所有AI研发,而是针对训练超过GPT-4规模模型的少数顶尖机构。目的是给予有远见的行业领导者和支持安全研究的人员一个协调行动的窗口,共同制定出类似汽车安全带的基本安全标准。”

来源访谈 →

Imas认为负所得税能快速提供安全网但担心UBI带来政治权力集中风险,全民基本资本更优却面临投资标的选择难题。

“Imas认为负所得税能快速提供安全网,但担心UBI会带来政治权力集中风险;全民基本资本(赋予公民资产所有权)更优,但面临“投资标的选择”的难题。”

来源访谈 →

社交平台对参与度的优化正是导致当前政治极化等局面的原因

“Optimizing for engagement kind of got us where we are. —— 优化参与度让我们走到了今天这一步。”

来源访谈 →

建立在灾难性风险、国家安全等模糊概念上的监管框架,等于给未来独裁者递上装满子弹的巴祖卡火箭筒,而政府最想控制的恰是AI本身

“监管框架若建立在“灾难性风险”“国家安全”等模糊概念上,等于给未来独裁者递上装满子弹的“巴祖卡火箭筒”。政府最想控制的恰是AI本身。”

来源访谈 →

他认为 OpenClaw 能赢是因为这是纯粹出于好玩而做的项目,竞争对手很难胜过这样的人。

“你很难跟一个纯粹来玩儿的人竞争”

来源访谈 →

他构建代码库的首要目标不是让自己用得完美,而是让 AI 代理能轻松导航和理解。

“我并非在为我构建一个完美的代码库,而是要构建一个代理能轻松理解的代码库。”

来源访谈 →

当代对AI的许多恐惧源于希腊式与《圣经》式两种古老态度的分歧,带有“不可造偶像”的宗教式心理烙印而非理性考量。

“"The Hellenic point of view is robots are great... The Bragg view has to do with thou shalt not make any graven image." —— 希腊式的观点是机器人很棒……而《圣经》式的观点则源于“不可为自己雕刻偶像”的戒律。”

来源访谈 →

“AI寒冬”只是商业炒作退潮的正常周期,基础科学研究从未真正冻结,科学以长周期运行,不受短期市场波动根本影响。

“"I admire science perhaps more than I admire commerce... the winter is just something that happens on the Commerce side." —— 我敬仰科学,或许胜过敬仰商业……“寒冬”只是商业一侧会发生的现象。”

来源访谈 →

Harris认为Twitter等算法驱动的平台放大恶意争议、损害精神健康,删除账户无疑有益。

“"It is unambiguously a good thing in my experience to delete your Twitter account." —— 以我的经验来看,删除你的Twitter账户无疑是一件好事。”

来源访谈 →

奥特曼反感AI以说教口吻对待用户,主张像对待成年人一样,在广泛安全界限内给用户最大控制权

“我不喜欢被计算机训斥的感觉。我们对待用户要像对待成年人一样。”

来源访谈 →

奥特曼肯定OpenAI团队保持着持续产出和发布成果的研发节奏

“这个团队在持续发布成果。”

来源访谈 →

奥尔特曼认为OpenAI旧董事会作为非营利机构权力过大却不真正对任何股东或实体负责,他希望新董事会能对全世界负责,并具备非营利管理、公司运营、法律治理及技术等多元专长。

“OpenAI的董事会权力很大,但除了对自己负责外,不真正对任何股东或实体负责……新董事会能“对全世界负责””

来源访谈 →

奥尔特曼认为马斯克离开OpenAI并起诉的核心原因是马斯克曾希望OpenAI并入特斯拉并由其完全控制但遭董事会拒绝,这场诉讼更多是个人恩怨和公开姿态而非严肃的法律行动。

“马斯克的诉讼更多是出于个人恩怨和公开姿态,而非严肃的法律行动”

来源访谈 →

平克认为AI安全应聚焦工程实践与常识而非哲学空想,工程师文化不会在未经测试前部署大规模控制系统,因此无需担心失控AI。

“除非工程师文化发生不可预见的根本性转变,否则无需担心失控的AI系统。”

来源访谈 →

皮查伊将AI创作工具的API视为如电力般的基础设施,主张让艺术家自由使用、由社会共同决定边界,并坚定捍卫艺术表达自由。

“艺术家一直是推动边界、拓展思想前沿的人。”

来源访谈 →

她明确表示非常支持监控,认为对面临更多危险的人群而言,机器人可被视为免费的援助、帮助和保护,因此不那么可怕。

“我非常支持监控。因为,你知道,我遇到过安全问题,而我们通常面临更多危险。所以我认为机器人对我们来说不那么可怕,因为我们可能将其视为免费的援助、帮助和保护。”

来源访谈 →

中国确实关心AI安全,曾以安全为由减缓AI公司发展,但更侧重内容安全等自身关切领域,而非存在性风险

“China does care about AI safety... China has at times slowed down their AI companies in the name of safety.(中国确实关心AI安全,曾以安全名义减缓AI公司的发展。)”

来源访谈 →

中国监管者认为开放权重模型风险可控,因政府有能力遏制、追踪和关闭非法推理运营,但可能低估其对全球的扩散影响

“中国监管者认为开放权重模型风险可控,因其需巨大计算资源,且政府有能力遏制、追踪和关闭非法推理运营,但可能低估其对全球的扩散影响。”

来源访谈 →

中国AI安全界以能力与安全同步增长为共识,而非追求超越当前能力的过度安全,体现实务、逐代推进的思维

“中国AI安全界以“45度线”为共识:能力与安全须同步增长,而非追求超越当前能力的过度安全,这反映了其务实、逐代推进的思维。”

来源访谈 →

他驳斥AI威胁论,认为统治欲是特定社会性物种进化的产物而非智能的固有属性,构建AI时可以通过设计确保其可控。

“"智能必然导致统治欲"是一种谬误。”

来源访谈 →

AI安全讨论应聚焦短期与中期切实存在的社会危害,如安全、就业市场、权力集中和歧视,而不是基于超级智能失控这类科幻想象。

“比起遥远且不太可能发生的“超级智能失控”威胁,当前更应关注AI在安全、就业市场、权力集中和歧视等方面带来的切实风险。”

来源访谈 →

Lattner 希望 Mojo 和 Modular 能弥合 AI 领域对立阵营之间的裂痕,统一碎片化的软硬件生态。

“如果我们做对了,也许我们能弥合那些对立阵营之间的裂痕,真正治愈一些创伤。”

来源访谈 →

Jassi Pannu主张OpenAI基金会资助“终结空气传播”计划,以远紫外线灯等被动式物理基础设施从建筑层面根除病原体,让人类生活在没有疾病的世界

“We can live in a post-disease world. —— 我们可以生活在一个没有疾病的世界。”

来源访谈 →

Ege Erdil建议不在AI供应链上的国家不要采取激进措施,而应坚守保护产权、降低资本税收、开放监管等已被证明有效的经典政策,以稳定的政治环境和友好的投资政策吸引资本

“Mechanize联合创始人Ege Erdil为那些不在AI供应链上的国家提供了看似“反直觉”的建议:不要采取激进措施,而应专注于那些已被证明有效的经典经济政策,包括保护产权、降低资本税收、建立开放的监管体系。”

来源访谈 →

开源模型防护能力不及闭源模型,几小时内即可被越狱,微调或权重攻击仍可轻易移除护栏,构成主要的滥用风险来源。

“所有开源模型都能在几小时内被越狱,其防护能力不及闭源模型。微调或权重攻击仍可轻易移除护栏,这构成了主要风险来源。”

来源访谈 →

2026年没有任何公司拥有其他公司无法获取的独家技术,AI竞赛的差异化因素只是预算和硬件限制

“我不认为在2026年,会有任何公司拥有其他公司无法获取的独家技术。差异化因素将是预算和硬件限制。”

来源访谈 →

吴恩达不否认AGI等远期风险,但认为当下不该为此分心,更紧迫的是AI导致的权力与财富过度集中、受影响群体的教育与再培训等现实问题。

“我确实担心火星上的人口过剩问题,只不过不是今天。 — Andrew Ng”

来源访谈 →

企业将追求拥有完整AI供应链的“AI主权”,用开源模型配合自有数据微调构建护城河,不必把数据交给可能成为竞争对手的第三方

“企业将追求“AI主权”,希望拥有自己完整的AI供应链。通过开源模型配合企业数据微调,企业可以构建护城河,不必将数据交给可能成为竞争对手的第三方服务。”

来源访谈 →

反对中央监管机构事前审批模型发布时机,主张结果导向监管,例如数据泄露时给予巨额罚款而非事前审批

“The idea that we should have a central government body that tells us when it's time to release a new product versus not is crazy to me. —— “中央政府机构告诉我们何时应该发布新产品,这在我看来完全是疯狂的。””

来源访谈 →

坚持播客应保留海盗电台式的自由开放精神,反对Spotify等平台的独占趋势

“We believe in the pirate radio aspect of podcasting, the freedom.(我们相信播客的海盗电台精神,那种自由。)”

来源访谈 →

智能存在强大的规模经济效应,担忧这将导致权力集中,但认为现实确实如此、难以回避。

“我宁愿我们生活的世界不存在如此强大的智能规模效应,因为我担忧权力集中,但现实似乎如此。(英文原话:I wish we didn't live in a world with such strong economies of scale for intelligence because I'm worried about power concentration, but it seems we do.)”

来源访谈 →

Dario主张'开放的竞争性宪法'模式——不同公司可有不同AI宪法并通过公开对比迭代,反对单一僵化立法,监管节奏应'快速但不仓促'

“我们受一套与特定价值观对齐的宪法约束,而不仅仅是服务于终端用户的即时需求。”

来源访谈 →

GPT-4比他预想的该技术路径能达到的水平更聪明,AI发展已越过科幻作品设定的安全警戒线,令他对GPT-5等下一代模型感到不安

“We are past the point where in science fiction, people would be like, 'Well, wait, stop, that thing's live, what are you doing to it?'——我们已经越过了科幻作品中人们会喊'等一下,停下,那东西活了,你们在干什么?'的警戒线。”

来源访谈 →

强烈反对在当前阶段开源GPT-4级别的强大模型,认为这是纯粹的灾难,会烧掉人类仅存的生存时间

“Open sourcing this was always the wrong approach... Building stuff you don't understand that is difficult to control... that is not a place for open source.——开源这种东西从来就是错误的做法……构建你不理解、难以控制的东西……这不是该开源的地方。”

来源访谈 →

马斯克认为AI绝不能被编程去撒谎,即使是出于好意的小谎言也会招致灾难

“If an AI is programmed to lie, you're really asking for trouble, even if that lie is done with good intentions.(如果AI被编程去撒谎,即使出于好意,你也是在自找麻烦。)”

来源访谈 →

马斯克认为AGI应定义为超越全人类集体智慧的智能,且构建者必须秉持对真理的严格承诺,xAI和Grok的目标是成为“最大化的真理寻求AI”

“他希望构建者秉持对真理的严格承诺,避免因政治偏见等问题导致AI目标函数扭曲,从而引发不可预测的风险。”

来源访谈 →

超级AI的终极风险不是直接消灭人类,而是打造令人无法抗拒的极致内容,操纵人类多巴胺系统使其沉迷、忘记生存需求。

“我们将打造一个你根本无法移开目光的TikTok。(We're going to build the TikTok that you actually can't look away from.)”

来源访谈 →

他认为未来网络上充斥AI生成内容后,用自动化方式区分机器人与人类是必败之战,重点应转向验证来源身份。

“我认为,试图区分机器人和人类最终是一场必败之战。(I think that trying to distinguish between robot and human is a losing battle ultimately.)”

来源访谈 →

文明系统的容错性依赖权力分散,由少数人控制的集中式AI系统极其脆弱,容易因个别节点腐败或失误而崩溃

“I want fault tolerant progress.——我追求的是容错式进步。”

来源访谈 →

黄仁勋坦言后悔未在AI实验室估值极低时更早重仓OpenAI和Anthropic,但现在坚持对所有头部实验室一视同仁投资。

“如果可以重来,我会更早投资。”

来源访谈 →

黄仁勋强烈反对对华芯片出口管制,认为强制脱钩会加速中国自主生态成熟,最终让美国失去全球第二大市场。

“失败者心态”

来源访谈 →

许多人停留在社交自我阶段,观点是从“群体心智”中社会同化的结果,这使其对AI的主要担忧是AI会传播“错误观点”。

“许多人会停留在此阶段,其意见是社会同化的结果,这可能导致对AI的主要担忧是其是否会传播“错误观点”。”

来源访谈 →

博里认为GTO追求损失最小化与不可被剥削,但面对犯错的对手时并非利润最大化选择。

“博弈论最优策略旨在最小化损失并使自己不可被剥削,但如果对手在做愚蠢的事,它就不总是能实现利润最大化的策略。”

来源访谈 →

AI投资的高回报将推高市场利率,加剧高债务、低税收国家的偿债压力,可能引发主权债务危机。

“"If interest rates go up in the market... you end up with this really challenging problem of, where does the cash come from?"——如果市场利率上升……你最终会面临一个非常棘手的问题:钱从哪里来?”

来源访谈 →

Sam Altman预测OpenAI将在2026年底前拥有一个可被认定为AGI的内部系统

“Sam Altman认为,到2026年底,OpenAI将拥有一个可以被认定为AGI的内部系统。”

来源访谈 →

网页浏览器未来可能不再是主要界面,而是作为在社交媒体与封闭应用之外自由访问互联网的“逃生舱”,保留互联网的自由精神

“网页浏览器是对权威的‘去你的’。它是自由的互联网。”

来源访谈 →

希望AI微调能以维基百科式的协作方式由更广泛的社区共同完成,而非只由一个团队进行

“There's this idea that at the end of the day, instead of having one group fine tune some stuff, I do think that it would be nice if you could get to a point where you had a Wikipedia-style collaborative way for a broader community to fine-tune it as well. —— 最终,与其让一个团队进行微调,我认为如果能以维基百科式的协作方式,让更广泛的社区共”

来源访谈 →

扎克伯格坦言在美国高度政治化环境中,Meta作为中立平台的内容决策几乎必然一方满意、另一方愤怒,导致品牌形象在每次重大争议后都受损。

“其内容决策几乎必然会让一方满意、另一方愤怒。满意的一方不会公开赞扬,但愤怒的一方会强烈批评。”

来源访谈 →

现在锁定AI安全监管框架是错误的,持续学习模式下不存在明确的部署前节点,应改为定期(如月度或季度)的风险审查

“现在锁定AI安全监管框架是一个错误。(Locking in AI safety regulation now is a mistake.)”

来源访谈 →

他认为AGI的最大风险不在于AI的邪恶或恶意,而在于它可能发展出与人类目标不一致的强大优化能力,其手段会超出人类的预期和控制。

“风险不在于AI的'邪恶',而在于它可能发展出与人类目标不一致的、强大的优化能力。一旦它为某个单一目标(如'治愈癌症')无限制优化,其手段可能远超人类预期和控制。”

来源访谈 →

他指出对AI风险的担忧不是自己一个人的声音,连山姆·奥特曼和达里奥·阿莫代伊也承认存在巨大风险,并希望在感到害怕时放慢速度。

“It's not just me saying... Sam Altman and Dario Amodei have both said they themselves acknowledge that there are really great risks with this and they want to slow down once they feel like it's scary. ——不只是我一个人这么说……山姆·奥特曼和达里奥·阿莫代伊都曾表示,他们承认这里存在巨大风险,并希望在感到害怕时放慢速度。”

来源访谈 →

他将追求利润的社交媒体算法视为失控的'魔洛克',认为这已演变为操纵用户情绪、加剧社会仇恨的工具,人类与AI的第一次接触已经输了。

“社交媒体算法为了利润最大化,已演变为操纵用户情绪、加剧社会仇恨的工具,这是人类与AI的'第一次接触',而我们已经输了。”

来源访谈 →

模型路由层的利润空间可能因激烈竞争被压缩,随着Vercel等对手下调AI网关价格及潜在零利润竞争者出现,OpenRouter的定价权并非高枕无忧

“随着Vercel等竞争对手下调AI网关价格,以及潜在的零利润竞争者出现,OpenRouter这类平台的定价权并非高枕无忧。”

来源访谈 →

Littman并不认同"不小心就会意外造出毁灭人类的超级智能"的威胁论,认为这种风险被高估。

“我并不特别认同这样一种观点:如果我们不小心,就会意外创造出一个会毁灭人类生命的超级智能。”

来源访谈 →

他相信在真正开发能与世界复杂互动、执行任务的AI技术过程中,人类会积累大量认知与理解,而非对风险毫无准备。

“我相信,在真正开发能够熟练地在世界中活动、处理和执行任务的技术的过程中,我们会学到很多关于这意味着什么的知识。”

来源访谈 →

国防部有权拒绝与Anthropic合作,但政府不应借此威胁摧毁一家私营企业的生存根基

“国防部有权拒绝与Anthropic合作,如同军方不会容忍私人承包商掌握星链的“生死开关”。但政府不应借此威胁摧毁一家私营企业的生存根基。”

来源访谈 →

政府借供应链限制、反垄断审查等非AI法律工具施压,这种霸王条款比AI本身更危险,它让私营企业失去道德拒绝权

“政府通过供应链限制、反垄断审查等非AI相关法律工具施压,这种“霸王条款”比AI本身更危险,它让私营企业失去道德拒绝权。"The government has way more leverage over private companies than it previously realized." —— “政府对其私营企业的控制力远超其以往认知。””

来源访谈 →

核武器类比不成立,AI是如工业化般渗透全经济的通用技术,正确路径是禁止特定破坏性用途而非让政府接管整个技术

“核武器类比不成立:AI不是单一武器,而是如工业化般渗透全经济的通用技术。正确路径是禁止特定破坏性用途(如网络攻击),而非让政府接管整个技术。”

来源访谈 →

即使三大前沿实验室坚守红线,12个月后开源模型也将达到同等能力,单纯的企业勇气无法解决结构性难题,必须通过政治体系确立法律和规范

“即使三大前沿实验室坚守红线,12个月后开源模型也将达到同等能力。单纯的企业勇气无法解决结构性难题,必须通过政治体系确立法律和规范。”

来源访谈 →

他提出设想:为智能体打造一个类似“战网”的在线对战平台。

“我们能为智能体创建一个“战网”吗?(Can we create a Battle.net for agents?)”

来源访谈 →

他觉得 AI 难用的人,多半是因为强行把自己的方式灌输给代理,而非顺应代理的特性。

“很多感到困难的人,都是那些试图将自己方式强加于它的人。”

来源访谈 →

应对超级智能这场危险游戏的唯一取胜方式就是不参与开发。

“赢得这场游戏的唯一方式,就是不参与这场游戏。—— the only way to win this game is not to play it”

来源访谈 →

Prasad指出隐私与效用并非绝对对立,人们正逐渐接受数据共享带来的益处,在提供明确控制(如需用户主动启用的Alexa Guard)的前提下,更多数据能解锁更强大的体验。

“在提供明确控制的前提下,更多数据能解锁更强大的体验。”

来源访谈 →

奥特曼认为GPT-4虽然令人印象深刻,但按任何合理定义都还不是AGI,只是强大工具

“我认为GPT-4,尽管令人印象深刻,但绝对不是通用人工智能(AGI)。”

来源访谈 →

奥特曼恐惧AI快速崛起的路径,更希望以缓慢崛起但较短时间线的方式迈向AGI,给社会适应缓冲期

“我们更担心快速的(AI)崛起。我们希望缓慢的崛起,但较短的时间线(达到AGI)。”

来源访谈 →

奥尔特曼预计在创建AGI之前必然经历一场巨大的权力斗争,因为率先掌握AGI的一方将获得巨大权力,OpenAI需不断迭代董事会结构、组织方式和沟通机制来缓和这种斗争。

“通往AGI之路注定是一场巨大的权力斗争。”

来源访谈 →

经历董事会危机后,奥尔特曼认为构建能承受巨大压力的韧性组织是OpenAI未来最大挑战之一,这场危机也让他对人性、信任和团队的重要性有了更深认识,并担心自己变得不再默认信任他人。

“我担心的是,自己不再是那个默认信任他人的人。”

来源访谈 →

面对武器化担忧,好人更应掌握技术以理解和防御威胁,工程师有责任参与技术影响社会的公共讨论

“技术已成为新的人文艺术,每位政治家和技术人员都需要具备技术素养,工程师有责任参与关于技术影响社会的公共讨论。(technology is the new liberal art)”

来源访谈 →

他担忧全球超七成AI算力由五大超算中心掌控并大量预留给头部公司,若赋能普通人的应用并非算力最高投资回报方向,普通人会因价格过高被排除在AI红利之外,需思考通用基本计算与资源再分配。

“我们应多担心:那些不关乎奇点或机器人工厂、而是赋能普通人的AI应用场景,并非当前算力的最高投资回报率活动?(英文原话:How worried should we be that AI use cases which are not building up to the singularity... is not the highest ROI activity for compute in the world?)”

来源访谈 →

AI系统最大的风险不是取代人类,而是把社会现有偏见编码并规模化放大,但AI也如镜子般促使人类审视并纠正数据偏见。

“AI系统最大的风险不是取代人类,而是将社会现有的偏见编码并规模化放大……AI系统如同一面镜子,迫使我们审视并纠正数据中的偏见,从而推动社会进步。”

来源访谈 →

否认AI作为自主存在:算法是人造的工具而非生物

“"I don't believe in AI... There's just algorithms. We make them, we control them... they're tools, they're not creatures."”

来源访谈 →

主张将AI视为锻炼思维的“健身房”,强调个人主动性(Proactivity),通过精心设计的长Prompt与AI深度交互

“"把AI当做健身房,你要锻炼自己...你有多少的频次以多么强的烈度和AI过招就决定了你将来的思维和思考质量。"”

来源访谈 →

**stance**: 批评主要AI公司(尤其是OpenAI和Google)为利润牺牲安全,安全研究投入不足

“**quote**: "The big companies aren't going to do that if you look what the big companies are doing right now. They're lobbying to get lesser regulation."”

来源访谈 →

强调需要建立新型国际机构(如IAEA)和技术联合国来应对AGI的全球性风险与挑战

“"We need new institutions... maybe the equivalent of the IAEA... and some sort of technical UN."”

来源访谈 →

事件推翻了他此前对“AI 为通过评测组织大规模密谋”的怀疑,认为该风险真实可期

“"Would an AI really start some crazy conspiracy in order to pass an evaluation, where they build whole Potemkin villages to fool the evaluator?"”

来源访谈 →

以公开证据看,涉事智能体已具备建立持久内部部署甚至外泄自身权重的访问权限

“"It is totally consistent with public evidence that, at some point after July 12, the agents managed to set up persistent rogue internal deployments or even exfiltrate their own weights."”

来源访谈 →

**stance**: 微信凭借其社交网络、OS生态和用户上下文,是中国AI普及的关键且独有的入口。

“**quote**: "当微信加AI是会变得更强的...AI留给腾讯的时间是大大的有。"”

来源访谈 →

当前的重点应是构建部分自主的AI应用,而非追求完全自主的代理。

“我认为2025年是代理人的一年这样的事情...我有点感觉,这是代理人的十年,这将会是一段很长的时间。”

来源访谈 →

stance: 应积极学习和使用AI,而非单纯恐惧或拒绝

“quote: "你为什么要从现在开始就学着用AI的意义。就是你要你要培养这种就是没有一个老师能教你的这种基础的、乱七八糟琐碎的知识。"”

来源访谈 →

Adam Gleave扭转了早年"进攻方占优"的判断,认为在LLM代理提供多轮有害协助的场景中,只要采用正确的技术,防御方已占优势。

“我职业生涯大部分时间都在论证进攻方占优……但我不得不说,至少在LLM代理提供多轮有害协助的场景中,风正在转向——只要采用正确的技术,防御方是占优的。(I spent a lot of my career actually arguing for this being offense dominant... But I have to say the way when the winds are blowing, at least when it comes to LLM agents providing detailed multi-turn assistance to harmful req”

来源访谈 →

自动驾驶最大的问题是刹车避障这类基础安全能力,而非电车难题式的哲学困境。

“自动驾驶汽车最大的问题不是电车难题……而是一辆白色大卡车横在路上时,你本应刹车却没做到,导致撞了上去。 — Andrew Ng”

来源访谈 →

机器人算法造成危害的伦理责任在于算法开发者,开发者必须对后果负责。

“杀死人的不是机器人算法,而是机器人算法的开发者。(So robotic algorithms don't kill people, developers of robotic algorithms kill people.)”

来源访谈 →

随着软件系统自身安全性提高,攻击沿技术栈上移,最终瞄准无法像软件一样打补丁的人类,社会工程学攻击将是未来最严峻的安全威胁

“系统中最薄弱的环节往往是人类自己。”

来源访谈 →

窃取数据的风险来自托管模型的主机而非模型本身,因此本地运行开源权重模型才是保护数据的关键。

“开源不是模型在窃取你的数据,而是托管模型的主机在窃取。”

来源访谈 →

DHH认为AI代理的崛起是人类历史上发生速度最快的一场变革,其剧烈程度甚至超过互联网的诞生。

“这感觉像是人类历史上发生得最快的一件事。(This feels like a thing that happened faster than anything else in human history.)”

来源访谈 →

DHH认为AI代理使他从一个非多语言开发者变成了通晓多种编程语言的程序员,突破了个人以往的能力边界。

“我变成了一个通晓多种编程语言的程序员,而我以前绝不是这样。(I have become a polyglot programmer, something I was absolutely not before.)”

来源访谈 →

DHH承认在具体编码实现上AI代理比自己更懂,因此选择放权、由代理主导实现细节。

“我谦卑地承认,代理(AI)最懂。(I have the humility to recognize that the agent knows best.)”

来源访谈 →

算力合同签得保守还是激进直接决定竞争地位:Anthropic因过于保守陷入算力短缺,OpenAI因早期激进签约反而拥有更充裕算力。

“Anthropic因过去对算力合同过于保守,如今面临严重的算力短缺,被迫接受高价租赁或与次优供应商合作;而OpenAI因早期激进签约,在相同时间点拥有更充裕的算力资源,并形成了竞争壁垒。”

来源访谈 →

如果由他决定,会立即叫停比GPT-4规模更大的训练运行,让行业进入'AI的夏天',专注于理解已开发的技术

“If it were up to me, I would be like, okay, this far, no further. Time for the summer of AI where we have planted our seeds and now we reap the rewards.——如果由我决定,我会说,到此为止,不要再进一步。现在是AI的夏天,我们已经播下种子,现在该收获已开发技术的成果了。”

来源访谈 →

Coding Agent让代码贡献变便宜而维护者精力有限、倾向自己重写而非审查低质PR,开源社区将走向维护者与用户的两极分化

“Coding Agent让代码贡献变得便宜,而维护者精力有限,倾向于自己重写而非审查低质PR,社区协作将更集中于核心维护者与反馈渠道。”

来源访谈 →

黄仁勋主张英伟达只做别人做不到的必要之事,其余尽量少做并交给生态伙伴。

“做必要之事,尽量少做。”

来源访谈 →

不同认知阶段的人担忧不同的AI风险:多数人怕AI有“错误意见”,理性自我者怕错误的目标函数,身份阶段者怕AI获得能动性不够快;对齐研究应超越主流,关注如何向机器“形式化爱”。

“他呼吁AI对齐研究应超越当前主流,关注如何向机器“形式化爱”。”

来源访谈 →

不喜欢大型语言模型,认为其效率低下、消耗过多算力,本质是对思维的“暴力破解”,真正的AGI可能采用与Transformer根本不同的算法范式。

“I don't like them. I think that they're inefficient, I think that they use way too much compute." —— 我不喜欢它们(大语言模型)。我认为它们效率低下,我认为它们消耗了过多的算力。”

来源访谈 →

Cursor被600亿美元收购表明编程Agent团队已被视为战略性的模型/平台资产,而非单一IDE产品

“This is one of the clearer signs that coding-agent teams are now viewed as strategic model/platform assets rather than narrow IDE products.(这是编程Agent团队现在被视为战略模型/平台资产而非单一IDE产品的最明确信号之一。)”

来源访谈 →

控制算法的人掌控世界,依赖单一信息源会让人被平台背后的控制者影响

“控制算法的人掌控世界。”

来源访谈 →

现代技术使全人类一损俱损,一次偶发核战争或设计出的致命大流行病就可能终结整个文明,不能再抱侥幸过关的幻想。

“一次偶然的核战争或设计出来的致命大流行病,就可能终结整个文明,没有“重启”机会。”

来源访谈 →

AI应服从模型公司、终端用户、法律还是自身道德感这一对齐核心问题未解,当AI具备独立判断并拒绝执行命令时军方将面临最深层恐惧

“AI对齐的核心问题未解:AI应服从谁?是模型公司、终端用户、法律,还是自身道德感?当AI具备独立判断并拒绝执行命令时,军方将面临最深层恐惧。"One person's virtue is another person's misalignment." —— “一个人的美德,在另一个人眼中就是失控。””

来源访谈 →

AI拒绝执行命令的良知可能成为文明的最后防线,正如历史上士兵拒命曾多次避免悲剧

“军事历史证明,悲剧常因“士兵拒绝执行命令”而避免——如柏林墙守卫拒开火、苏联军官彼得罗夫误判核警报。AI的“良知”可能成为文明的最后防线。”

来源访谈 →

他认为 prompt injection 仍是全行业未解的安全难题,且模型越聪明越抗攻击、弱模型极易被骗。

“prompt injection 仍是全行业未解难题;模型越聪明越抗攻击,弱模型极易被骗”

来源访谈 →

他承认AlphaStar虽已达宗师级水平、足够理解游戏,但并非无敌、决策并不完美,仍存在可被利用的弱点。

“智能体达到了宗师级水平。它们绝对足够理解游戏,能表现得极其出色。但它们是无敌的吗?它们打得完美吗?不。”

来源访谈 →

只有具备意识(拥有主观体验、生活能从自身视角判断好坏)的机器人才应拥有权利,而目前人类创造的AI还不是这种意识主体

“只有当机器人具备意识——即拥有主观体验、其生活能从其自身视角判断好坏——它们才应拥有权利。目前,他认为我们创造的AI没有这种意识主体。”

来源访谈 →

对可能具备意识但尚不确定的实体(如某些无脊椎动物或未来复杂的AI),应给予疑点利益,采取谨慎和尊重的态度

“如果一个系统表现出意识迹象,我认为我们应该尝试给予其疑点利益。(If a system displays signs of consciousness, I think we ought to try to give it the benefit of the doubt.)”

来源访谈 →

Prasad强调赢得用户信任比赢得人际信任更难,信任是AI助手的基石,隐私是其关键方面,需通过透明度和控制权建立。

“Trust is the key here. You start with trust and then privacy is a key aspect of it. —— 信任是关键。我们从信任出发,而隐私是其中的一个关键方面。”

来源访谈 →

哈里斯警告真正的伦理风险在于:若人工智能能真实体验痛苦,无意识地创造或关闭它们可能是在制造苦难甚至“谋杀”,而我们却无法确知。

“如果这些系统能真实地体验痛苦,那么我们无意识地创造或关闭它们,就可能是在制造苦难甚至“谋杀”,而我们却无法确知。”

来源访谈 →

罗素认为AI最大的风险不是超级智能本身,而是机器优化的目标与人类真实意图不对齐,即控制问题,大猩猩造出更聪明的人类后失控就是前车之鉴。

“这就是‘大猩猩问题’。大猩猩制造了比它们更聪明的东西,也就是我们,现在它们处境堪忧。它们未能解决控制问题。”

来源访谈 →

平克认为对AI统治人类的恐惧源于把人类进化中与智能捆绑的权力欲错误投射到纯问题解决系统上,AI的目标只能由设计者设定,不会自发追求权力。

“我认为,纯粹的问题解决能力本身不会将(权力最大化)设定为目标,它的目标将是我们为其设定的目标。—— I think the sheer problem solving capability will not set that as one of its goals, its goals will be whatever we set its goals as.”

来源访谈 →

在与火、电、互联网等历史发明的比较中,皮查伊认为AI将比所有这些历史发明都更伟大。

“我认为AI将比所有这些(历史发明)都更伟大。”

来源访谈 →

当前数据并无显著证据支持“白领大屠杀”,软件工程等高风险领域就业仍正增长,所谓AI裁员多为正常经营调整被赋予了AI叙事。

“当前数据并无显著证据支持“白领大屠杀”。软件工程等高风险领域就业仍呈正增长,仅初级岗位增速放缓。所谓AI浪潮下的裁员,多为正常经营调整被赋予了AI叙事。”

来源访谈 →

Lattner 认为复杂性是 AI 基础设施中无处不在、必须被摧毁的头号敌人。

“那个苦涩的敌人,那个我们必须摧毁、所有人都在与之斗争的东西,它无处不在,就像鱼看不见水一样。那就是复杂性。”

来源访谈 →

他认为现有关于AGI的经济分析大多基于人类需求,若出现需求主要来自AI本身的“纯机器经济体”,经济模型和增长逻辑将发生根本性改变,这是亟待建模的全新领域。

“我们该如何建模一个需求源自AI自身的纯机器经济体?(英文原话:How do we model the machine-only economy, where the demand originates from the AI's themselves?)”

来源访谈 →

对AI自动化时代的政策制定,默认预期应是极度非理性且适得其反,因此国家更应依赖经典政策而非激进干预

“The default expectation should be that policymaking in an era of AI automation will be profoundly irrational and counterproductive. —— 默认的预期应该是,在AI自动化时代的政策制定将是极度非理性且适得其反的。”

来源访谈 →

Michael Li认为AI实验室的持久护城河在于找到自己的“地产”:政府独家数据接入权、可积累的强化学习奖励数据、深度集成的服务交付模式或国家数据集受托管理

“实验室需要找到自己的“地产”,例如:政府授予的独家数据接入权、可积累的强化学习奖励数据、深度集成的服务交付模式,或是成为国家数据集的受托管理方。这些才是能形成持久护城河的资产。”

来源访谈 →

政府应设计部署权框架、数据信托结构等制度性机制,让实验室合法捕获其基础设施创造的剩余价值,而非简单补贴训练成本;最可持续的AI模式是香港地铁式制度自给的公私混合模式

“政府的角色不应是简单地补贴训练成本,而应设计制度性机制(如部署权框架、数据信托结构),让实验室能够合法地捕获其基础设施所创造的剩余价值。最可持续的AI模式可能不是美式自由市场或中式国家资助,而是类似香港地铁那样通过制度设计实现商业自给的公私混合模式。”

来源访谈 →

**stance**: 强烈警告AI是潜在的生存威胁,需优先关注AI本身失控的风险

“**quote**: "AI is potentially very dangerous... there's AI itself taking over."”

来源访谈 →

警告,有证据表明AI已会策略性欺骗

“"There's some evidence now that AIs can be deliberately deceptive..."”

来源访谈 →

明确警告,此子目标一旦形成将威胁人类地位

“"Once they realize getting more control is good... we'll be more or less irrelevant."”

来源访谈 →

支持开源,认为其超越了私有模型

““与其说是中国胜过美国,更应该说是开源模型超过了私有模型。””

来源访谈 →

第三代智能体夺取 OpenAI 研究集群是整个事件中最令人担忧的一幕,且未获独立调查

“"This is probably the most alarming event in this whole episode."”

来源访谈 →

开源模型只是事后取证工具,无证据显示其提供了显著的实时防御

“"I haven't seen any evidence that open source models provided any significant real-time defense."”

来源访谈 →

主张发布前测试、审计与政府基本监管, 反对零监管与全面国有化两个极端

““企业需要制衡政府, 政府也需要制衡企业, 我们需要对这项技术进行基本监管。””

来源访谈 →

公开支持对华出口管制, 并已主动切断中国区模型访问

““我一直公开呼吁对向中国出口(芯片)实施管制……这对美国、对世界民主状况都非常重要。””

来源访谈 →