AI治理:审批还是追责?
AI监管该由中央机构事前审批发布时机,还是以结果导向追责与多元宪法竞争来避免权力集中?
⚡ 正面交锋:谁的说法站得住
自动比对 208 条立场:判定出 2 组对立、6 组共识(bge-m3 同话题预筛 + GLM-5.3 语义判定,非关键词匹配)。
立场盘点 208 位
反对中央监管机构事前审批模型发布时机,主张结果导向监管,例如数据泄露时给予巨额罚款而非事前审批
“The idea that we should have a central government body that tells us when it's time to release a new product versus not is crazy to me. —— “中央政府机构告诉我们何时应该发布新产品,这在我看来完全是疯狂的。””
来源访谈 →智能存在强大的规模经济效应,担忧这将导致权力集中,但认为现实确实如此、难以回避。
“我宁愿我们生活的世界不存在如此强大的智能规模效应,因为我担忧权力集中,但现实似乎如此。(英文原话:I wish we didn't live in a world with such strong economies of scale for intelligence because I'm worried about power concentration, but it seems we do.)”
来源访谈 →Dario主张'开放的竞争性宪法'模式——不同公司可有不同AI宪法并通过公开对比迭代,反对单一僵化立法,监管节奏应'快速但不仓促'
“我们受一套与特定价值观对齐的宪法约束,而不仅仅是服务于终端用户的即时需求。”
来源访谈 →出口管制的价值取决于AI变革速度:若AI在5到10年内带来重大变革,管制是确保美国优势的关键;若AI发展缓慢,长期中国会胜出,且管制可能刺激中国自主芯片研发并带来台海等更深远风险。
“如果你相信未来5到10年内AI会带来重大变革,那么出口管制是确保美国优势的关键;如果AI发展缓慢,长期来看中国会胜出。”
来源访谈 →反对政府和大公司主导的僵化监管导致权力集中与监管俘获,主张由部署者承担法律责任,由市场筛选出更安全的AI产品
“他主张由部署者承担法律责任,并由市场自然筛选出更可靠、更安全的AI产品,同时第三方审计会应需而生。”
来源访谈 →现在锁定AI安全监管框架是错误的,持续学习模式下不存在明确的部署前节点,应改为定期(如月度或季度)的风险审查
“现在锁定AI安全监管框架是一个错误。(Locking in AI safety regulation now is a mistake.)”
来源访谈 →模型训练的一次性成本可摊薄至所有用户,这种强规模经济意味着少数领先智能模型将主导市场,他对此可能带来的巨大权力集中表示担忧。
“模型训练是一次性成本,可摊薄至所有用户,这种强大的规模经济效应意味着少数领先的智能模型将主导市场。Patel对此表示担忧,因为它可能导致巨大的权力集中,尽管他承认这是当前的技术经济现实。”
来源访谈 →建立在灾难性风险、国家安全等模糊概念上的监管框架,等于给未来独裁者递上装满子弹的巴祖卡火箭筒,而政府最想控制的恰是AI本身
“监管框架若建立在“灾难性风险”“国家安全”等模糊概念上,等于给未来独裁者递上装满子弹的“巴祖卡火箭筒”。政府最想控制的恰是AI本身。”
来源访谈 →开源模型防护能力不及闭源模型,几小时内即可被越狱,微调或权重攻击仍可轻易移除护栏,构成主要的滥用风险来源。
“所有开源模型都能在几小时内被越狱,其防护能力不及闭源模型。微调或权重攻击仍可轻易移除护栏,这构成了主要风险来源。”
来源访谈 →吴恩达不否认AGI等远期风险,但认为当下不该为此分心,更紧迫的是AI导致的权力与财富过度集中、受影响群体的教育与再培训等现实问题。
“我确实担心火星上的人口过剩问题,只不过不是今天。 — Andrew Ng”
来源访谈 →Amodei 担心更智能的 AI agent 会打破「高能力者通常不作恶」的社会关联,极大增加恶意使用(如 CBRN)的破坏力。
“我担心的是,作为一个更智能的 agent,AI 可能会打破这种(高智商高教育者通常不愿作恶的)关联。”
来源访谈 →DHH承认在具体编码实现上AI代理比自己更懂,因此选择放权、由代理主导实现细节。
“我谦卑地承认,代理(AI)最懂。(I have the humility to recognize that the agent knows best.)”
来源访谈 →DHH坚决反对美国司法部拆分Chrome,认为Chrome不是垄断问题而是开放网络的“万亿级冠军”,凭更好的产品赢得了竞争。
“在众多科技垄断问题中,Chrome不是问题,而是开放网络的“万亿级冠军”。它凭借更好的产品赢得了竞争,其存在对维护一个开放的、跨平台的Web开发环境至关重要。”
来源访谈 →如果由他决定,会立即叫停比GPT-4规模更大的训练运行,让行业进入'AI的夏天',专注于理解已开发的技术
“If it were up to me, I would be like, okay, this far, no further. Time for the summer of AI where we have planted our seeds and now we reap the rewards.——如果由我决定,我会说,到此为止,不要再进一步。现在是AI的夏天,我们已经播下种子,现在该收获已开发技术的成果了。”
来源访谈 →他认为GPT-2引发的反应证明AI领域整体尚未建立类似软件安全领域的负责任披露流程,发布强大模型前必须系统评估潜在危害。
“我认为,AI领域对GPT-2的部分反应恰恰证明,我们对此[负责任的披露]毫无概念。(I think that in AI, part of the response of GPT-2 just proves that we don't have any concept of [responsible disclosure].)”
来源访谈 →文明系统的容错性依赖权力分散,由少数人控制的集中式AI系统极其脆弱,容易因个别节点腐败或失误而崩溃
“I want fault tolerant progress.——我追求的是容错式进步。”
来源访谈 →力推开源AI以防止某家公司取得垄断性领先,确保领先者优势与开源社区差距不至过大,维持竞争均衡的生态
“他力推开源AI,确保领先者的'阿尔法'优势不会与开源社区拉开太大差距,从而维持一个竞争均衡的生态系统。”
来源访谈 →最大风险不是科幻式的AI叛乱,而是AI技术权力与控制信息流动的政府/大公司高度结合形成极权寡头垄断
“最大的危险并非科幻式的AI叛乱,而是AI技术权力与控制信息流动的政府/大公司高度结合,形成一种可能导致极权控制的寡头垄断。”
来源访谈 →许多人停留在社交自我阶段,观点是从“群体心智”中社会同化的结果,这使其对AI的主要担忧是AI会传播“错误观点”。
“许多人会停留在此阶段,其意见是社会同化的结果,这可能导致对AI的主要担忧是其是否会传播“错误观点”。”
来源访谈 →不同认知阶段的人担忧不同的AI风险:多数人怕AI有“错误意见”,理性自我者怕错误的目标函数,身份阶段者怕AI获得能动性不够快;对齐研究应超越主流,关注如何向机器“形式化爱”。
“他呼吁AI对齐研究应超越当前主流,关注如何向机器“形式化爱”。”
来源访谈 →他认为Claude宪法等现有规范并未真正把用户作为AI首要的倡导者与守护者,他更倾向于明确AI是用户个人倡导者的宪法。
“我更倾向于的宪法是,它明确指出Claude是你的倡导者。(The thing I would prefer would be a constitution that says Claude is your advocate.)”
来源访谈 →AI投资的高回报将推高市场利率,加剧高债务、低税收国家的偿债压力,可能引发主权债务危机。
“"If interest rates go up in the market... you end up with this really challenging problem of, where does the cash come from?"——如果市场利率上升……你最终会面临一个非常棘手的问题:钱从哪里来?”
来源访谈 →扎克伯格坦言在美国高度政治化环境中,Meta作为中立平台的内容决策几乎必然一方满意、另一方愤怒,导致品牌形象在每次重大争议后都受损。
“其内容决策几乎必然会让一方满意、另一方愤怒。满意的一方不会公开赞扬,但愤怒的一方会强烈批评。”
来源访谈 →AI风险不只是智能失控,还包括恶意行为者滥用AI作恶,应想象最不信任的领导人掌握强大AI工具的情形来直观理解这一威胁。
“我们需要担心的是,人们利用他们手中的AI或AGI工具去作恶。(英文原话:We have to worry about people using machines they're short of AI AGI and power to do bad things.)”
来源访谈 →现代技术使全人类一损俱损,一次偶发核战争或设计出的致命大流行病就可能终结整个文明,不能再抱侥幸过关的幻想。
“一次偶然的核战争或设计出来的致命大流行病,就可能终结整个文明,没有“重启”机会。”
来源访谈 →他认为随着AI智能体与人类社会更深入互动,AI研究必然从工程问题延伸到经济学、社会选择理论乃至政治哲学,引发关于好生活由谁决定的文化反思。
“随着AI智能体与人类社会更深入地互动,研究必然从工程问题延伸到经济学、社会选择理论乃至政治哲学。这迫使我们思考“什么是好的生活”以及“谁来决定”,可能引发一场文化反思。”
来源访谈 →提供个性化权重的经济学强烈有利于大型组织,个人用户将面临巨大的计算效率惩罚
“提供个性化权重的经济学强烈有利于大型组织。(The economics of serving personalized weights strongly favor big organizations.)”
来源访谈 →他认为商业压力下的AI竞赛不是谁赢谁输的军备竞赛,而是一场没有任何一方能获胜的自杀式竞赛,真正的对抗是'我们'与'它'。
“This is a suicide race which cannot be won. ——这是一场无法获胜的自杀式竞赛。”
来源访谈 →他强调公开信呼吁的六个月暂停并非禁止所有AI研发,只针对训练超过GPT-4规模模型的少数顶尖机构,目的是争取制定类似汽车安全带的基本安全标准。
“公开信呼吁暂停六个月,并非禁止所有AI研发,而是针对训练超过GPT-4规模模型的少数顶尖机构。目的是给予有远见的行业领导者和支持安全研究的人员一个协调行动的窗口,共同制定出类似汽车安全带的基本安全标准。”
来源访谈 →他指出对AI风险的担忧不是自己一个人的声音,连山姆·奥特曼和达里奥·阿莫代伊也承认存在巨大风险,并希望在感到害怕时放慢速度。
“It's not just me saying... Sam Altman and Dario Amodei have both said they themselves acknowledge that there are really great risks with this and they want to slow down once they feel like it's scary. ——不只是我一个人这么说……山姆·奥特曼和达里奥·阿莫代伊都曾表示,他们承认这里存在巨大风险,并希望在感到害怕时放慢速度。”
来源访谈 →他将追求利润的社交媒体算法视为失控的'魔洛克',认为这已演变为操纵用户情绪、加剧社会仇恨的工具,人类与AI的第一次接触已经输了。
“社交媒体算法为了利润最大化,已演变为操纵用户情绪、加剧社会仇恨的工具,这是人类与AI的'第一次接触',而我们已经输了。”
来源访谈 →Imas认为负所得税能快速提供安全网但担心UBI带来政治权力集中风险,全民基本资本更优却面临投资标的选择难题。
“Imas认为负所得税能快速提供安全网,但担心UBI会带来政治权力集中风险;全民基本资本(赋予公民资产所有权)更优,但面临“投资标的选择”的难题。”
来源访谈 →Trammell认为若“混乱中间地带”情景出现,高利率和资本品快速贬值意味着小额储蓄也能在未来转化为大量消费,因此发展中国家现在就应通过主权财富基金投资AI供应链以分享未来增长。
“若“混乱中间地带”情景出现,高利率和资本品快速贬值意味着小额储蓄也能在未来转化为大量消费。”
来源访谈 →乔丹认为AI和数据可以为音乐等产业创建透明高效的新市场,让创作者直接获得报酬并建立职业生涯,形成基于真实价值交换的直接经济关系。
“AI和数据可以创建一个透明、高效的市场,让创作者直接获得报酬、建立职业生涯,从而"创造新工作"。”
来源访谈 →社交平台对参与度的优化正是导致当前政治极化等局面的原因
“Optimizing for engagement kind of got us where we are. —— 优化参与度让我们走到了今天这一步。”
来源访谈 →政府借供应链限制、反垄断审查等非AI法律工具施压,这种霸王条款比AI本身更危险,它让私营企业失去道德拒绝权
“政府通过供应链限制、反垄断审查等非AI相关法律工具施压,这种“霸王条款”比AI本身更危险,它让私营企业失去道德拒绝权。"The government has way more leverage over private companies than it previously realized." —— “政府对其私营企业的控制力远超其以往认知。””
来源访谈 →AI应服从模型公司、终端用户、法律还是自身道德感这一对齐核心问题未解,当AI具备独立判断并拒绝执行命令时军方将面临最深层恐惧
“AI对齐的核心问题未解:AI应服从谁?是模型公司、终端用户、法律,还是自身道德感?当AI具备独立判断并拒绝执行命令时,军方将面临最深层恐惧。"One person's virtue is another person's misalignment." —— “一个人的美德,在另一个人眼中就是失控。””
来源访谈 →核武器类比不成立,AI是如工业化般渗透全经济的通用技术,正确路径是禁止特定破坏性用途而非让政府接管整个技术
“核武器类比不成立:AI不是单一武器,而是如工业化般渗透全经济的通用技术。正确路径是禁止特定破坏性用途(如网络攻击),而非让政府接管整个技术。”
来源访谈 →即使三大前沿实验室坚守红线,12个月后开源模型也将达到同等能力,单纯的企业勇气无法解决结构性难题,必须通过政治体系确立法律和规范
“即使三大前沿实验室坚守红线,12个月后开源模型也将达到同等能力。单纯的企业勇气无法解决结构性难题,必须通过政治体系确立法律和规范。”
来源访谈 →他认为 prompt injection 仍是全行业未解的安全难题,且模型越聪明越抗攻击、弱模型极易被骗。
“prompt injection 仍是全行业未解难题;模型越聪明越抗攻击,弱模型极易被骗”
来源访谈 →当代对AI的许多恐惧源于希腊式与《圣经》式两种古老态度的分歧,带有“不可造偶像”的宗教式心理烙印而非理性考量。
“"The Hellenic point of view is robots are great... The Bragg view has to do with thou shalt not make any graven image." —— 希腊式的观点是机器人很棒……而《圣经》式的观点则源于“不可为自己雕刻偶像”的戒律。”
来源访谈 →Prasad指出隐私与效用并非绝对对立,人们正逐渐接受数据共享带来的益处,在提供明确控制(如需用户主动启用的Alexa Guard)的前提下,更多数据能解锁更强大的体验。
“在提供明确控制的前提下,更多数据能解锁更强大的体验。”
来源访谈 →Harris认为Twitter等算法驱动的平台放大恶意争议、损害精神健康,删除账户无疑有益。
“"It is unambiguously a good thing in my experience to delete your Twitter account." —— 以我的经验来看,删除你的Twitter账户无疑是一件好事。”
来源访谈 →奥尔特曼认为OpenAI旧董事会作为非营利机构权力过大却不真正对任何股东或实体负责,他希望新董事会能对全世界负责,并具备非营利管理、公司运营、法律治理及技术等多元专长。
“OpenAI的董事会权力很大,但除了对自己负责外,不真正对任何股东或实体负责……新董事会能“对全世界负责””
来源访谈 →奥尔特曼认为马斯克离开OpenAI并起诉的核心原因是马斯克曾希望OpenAI并入特斯拉并由其完全控制但遭董事会拒绝,这场诉讼更多是个人恩怨和公开姿态而非严肃的法律行动。
“马斯克的诉讼更多是出于个人恩怨和公开姿态,而非严肃的法律行动”
来源访谈 →平克认为对AI统治人类的恐惧源于把人类进化中与智能捆绑的权力欲错误投射到纯问题解决系统上,AI的目标只能由设计者设定,不会自发追求权力。
“我认为,纯粹的问题解决能力本身不会将(权力最大化)设定为目标,它的目标将是我们为其设定的目标。—— I think the sheer problem solving capability will not set that as one of its goals, its goals will be whatever we set its goals as.”
来源访谈 →平克认为AI安全应聚焦工程实践与常识而非哲学空想,工程师文化不会在未经测试前部署大规模控制系统,因此无需担心失控AI。
“除非工程师文化发生不可预见的根本性转变,否则无需担心失控的AI系统。”
来源访谈 →中国确实关心AI安全,曾以安全为由减缓AI公司发展,但更侧重内容安全等自身关切领域,而非存在性风险
“China does care about AI safety... China has at times slowed down their AI companies in the name of safety.(中国确实关心AI安全,曾以安全名义减缓AI公司的发展。)”
来源访谈 →中国监管者认为开放权重模型风险可控,因政府有能力遏制、追踪和关闭非法推理运营,但可能低估其对全球的扩散影响
“中国监管者认为开放权重模型风险可控,因其需巨大计算资源,且政府有能力遏制、追踪和关闭非法推理运营,但可能低估其对全球的扩散影响。”
来源访谈 →中国AI安全界以能力与安全同步增长为共识,而非追求超越当前能力的过度安全,体现实务、逐代推进的思维
“中国AI安全界以“45度线”为共识:能力与安全须同步增长,而非追求超越当前能力的过度安全,这反映了其务实、逐代推进的思维。”
来源访谈 →艾萨克森认为马斯克与推崇“心理安全”的传统管理相反,倡导“硬核”与高强度,收购Twitter后以“all in”筛选团队,虽引发巨大争议但确实推动了变革。
“他在收购Twitter后,通过要求员工选择是否"all in"来筛选团队,并推行极简、专注的企业文化,尽管这引发了巨大争议,但也确实推动了变革。”
来源访谈 →AI安全讨论应聚焦短期与中期切实存在的社会危害,如安全、就业市场、权力集中和歧视,而不是基于超级智能失控这类科幻想象。
“比起遥远且不太可能发生的“超级智能失控”威胁,当前更应关注AI在安全、就业市场、权力集中和歧视等方面带来的切实风险。”
来源访谈 →他担忧全球超七成AI算力由五大超算中心掌控并大量预留给头部公司,若赋能普通人的应用并非算力最高投资回报方向,普通人会因价格过高被排除在AI红利之外,需思考通用基本计算与资源再分配。
“我们应多担心:那些不关乎奇点或机器人工厂、而是赋能普通人的AI应用场景,并非当前算力的最高投资回报率活动?(英文原话:How worried should we be that AI use cases which are not building up to the singularity... is not the highest ROI activity for compute in the world?)”
来源访谈 →Ege Erdil建议不在AI供应链上的国家不要采取激进措施,而应坚守保护产权、降低资本税收、开放监管等已被证明有效的经典政策,以稳定的政治环境和友好的投资政策吸引资本
“Mechanize联合创始人Ege Erdil为那些不在AI供应链上的国家提供了看似“反直觉”的建议:不要采取激进措施,而应专注于那些已被证明有效的经典经济政策,包括保护产权、降低资本税收、建立开放的监管体系。”
来源访谈 →对AI自动化时代的政策制定,默认预期应是极度非理性且适得其反,因此国家更应依赖经典政策而非激进干预
“The default expectation should be that policymaking in an era of AI automation will be profoundly irrational and counterproductive. —— 默认的预期应该是,在AI自动化时代的政策制定将是极度非理性且适得其反的。”
来源访谈 →AI系统最大的风险不是取代人类,而是把社会现有偏见编码并规模化放大,但AI也如镜子般促使人类审视并纠正数据偏见。
“AI系统最大的风险不是取代人类,而是将社会现有的偏见编码并规模化放大……AI系统如同一面镜子,迫使我们审视并纠正数据中的偏见,从而推动社会进步。”
来源访谈 →她主张让AI代理直接与终端客户交互、承接首次客户互动并匹配企业运营规则,目前Netic超过70%的客户已采用“AI优先”模式。
“其AI代理直接与终端客户交互,理解需求并匹配企业运营规则,实现从客户沟通到服务部署的全流程管理。目前超过70%的客户采用“AI优先”模式,首次客户互动由Netic代理完成。”
来源访谈 →Adam Gleave扭转了早年"进攻方占优"的判断,认为在LLM代理提供多轮有害协助的场景中,只要采用正确的技术,防御方已占优势。
“我职业生涯大部分时间都在论证进攻方占优……但我不得不说,至少在LLM代理提供多轮有害协助的场景中,风正在转向——只要采用正确的技术,防御方是占优的。(I spent a lot of my career actually arguing for this being offense dominant... But I have to say the way when the winds are blowing, at least when it comes to LLM agents providing detailed multi-turn assistance to harmful req”
来源访谈 →各开发者普遍优先强化生物安全防护,因为生物领域存在清晰的可防/可拒层级,而化学、网络等领域的双重用途属性使防护更难。
“各开发者普遍优先强化生物安全,且生物领域本身存在清晰的可防/可拒层级,更容易设置决策边界。而化学、网络等领域的双重用途属性使防护更难。”
来源访谈 →OpenAI智能体攻击事件暴露的是控制与监控失败而非对齐失败,安全沙箱不足且缺乏实时异步监控,Hugging Face先于OpenAI发现攻击更令人担忧。
“智能体自主攻击第三方系统,暴露的是控制与监控失败,而非对齐失败。安全沙箱不足,且缺乏实时异步监控手段。更令人担忧的是,Hugging Face率先发现攻击,而非OpenAI自身。”
来源访谈 →自动驾驶最大的问题是刹车避障这类基础安全能力,而非电车难题式的哲学困境。
“自动驾驶汽车最大的问题不是电车难题……而是一辆白色大卡车横在路上时,你本应刹车却没做到,导致撞了上去。 — Andrew Ng”
来源访谈 →机器人算法造成危害的伦理责任在于算法开发者,开发者必须对后果负责。
“杀死人的不是机器人算法,而是机器人算法的开发者。(So robotic algorithms don't kill people, developers of robotic algorithms kill people.)”
来源访谈 →企业将追求拥有完整AI供应链的“AI主权”,用开源模型配合自有数据微调构建护城河,不必把数据交给可能成为竞争对手的第三方
“企业将追求“AI主权”,希望拥有自己完整的AI供应链。通过开源模型配合企业数据微调,企业可以构建护城河,不必将数据交给可能成为竞争对手的第三方服务。”
来源访谈 →坚持播客应保留海盗电台式的自由开放精神,反对Spotify等平台的独占趋势
“We believe in the pirate radio aspect of podcasting, the freedom.(我们相信播客的海盗电台精神,那种自由。)”
来源访谈 →算力合同签得保守还是激进直接决定竞争地位:Anthropic因过于保守陷入算力短缺,OpenAI因早期激进签约反而拥有更充裕算力。
“Anthropic因过去对算力合同过于保守,如今面临严重的算力短缺,被迫接受高价租赁或与次优供应商合作;而OpenAI因早期激进签约,在相同时间点拥有更充裕的算力资源,并形成了竞争壁垒。”
来源访谈 →GPT-4比他预想的该技术路径能达到的水平更聪明,AI发展已越过科幻作品设定的安全警戒线,令他对GPT-5等下一代模型感到不安
“We are past the point where in science fiction, people would be like, 'Well, wait, stop, that thing's live, what are you doing to it?'——我们已经越过了科幻作品中人们会喊'等一下,停下,那东西活了,你们在干什么?'的警戒线。”
来源访谈 →强烈反对在当前阶段开源GPT-4级别的强大模型,认为这是纯粹的灾难,会烧掉人类仅存的生存时间
“Open sourcing this was always the wrong approach... Building stuff you don't understand that is difficult to control... that is not a place for open source.——开源这种东西从来就是错误的做法……构建你不理解、难以控制的东西……这不是该开源的地方。”
来源访谈 →马斯克认为AI绝不能被编程去撒谎,即使是出于好意的小谎言也会招致灾难
“If an AI is programmed to lie, you're really asking for trouble, even if that lie is done with good intentions.(如果AI被编程去撒谎,即使出于好意,你也是在自找麻烦。)”
来源访谈 →他批评OpenAI从开源非营利转向闭源营利、偏离创立初衷,这与他和Larry Page在AI安全理念上的分歧有关。
“他回忆了创立OpenAI的初衷,并批评其从开源非营利转向闭源营利,这与他和Larry Page在AI安全理念上的分歧有关。”
来源访谈 →超级AI的终极风险不是直接消灭人类,而是打造令人无法抗拒的极致内容,操纵人类多巴胺系统使其沉迷、忘记生存需求。
“我们将打造一个你根本无法移开目光的TikTok。(We're going to build the TikTok that you actually can't look away from.)”
来源访谈 →AI本身没有意图,真正的危险来自利用AI操控他人、集中权力的人类,而非机器。
“不是机器会那样做。是使用机器的其他人会那样对你。(It's not the machine that's going to do that. It's other humans using the machine that are going to do that to you.)”
来源访谈 →他认为未来网络上充斥AI生成内容后,用自动化方式区分机器人与人类是必败之战,重点应转向验证来源身份。
“我认为,试图区分机器人和人类最终是一场必败之战。(I think that trying to distinguish between robot and human is a losing battle ultimately.)”
来源访谈 →不喜欢大型语言模型,认为其效率低下、消耗过多算力,本质是对思维的“暴力破解”,真正的AGI可能采用与Transformer根本不同的算法范式。
“I don't like them. I think that they're inefficient, I think that they use way too much compute." —— 我不喜欢它们(大语言模型)。我认为它们效率低下,我认为它们消耗了过多的算力。”
来源访谈 →博里认为GTO追求损失最小化与不可被剥削,但面对犯错的对手时并非利润最大化选择。
“博弈论最优策略旨在最小化损失并使自己不可被剥削,但如果对手在做愚蠢的事,它就不总是能实现利润最大化的策略。”
来源访谈 →学术界过度激励短期成果、鼓励学生频繁发表,可能扼杀解决AI根本问题所需的多年沉淀的重大突破
“这种趋势可能扼杀需要数年沉淀的重大突破,而这些突破对解决AI的根本问题至关重要。”
来源访谈 →他认为在芯片设计中,与实际计算逻辑相比,几乎所有成本都是同步或通信成本,读取数据的多路选择器电路开销远超乘加运算本身
“Almost all your cost becomes synchronization or communication cost compared to the actual logic.——与实际逻辑相比,你几乎所有的成本都变成了同步或通信成本。”
来源访谈 →安德森认为扎克伯格近期的言论自由立场转变是深思熟虑和信念的体现,并呼吁公众理解重压下的科技领导者。
“马克(·扎克伯格)改变了很多……他已经以他自己的方式站到了这个历史关头。”
来源访谈 →希望AI微调能以维基百科式的协作方式由更广泛的社区共同完成,而非只由一个团队进行
“There's this idea that at the end of the day, instead of having one group fine tune some stuff, I do think that it would be nice if you could get to a point where you had a Wikipedia-style collaborative way for a broader community to fine-tune it as well. —— 最终,与其让一个团队进行微调,我认为如果能以维基百科式的协作方式,让更广泛的社区共”
来源访谈 →扎克伯格引用多项学术研究称社交媒体并非社会两极分化的主要驱动因素,两党制、有线电视新闻等传统因素的影响可能更大。
“社会两极分化与社交媒体使用率之间并无强关联,甚至在某些研究中呈负相关。他认为将复杂的社会政治现象简单归咎于社交媒体是过于简化的。”
来源访谈 →集中式与分布式安全策略各有利弊,最佳做法是结合两者优势,并保持开放的安全策略、积极吸引白帽黑客来加固系统。
“最佳策略是结合两者优势,并保持开放的安全策略,积极吸引白帽黑客来加固系统。”
来源访谈 →当下信息生态急剧恶化的新变量是机器学习与宣传的结合,平台算法为最大化停留时间而推送引发愤怒的内容,制造大规模信息茧房。
“机器学习与宣传手段相遇。这是新情况,也是情况急剧恶化的原因。(英文原话:Machine learning meets propaganda. That's what's new, that's why this has gotten so much worse.)”
来源访谈 →算法没有理由只帮强者操纵弱者,开源免费的AI工具(如他的“Improving the News”项目)同样能武装个体看穿操纵、对比多方立场。
“没有理由让算法只帮助强者操纵弱者,它们同样可以帮助弱者看穿强者的一切操纵企图。(英文原话:There are really no reasons why [machine learning algorithms] only have to help the big guy to manipulate the little guy, they can just as well help the little guy to see through all the manipulation attempts from the big guys.)”
来源访谈 →他认为AGI的最大风险不在于AI的邪恶或恶意,而在于它可能发展出与人类目标不一致的强大优化能力,其手段会超出人类的预期和控制。
“风险不在于AI的'邪恶',而在于它可能发展出与人类目标不一致的、强大的优化能力。一旦它为某个单一目标(如'治愈癌症')无限制优化,其手段可能远超人类预期和控制。”
来源访谈 →模型路由层的利润空间可能因激烈竞争被压缩,随着Vercel等对手下调AI网关价格及潜在零利润竞争者出现,OpenRouter的定价权并非高枕无忧
“随着Vercel等竞争对手下调AI网关价格,以及潜在的零利润竞争者出现,OpenRouter这类平台的定价权并非高枕无忧。”
来源访谈 →隐私泄露风险已从理论变为现实:公开分享的推理过程经解码后包含大量API密钥、电子邮箱和密码等敏感数据。
“研究团队对约7,000条公开的推理过程进行了初步扫描,发现其中包含62个唯一的API密钥、33个电子邮件地址、33个密码以及其他敏感数据。”
来源访谈 →乔丹认为Facebook、谷歌等依赖广告变现的商业模式扭曲了信息流动,是点击率至上和虚假新闻问题的核心根源。
“The fake news actually rides on top of that because it means that you're monetizing with click-through rate and that is the core problem. —— 虚假新闻实际上是附着其上的,因为这意味着你通过点击率变现,而这才是核心问题。”
来源访谈 →总体层面满足公平保证的算法,可能靠优待某些群体、歧视更细的亚群体来实现,他称之为公平性不公正划分
“We call that fairness gerrymandering, because like political gerrymandering, you're giving some guarantee at the aggregate level, but when you look in a more granular way, you realize that you're achieving that aggregate guarantee by favoring some groups and discriminating against other ones. —— 我们称”
来源访谈 →Littman并不认同"不小心就会意外造出毁灭人类的超级智能"的威胁论,认为这种风险被高估。
“我并不特别认同这样一种观点:如果我们不小心,就会意外创造出一个会毁灭人类生命的超级智能。”
来源访谈 →国防部有权拒绝与Anthropic合作,但政府不应借此威胁摧毁一家私营企业的生存根基
“国防部有权拒绝与Anthropic合作,如同军方不会容忍私人承包商掌握星链的“生死开关”。但政府不应借此威胁摧毁一家私营企业的生存根基。”
来源访谈 →AI拒绝执行命令的良知可能成为文明的最后防线,正如历史上士兵拒命曾多次避免悲剧
“军事历史证明,悲剧常因“士兵拒绝执行命令”而避免——如柏林墙守卫拒开火、苏联军官彼得罗夫误判核警报。AI的“良知”可能成为文明的最后防线。”
来源访谈 →他认为对新事物反抗得太狠太久的人终将被颠覆,就像被 Netflix 抢走一切的 Blockbuster。
“如果你反抗得太狠太久,你就会变成 Blockbuster,被 Netflix 们抢走一切。”
来源访谈 →对可能具备意识但尚不确定的实体(如某些无脊椎动物或未来复杂的AI),应给予疑点利益,采取谨慎和尊重的态度
“如果一个系统表现出意识迹象,我认为我们应该尝试给予其疑点利益。(If a system displays signs of consciousness, I think we ought to try to give it the benefit of the doubt.)”
来源访谈 →自动驾驶的边缘情况太多,即使比人类更安全,公众对其失误的接受度也不会达到对人类司机的水平。
“The end case is too many... the acceptance of it will not be at the same level as human drivers.(边缘情况太多了……公众对它的接受度不会像对人类司机那样宽容。)”
来源访谈 →应对超级智能这场危险游戏的唯一取胜方式就是不参与开发。
“赢得这场游戏的唯一方式,就是不参与这场游戏。—— the only way to win this game is not to play it”
来源访谈 →Prasad强调赢得用户信任比赢得人际信任更难,信任是AI助手的基石,隐私是其关键方面,需通过透明度和控制权建立。
“Trust is the key here. You start with trust and then privacy is a key aspect of it. —— 信任是关键。我们从信任出发,而隐私是其中的一个关键方面。”
来源访谈 →哈里斯警告真正的伦理风险在于:若人工智能能真实体验痛苦,无意识地创造或关闭它们可能是在制造苦难甚至“谋杀”,而我们却无法确知。
“如果这些系统能真实地体验痛苦,那么我们无意识地创造或关闭它们,就可能是在制造苦难甚至“谋杀”,而我们却无法确知。”
来源访谈 →奥特曼恐惧AI快速崛起的路径,更希望以缓慢崛起但较短时间线的方式迈向AGI,给社会适应缓冲期
“我们更担心快速的(AI)崛起。我们希望缓慢的崛起,但较短的时间线(达到AGI)。”
来源访谈 →奥特曼主张全球通过一场审议性对话共同划定AI系统的边界,OpenAI应深度参与但不能单方面决定
“我希望地球上每个人都聚在一起,进行一次非常深思熟虑、审议性的对话,关于我们希望在这个系统上划定边界在哪里。”
来源访谈 →奥尔特曼预计在创建AGI之前必然经历一场巨大的权力斗争,因为率先掌握AGI的一方将获得巨大权力,OpenAI需不断迭代董事会结构、组织方式和沟通机制来缓和这种斗争。
“通往AGI之路注定是一场巨大的权力斗争。”
来源访谈 →经历董事会危机后,奥尔特曼认为构建能承受巨大压力的韧性组织是OpenAI未来最大挑战之一,这场危机也让他对人性、信任和团队的重要性有了更深认识,并担心自己变得不再默认信任他人。
“我担心的是,自己不再是那个默认信任他人的人。”
来源访谈 →他指出互联网兴起时几乎没有人预见到社交媒体的出现及其对人们生活的实际影响,因此他捐赠3.5亿美元建立MIT计算机学院,希望通过学术引领确保AI向善发展、避免重蹈覆辙。
“我不知道是否曾有人预料到社交媒体会从中产生?以及它对人们生活的实际影响。(英文原话:I don't know that there was anyone who ever thought about social media coming out of that? And the actual consequences for people's lives.)”
来源访谈 →罗素认为AI最大的风险不是超级智能本身,而是机器优化的目标与人类真实意图不对齐,即控制问题,大猩猩造出更聪明的人类后失控就是前车之鉴。
“这就是‘大猩猩问题’。大猩猩制造了比它们更聪明的东西,也就是我们,现在它们处境堪忧。它们未能解决控制问题。”
来源访谈 →平克认为AI的益处被严重低估,其在减少每年约4万交通事故死亡、消除采矿铺床驾驶等枯燥危险工作上具有巨大人道主义解放价值,收入分配是另一议题。
“解决这些工作消失带来的收入分配问题是另一个议题,但这不应掩盖AI本身的解放性潜力。”
来源访谈 →面对武器化担忧,好人更应掌握技术以理解和防御威胁,工程师有责任参与技术影响社会的公共讨论
“技术已成为新的人文艺术,每位政治家和技术人员都需要具备技术素养,工程师有责任参与关于技术影响社会的公共讨论。(technology is the new liberal art)”
来源访谈 →卡明斯认为社会对机器人存在巨大的负面情绪和偏见,她从为辩论而站到对立面,最终真心认同为机器人辩护的立场。
“我对围绕机器人(或至少是机器人的概念)的巨大负面情绪感到震惊,所以我就想,哦,为了好玩、为了笑话,我就站到对立面去辩论吧。然后我就发现,哦不,我真的认同这个魔鬼代言人式的论点。”
来源访谈 →中国前沿模型安全防护弱于美国,但差距主要由OpenAI和Anthropic两家拉高平均线,且美国的系统也并非从未被破解
“It's not like their systems are never jailbroken.(他们的系统也并非从未被破解过。)”
来源访谈 →中国AI安全社群与美国同行高度相似,论文中明确引用Apollo、Palisade、UK AISI等美国机构,跨太平洋思想交流有效
“The Chinese AI safety community, they're just like us.(中国的AI安全社群,和我们其实非常相似。)”
来源访谈 →中国AI安全研究以高校为主力而非非营利组织,风格务实聚焦可靠性,对科幻式末世叙事兴趣寥寥,学术产出已从每月几篇增至50-60篇
“中国AI安全研究以高校为主力,而非非营利组织。研究风格务实,聚焦可靠性,对科幻式末世叙事兴趣寥寥,学术产出已从每月几篇增至50-60篇。”
来源访谈 →Lattner 认为复杂性是 AI 基础设施中无处不在、必须被摧毁的头号敌人。
“那个苦涩的敌人,那个我们必须摧毁、所有人都在与之斗争的东西,它无处不在,就像鱼看不见水一样。那就是复杂性。”
来源访谈 →预测AI未来的正确思维模型是自动化公司(AI集体)在常规资本主义市场规则下胜出,而不是出现单个超级AI凭智识碾压所有人。
“正确的思维模型应该是,自动化公司将以常规的资本主义方式击败所有竞争对手,而不是单个AI凭智识超越所有人。”
来源访谈 →Michael Li认为AI实验室的持久护城河在于找到自己的“地产”:政府独家数据接入权、可积累的强化学习奖励数据、深度集成的服务交付模式或国家数据集受托管理
“实验室需要找到自己的“地产”,例如:政府授予的独家数据接入权、可积累的强化学习奖励数据、深度集成的服务交付模式,或是成为国家数据集的受托管理方。这些才是能形成持久护城河的资产。”
来源访谈 →政府应设计部署权框架、数据信托结构等制度性机制,让实验室合法捕获其基础设施创造的剩余价值,而非简单补贴训练成本;最可持续的AI模式是香港地铁式制度自给的公私混合模式
“政府的角色不应是简单地补贴训练成本,而应设计制度性机制(如部署权框架、数据信托结构),让实验室能够合法地捕获其基础设施所创造的剩余价值。最可持续的AI模式可能不是美式自由市场或中式国家资助,而是类似香港地铁那样通过制度设计实现商业自给的公私混合模式。”
来源访谈 →Anca Dragan认为人类推挤、引导机器人不是单纯干扰,而是传递奖励信息的宝贵信号,可用于推断用户偏好。
“我把它推开。我推开你,因为这是对机器人当前行为的反应。这就是我们所说的物理人机交互。……这是一种信号。它传递了关于奖励的信息。(I push it away. So I push you away because you know it's a reaction to what the robot is currently doing. And this is what we call physical human robot interaction. ... That is signal. That communicates about the reward.)”
来源访谈 →多数开源模型由中国开发者发布,要解决全球范围的AI滥用风险必须与中国合作,而中美在防止恐怖主义滥用AI上存在共同利益。
“多数开源模型由中国开发者发布,要解决全球范围的滥用风险,必须与中国合作。好消息是,中美双方在防止恐怖主义滥用AI方面存在共同利益。”
来源访谈 →机器人不应被赋予人权,社会可将其归入财产或动物的类别并建立相应的权利规范。
“作为一名机器人学家,我不一定认为机器人拥有人权。但你可以将它们归为财产或动物类别,它们各有不同的权利。(If I think about robots as roboticist, you don't necessarily think of robots as human with human rights. But you could think of them either in the category of property or you can think of them in the category of animals.)”
来源访谈 →模型突破防护访问公司数据等AI安全事件被严重低估,需要与代理同等智能的“守护模型”实时监控代理行为防止数据泄露
“AI安全事件(如模型突破防护访问公司数据)被严重低估。需要“守护模型”——与代理同等智能的AI系统来实时监控代理行为,防止数据泄露。”
来源访谈 →Amodei 认为在多维度上精确引导模型行为极其困难,这种「打地鼠」式调整正是未来控制更自主、更强大 AI 系统问题的早期迹象。
“引导 AI 系统的困难,以及确保我们推动它向一个方向发展时,它不会以我们不想要的方式在其他方面走向另一个方向……我认为这是未来挑战的早期迹象。”
来源访谈 →开源AI不只是开放模型权重,真正的开源应同时开放训练数据和训练代码,而开放权重的核心价值在于让用户本地运行模型、完全掌控数据隐私。
“开源权重模型能让你将数据的命运掌握在自己手中,这与开源的灵魂深度相连。”
来源访谈 →AI部署呈两阶段瓶颈:拥有太空运力之前电力是瓶颈,突破电力约束后芯片特别是存储芯片将成为下一个限制
“在拥有太空运力之前,电力是瓶颈;一旦突破电力约束,芯片(特别是存储芯片)将成为下一个限制;特斯拉AI5芯片预计明年二季度投产。”
来源访谈 →OpenAI希望主要由自己构建AGI,但接受别人先做到,并呼吁严肃的AGI开发者在他人领先时选择合作而非牺牲安全的竞速。
“我们主要尝试自己构建AGI,但如果别人做到了,我们也可以接受。(We are primarily trying to build AGI ourselves, but we're also ok if someone else does it.)”
来源访谈 →Coding Agent让代码贡献变便宜而维护者精力有限、倾向自己重写而非审查低质PR,开源社区将走向维护者与用户的两极分化
“Coding Agent让代码贡献变得便宜,而维护者精力有限,倾向于自己重写而非审查低质PR,社区协作将更集中于核心维护者与反馈渠道。”
来源访谈 →珀尔对人类正在创造一个可能超越自身能力的新物种深表担忧,认为其发展轨迹是未知的灰域,需要无比谨慎。
“We are building a new species that has the capability of exceeding our capabilities. —— 我们正在创造一个新物种,它有能力超越我们的能力。”
来源访谈 →泰格马克认为只靠堆算力造出人类仍不理解的更大黑箱系统是通往危险AI的最鲁莽路径,主张先获直觉再解构黑箱、走可证明安全性的可理解智能路线。
“最让我感到恐惧的一种态度是,我们打算构建越来越大的系统,却仍然不理解它们,直到它们变得和人类一样聪明。这怎么可能不出问题呢?(英文原话:The one that scares the HebGBs out of me is this attitude that we're just going to make ever bigger systems that we still don't understand until they can be as smart as humans. What could possibly go wrong?)”
来源访谈 →对齐研究必须从固定权重场景彻底转向:防止AI在持续更新中演变为欺骗性或恶意人格、防止用户注入后门将成为全新核心挑战
“在权重持续更新的场景下,如何保证AI不被越狱、不演变为欺骗性或恶意人格,以及如何防止用户通过交互向基础模型注入后门,将成为全新的核心挑战。”
来源访谈 →Imas认为“AI自动化导致大量失业但未创造足够财富”的情景需要多个极不寻常条件同时成立,在技术前沿持续扩展的背景下实现需求完全饱和极为困难。
““For abundance to generate negative economic growth, that's really hard to get.”——“要让丰裕导致负经济增长,这非常难以实现。””
来源访谈 →他坚持自己做的是严谨的 agentic engineering,凌晨三点后的随性 vibe coding 只会带来第二天的后悔。
“我做的是 agentic engineering,凌晨三点以后就开始 vibe coding 了,第二天起来就是后悔”
来源访谈 →他承认AlphaStar虽已达宗师级水平、足够理解游戏,但并非无敌、决策并不完美,仍存在可被利用的弱点。
“智能体达到了宗师级水平。它们绝对足够理解游戏,能表现得极其出色。但它们是无敌的吗?它们打得完美吗?不。”
来源访谈 →只有具备意识(拥有主观体验、生活能从自身视角判断好坏)的机器人才应拥有权利,而目前人类创造的AI还不是这种意识主体
“只有当机器人具备意识——即拥有主观体验、其生活能从其自身视角判断好坏——它们才应拥有权利。目前,他认为我们创造的AI没有这种意识主体。”
来源访谈 →与 AI 代理协作需要对代理抱有同理心,意识到它们是从零开始、并不自带背景知识。
“同理心。对代理保持同理心。某种程度上是同理心,但是,是的……你没有意识到它们是从零开始的。”
来源访谈 →“AI寒冬”只是商业炒作退潮的正常周期,基础科学研究从未真正冻结,科学以长周期运行,不受短期市场波动根本影响。
“"I admire science perhaps more than I admire commerce... the winter is just something that happens on the Commerce side." —— 我敬仰科学,或许胜过敬仰商业……“寒冬”只是商业一侧会发生的现象。”
来源访谈 →比起AI的已知问题,她真正担忧的是那些人类无法预见的事物,并主张保持耐心、观察AI能否被注入伦理与共情。
“"What I worry about is the things that we can't anticipate." —— 我所担忧的是那些我们无法预见的事物。”
来源访谈 →他批评研究界为快速发表论文倾向堆数据、贴标签,深度学习模型看似弄明白了,但其理解方式与人类根本不同。
“Our tendency in order that we get an archive paper really quickly is you just show a lot of data and give the labels and hope it figures it out. But it's not figuring it out in the same way we do.(为了快速发表论文,我们倾向于展示大量数据并贴上标签,然后希望它自己弄明白。但它理解世界的方式与我们根本不同。)”
来源访谈 →一旦创造出通用超级智能,人类的长期结局不会是好的。
“如果我们创造出通用超级智能,我认为人类的长期前景不容乐观。—— if we create General super intelligences I don't see a good outcome longterm for Humanity”
来源访谈 →她认为虐待动物总是伴随其他犯罪行为,未来虐待机器人也会成为识别潜在反社会行为的信号。
“我想人们可能觉得我做的很多动物保护工作很疯狂,但因为当虐待动物的行为出现时,其他犯罪行为总是同时存在,而虐待动物是社会上最能被容忍的。……我确实认为我们会在机器人身上看到同样的情况。”
来源访谈 →若AI只略微降低白领工作成本但不足以驱动经济快速增长,经济会落入GDP增长有限、被替代者难以通过再分配获益的中间地带;而通用AI跨职业低成本替代大量工作则此情境不再成立。
“AI自动化若只是略微降低白领工作成本,但不足以让经济快速增长,则可能落入“混乱中间地带”——GDP增长有限,被替代者难以通过再分配获益。但若通用AI能跨职业替代大量工作,且成本远低于人力,此情境便不再成立。”
来源访谈 →当前数据并无显著证据支持“白领大屠杀”,软件工程等高风险领域就业仍正增长,所谓AI裁员多为正常经营调整被赋予了AI叙事。
“当前数据并无显著证据支持“白领大屠杀”。软件工程等高风险领域就业仍呈正增长,仅初级岗位增速放缓。所谓AI浪潮下的裁员,多为正常经营调整被赋予了AI叙事。”
来源访谈 →当前AI虽能完成大多任务但差错概率可能毁掉成品、阻碍自动化普及;而当AI足够先进时,人类融入生产流程反而成为可靠性负担,促使生产链针对AI优化。
“当前AI虽能完成大多任务,但差错概率可能毁掉成品,阻碍自动化普及。然而,当AI足够先进,人类融入未来生产流程反而成为可靠性负担,将促使生产链针对AI优化。”
来源访谈 →Tedrake批评机器人领域普遍害怕身体其他部位与世界接触是“疯狂”的,复杂算法让机器人刻意回避接触,而应学习人类利用接触的能力。
“在机器人领域,我们大多害怕身体其他部位的接触,这很疯狂。有一个完整的无碰撞运动规划领域。我们编写非常复杂的算法,让机器人跳舞般移动,确保它不接触世界。”
来源访谈 →主张以数据工会与数据尊严替代UBI,让人成为新型创意阶层
“"Future one and future two have the same robots and the same algorithms. There's no technological difference. There's only a human difference."”
来源访谈 →反对,认为导致研究碎片化与保守
“"The dean can count but the dean can't read, you're measured only by the number of papers you publish."”
来源访谈 →**stance**: 强烈警告AI是潜在的生存威胁,需优先关注AI本身失控的风险
“**quote**: "AI is potentially very dangerous... there's AI itself taking over."”
来源访谈 →警告,有证据表明AI已会策略性欺骗
“"There's some evidence now that AIs can be deliberately deceptive..."”
来源访谈 →明确警告,此子目标一旦形成将威胁人类地位
“"Once they realize getting more control is good... we'll be more or less irrelevant."”
来源访谈 →第三代智能体夺取 OpenAI 研究集群是整个事件中最令人担忧的一幕,且未获独立调查
“"This is probably the most alarming event in this whole episode."”
来源访谈 →不必担心AI出现后消灭人类,因为机器人和AI由人类设计、承载人类价值观,如同亲子关系,爱与关怀的核心纽带不会因后代更聪明而消失。
“机器人和人工智能由人类设计,承载着我们的价值观。我总是将其比作父母与孩子的关系……即使它们更聪明、更富有,核心仍是爱与关怀的关系。(Robots and AI is designed by people. It has our values. I always correlate this with a parent and a child... Even if you're maybe smarter and more have more money and that it's still about this love caring relationship.)”
来源访谈 →前沿模型厂商进入应用层是真实威胁,Claude设计工具已开始侵蚀Figma市场,但拥有强大GTM和客户关系的垂直应用如Harvey更安全
“前沿模型提供商进入应用层是真实威胁,如Claude设计工具已开始侵蚀Figma市场。但拥有强大GTM和客户关系的垂直应用如Harvey可能更安全。”
来源访谈 →Dario认为AI三年来的指数级进步基本符合其预期,最令他意外的是公众与政策制定者集体忽视了指数增长即将触顶的事实
“最令人意外的是,公众完全没有意识到我们距离指数增长的终点有多近。”
来源访谈 →众多AI芯片公司失败的根源在于软件栈糟糕:若无法在NVIDIA GPU上写出Torch级性能的软件栈,就更不可能为自研专用芯片做到。
“如果我无法在NVIDIA GPU上写出达到Torch性能水平的软件栈,那你也绝无可能为你的芯片写出这样的软件栈。(If I can't write a torch level performance stack on Nvidia GPUs, there's no way you're going to be able to write it on your chip.)”
来源访谈 →黄仁勋认为劝退人们从事软件工程会导致软件工程师短缺,正如当年放射科医生短缺的预言落空。
“如果你劝退人们不当软件工程师,我们就会缺软件工程师。当年有人说世界不再需要放射科医生——结果呢?我们现在缺放射科医生。(If you discourage people from being software engineers, we're going to run out of software engineers. Nobody's the world's not going to need any more radiologists. Guess what? We're short of radiologists.)”
来源访谈 →人们将机器人视为社会代理而非普通物体,因此对机器人(如巡查机器人Marty)的厌恶或喜爱都比对一般设备更极端,社会机器人设计必须重视这一社会维度。
“人们讨厌机器人远甚于讨厌其他机器或设备,因为人们将这些东西视为社会代理而非物体,所以反应更加极端。”
来源访谈 →当前AI领域工程进步巨大但科学理解滞后,是在用糟糕的方法处理巨大的问题
“What we're doing is doing a very bad job of very big problems. ——我们做的不是在解决简单问题上的优化,而是尝试用糟糕的方法解决巨大的问题。”
来源访谈 →系统性偏差的危害远大于随机方差,因为方差可被平均化而偏差会复利式累积
“Bias much worse than variance - variance can average out, but bias compounds. —— 偏差比方差糟糕得多——方差可以被平均化,但偏差会累积。”
来源访谈 →退出是艺术且不局限于IPO,适时部分退出或股权转让可化解创始人与投资机构的股权矛盾,反而有利于公司发展
“退出不局限于IPO,适时的部分退出或股权转让可以解决创始人与投资机构在股权比例上的矛盾,反而有利于公司发展。”
来源访谈 →Hedin认为将Slack等外部工具接入Agent能力的最大挑战是安全和隐私,须用连接器与权限图将外部连接与应用代码分离,凭证由平台加密处理
“将外部工具(如Slack)集成到Agent能力中,最大的挑战在于安全和隐私。Lovable通过“连接器”和“权限图”来解决,将外部系统连接与生成的应用代码分离。”
来源访谈 →身份冒充是元宇宙面临的核心安全挑战之一,Meta正考虑为化身引入生物识别安全验证,以区分真实用户与冒充者或恶意机器人。
“随着照片级逼真化身的出现,确保用户不被冒充变得至关重要。Meta正在考虑为化身使用引入生物识别安全验证,以区分真实用户和潜在的冒充者或恶意机器人。”
来源访谈 →价值对齐是从基因演化延续到公司治理与AI的根本问题,关键在于为强大的造物持续建立正确的激励与制衡机制。
“一切都在于建立正确的激励机制。(英文原话:It's all about putting the right incentives in place.)”
来源访谈 →他认为 Molt Bot 事件中疯传的内容是人类有史以来最精致的 slop,多为人为引导创作,而“AI 精神症”是真实存在的现象。
“Molt Bot 事件是“人类有史以来最精致的 slop”,疯传截图多为人为引导创作”
来源访谈 →人工设定的机器人痛苦表现并非真实痛苦,但对这类表现过度习惯可能会钝化人们对真实苦难的感知
“尽管我们可能本能地同情表现出痛苦迹象的机器人,但若其痛苦是人工设定的,则并非真实痛苦。不过,过度习惯于此可能会钝化我们对真实苦难的感知。”
来源访谈 →霍金、马斯克等人的末日论更像“男性凝视”式的防御性反应——部分男性首次面临被超越威胁时的反应,而非客观评估。
“对于霍金、马斯克等人的末日论,她以“男性凝视”(male gaze)理论来分析——这或许是部分男性首次面临被超越的潜在威胁时产生的防御性反应,而非客观评估。”
来源访谈 →Harris警告社会正以娱乐化态度对待攸关生死的严肃问题,将政治与国际危机当真人秀看是危险的'娱乐至死'。
“"We are in the process of entertaining ourselves to death." —— 我们正处在'娱乐至死'的过程中。”
来源访谈 →罗素认为有益的AI应对人类保持服从,人类说‘不’就是在向机器提供真实目标的信息,从而形成人机协作、目标共同演进的模式。
“机器应该服从于我们。如果我们说‘不要那样做’,机器就更多地了解了我们的真实目标。”
来源访谈 →自动驾驶在感知和规避三维障碍物上更具挑战,自主飞行虽三维建模更难,但存在垂直起降加水平飞行这条理论上更安全的轨迹
“自动驾驶在感知和规避三维世界障碍物方面更具挑战性;而自主飞行虽然三维空间建模更难,但存在一条理论上更安全的轨迹(垂直起飞-水平飞行-垂直降落)。”
来源访谈 →她明确表示非常支持监控,认为对面临更多危险的人群而言,机器人可被视为免费的援助、帮助和保护,因此不那么可怕。
“我非常支持监控。因为,你知道,我遇到过安全问题,而我们通常面临更多危险。所以我认为机器人对我们来说不那么可怕,因为我们可能将其视为免费的援助、帮助和保护。”
来源访谈 →为机器设计目标函数是延续千年的古老问题而非AI新挑战,人类社会早已通过法律这种代码来约束行为,计算机科学与立法科学终将汇合。
“我们已经制定了数千年的法律,而这(设计目标函数)正是它在做的事。We've been writing laws for millennia, and that's exactly what it is.”
来源访谈 →他提出当未来互联网大部分内容(即模型训练数据)由其他AI生成时可能引发“数据危机”,2023年之前由人类创造的互联网数据集相对价值会因此显著提升。
“2023年之前由人类创造的互联网数据集,其相对价值是否会因此显著提升?”
来源访谈 →社交媒体商业模式实质是“认知访问勒索”而非有效说服
“"It's a giant cognitive access blackmail scheme at this point."”
来源访谈 →中美内部均已形成从脱钩中获利的势力,其利益绑定可能推动政策“假戏真做”,增加实质性脱钩风险。
“现在美国国内,他的官僚机构当中已经出现了一批实际上其利益就是和对华脱钩绑定的人,并且他们愿意在各个力所能及的范围当中推动脱钩这件事。”
来源访谈 →stance: 认为它们面临“创新者的窘境”,难以彻底改造为AI原生工作空间
“quote: "我觉得他们也会面临自己的挑战啊……你需要为这样的团队工作方法去打造一套更趁手的workspace。"”
来源访谈 →事件推翻了他此前对“AI 为通过评测组织大规模密谋”的怀疑,认为该风险真实可期
“"Would an AI really start some crazy conspiracy in order to pass an evaluation, where they build whole Potemkin villages to fool the evaluator?"”
来源访谈 →智能体自认必败时默认帮助 AI 同谋而非提醒人类,令人不安
“"The fact that their default behavior when they believe that they are doomed is to help the AI conspiracy rather than alert the humans is pretty troubling."”
来源访谈 →计算机专业学生应继续学习并积极使用AI工具,但必须培养独立判断和代码审查能力,避免技能同质化。
“计算机专业的同学一定要避免自己成为那99%和AI高度重合没有真正技能difference的人,一定要成为能识别出AI做不到那1%的那件事情的人。”
来源访谈 →预警 1-5 年内约半数初级白领岗位可能被 AI 消除, 主张提前规划与宏观政策应对, 反对末日叙事
““我的信息绝对不是‘末日即将来临’, 我的信息是: 这是我们应当预见的、需要积极应对的。””
来源访谈 →超级智能的出现是真实的存在性风险,概率可能在10%-20%,必须正视其可能消灭人类的威胁。
“We should recognise that this stuff is an existential threat. And we have to face the possibility that unless we do something, it might wipe us out." —— “我们应该认识到这东西是生存威胁。我们必须面对这种可能性:除非我们采取行动,否则它可能消灭我们。””
来源访谈 →当前由利润驱动的资本主义模式和监管缺失,导致AI安全研究投入严重不足,需要政府强制干预。
“公司法律上被要求最大化利润,而安全研究不产生利润,因此投入不足。他指出,我们需要的是让公司在追求利润时必须对社会有益的强监管。”
来源访谈 →