约书亚·本吉奥
立场时间线 8 条 · 8 个议题
同一议题按时间排列，说法变化一目了然。
当前循环神经网络在数百个时间步后性能显著下降，而人脑能对跨越任意长时间的事件做信用分配，这得益于大脑高效且有针对性的遗忘机制以及意识与情感对信息存取的作用。
“当前的循环神经网络在处理数百个时间步后性能会显著下降，而人类能够对跨越任意长时间的事件进行信用分配。”
来源访谈 →生物神经网络仍存在大量未知，理解这些奥秘可能正是改进人工神经网络的关键所在。
“关于生物神经网络，我们有太多未知，这既神秘又迷人，因为这或许是改进我们人工神经网络的关键所在。”
来源访谈 →在海量数据上训练的神经网络只获得了非常基础、底层的理解，既不鲁棒也远不及人类理解的抽象性与通用性，因此训练方式需要根本性变革，更关注因果解释而非仅仅关联数据。
“在海量数据上训练的神经网络仅获得了非常基础、底层的理解，远不及人类理解的抽象性与通用性。”
来源访谈 →语言学习与语言所指世界的视觉学习目前是割裂的，应将二者结合、相互促进，让语言输入指导神经网络学习更高层的语义概念，从而建立良好的世界模型。
“我认为我们需要更好地将语言学习与语言所指的世界学习结合起来，让二者能够相互促进。”
来源访谈 →突破深度学习根本局限的关键在于设计新的训练目标与框架，让智能体从被动观察数据转向主动干预和探索以学习因果，而非单纯把网络层数从百层增加到万层。
“我认为关键在于训练目标和训练框架...要从被动观察数据转变为通过干预世界来学习的主动智能体。”
来源访谈 →解耦不应止于让表征空间中的因果变量彼此独立，还要把关联这些变量的规则或机制也解耦开来，从而赋予模型更强的组合泛化能力、避免灾难性遗忘并适应分布变化。
“不仅要让表征空间中的因果变量彼此独立，更要将关联这些变量的“规则”或“机制”也解耦开来。”
来源访谈 →AI安全讨论应聚焦短期与中期切实存在的社会危害，如安全、就业市场、权力集中和歧视，而不是基于超级智能失控这类科幻想象。
“比起遥远且不太可能发生的“超级智能失控”威胁，当前更应关注AI在安全、就业市场、权力集中和歧视等方面带来的切实风险。”
来源访谈 →科学的每一步进展都源于大量人群的协作与社群互动，而非某个天才在隐蔽之处的独立完成。
“科学并非发生在某个隐藏之处、由某个天才独立完成...科学的每一步进展都源于大量人群的协作与社群互动。”
来源访谈 →金句墙 5 条
“There's so much we don't know about biological neural networks and that's very mysterious and captivating because maybe it holds the key to improving our artificial neural networks.”
关于生物神经网络，我们有太多未知，这既神秘又迷人，因为这或许是改进我们人工神经网络的关键所在。
AI与人脑信用分配的根本差异 · 2018/10/20“I think we need to do a better job of jointly learning about language and about the world to which it refers so that both sides can help each other.”
我认为我们需要更好地将语言学习与语言所指的世界学习结合起来，让二者能够相互促进。
AI与人脑信用分配的根本差异 · 2018/10/20“I think the crucial thing is more the training objectives, the training frameworks... instead of passive observation of data to more active agents which learn by intervening in the world.”
我认为关键在于训练目标和训练框架...要从被动观察数据转变为通过干预世界来学习的主动智能体。
AI与人脑信用分配的根本差异 · 2018/10/20“Science is not happening in some hidden place by some really smart guy... science moves by small steps thanks to the collaboration and community of a large number of people.”
科学并非发生在某个隐藏之处、由某个天才独立完成...科学的每一步进展都源于大量人群的协作与社群互动。
AI与人脑信用分配的根本差异 · 2018/10/20“Listen to your inner voice... if you have a strong intuition about something that is not contradicted by actual evidence, go for it.”
倾听你内心的声音...如果你对某事有强烈的直觉且未被实际证据所反驳，那就坚持去做。
AI与人脑信用分配的根本差异 · 2018/10/20