山西股票配资因此可以从经验中学习

专题：2025 Inclusion·外滩大会

　　新浪科技讯 9月11日上午消息，今日外滩大会现场，2024年图灵奖得主、加拿大计算机科学家理查德萨顿表示现在我们正进入“经验时代”，我们需要一种新的数据源，它随着智能体的变强大而不断增长和完善，就像电脑游戏中的自我博弈一样。这类数据也可以不依赖自我博弈，而是由智能体以第一人称与世界互动直接生成，我称之为“经验”。这正是人类和其他动物的学习方式，也是 AlphaGo 创造第“37 步”的方式，也是 AlphaProof 近期在国际数学奥林匹克中获得了银牌的方式。他认为，智能体的关键在于，我们需要与智能体的智力水平和认知发展相匹配的数据，这正是可以从自身经验里得到的东西。

　　以下为理查德·萨顿分享全文

　　各位女士们、先生们，早上好！

　　很高兴在 2025 年外滩大会上发言，我的主题是人工智能。在接下来的发言中，我将围绕这个主题谈三个方面：我想谈谈科学发展趋势，政治影响，以及哲学意义。

　　我们处在“人类数据时代”。人工智能被训练来预测人类的语言和标签，并由人类专家不断微调。今天大多数机器学习的目的，是把人类已有的知识转移到一个静态、没有自主学习能力的 AI 上。但是，我们逐渐开始达到人类数据的极限，我们开始意识到，这种方法通常无法生成新的知识，它并不适合持续学习，它不能持续不断地学习，而持续学习对智能的效用至关重要。

　　播客主持人 Dwarkesh Patel 意识到了这一点。他在播客中说：“但根本问题在于，大语言模型并不会随时间推移而变得更聪明，这和人类不一样。这种缺乏持续学习能力的情况，是一个非常非常大的瓶颈。在很多任务上，大模型的基准表现可能优于人类的平均水平，但我们没办法给模型提供高层次的反馈，只能接受它本身自带的能力，只能不断折腾调整提示词，但在实践中，这根本达不到人类那种学习和进步的程度。人类真正的优势，并不在于单纯的智力极限，而在于他们能够不断积累上下文，反思失败，并在实践中一点点改进、提升效率。”

　　关于“智能”的根本科学争议是，它究竟是大量知识的积累，还是快速学习的能力。当然，智能只是一个词，我们可以按自己的意愿使用它，但我们应该清楚它历来是如何被使用的。我们看看传统的智力测量方法，也就是“智商”，或者 IQ，它等于你掌握的知识量除以你所积累的经验。所以，在我看来这个定义正是在衡量学习的速度，学习速度，是常识所理解的“智力”的关键。

　　现在我们正进入“经验时代”，我们需要一种新的数据源，它随着智能体的变强大而不断增长和完善，就像电脑游戏中的自我博弈一样。这类数据也可以不依赖自我博弈，而是由智能体以第一人称与世界互动直接生成，我称之为“经验”。这正是人类和其他动物的学习方式，也是 AlphaGo 创造第“37 步”的方式，也是 AlphaProof 近期在国际数学奥林匹克中获得了银牌的方式。

　　观察婴儿与各种玩具玩耍的视频，我们会看到他所获取的数据，取决于他自己的一举一动。孩子和这个玩具玩一段时间，然后转向下一件玩具，所以他获得的数据由他的行为决定。关键在于，我们需要与智能体的智力水平和认知发展相匹配的数据，这正是可以从自身经验里得到的东西。

　　关于经验思维模式，是智能体与世界交换信号，这些信号构成了它的“经验”。我这里说的“经验”，并不是含糊的概念，而是指这三项很具体的要素：观察、行动和奖励。这三种信号在智能体与世界之间来回传递，这就是我定义的“经验”，这是生命的数据。所以我很笃定认为，知识来自于经验，因此可以从经验中学习。一个智能体的智能程度，取决于它能预测并控制自身输入信号的程度，特别是奖励信号。经验是一切智能的核心与基础，这就是基于经验的思维方式。强化学习领域正是基于这种思维方式。

　　总而言之，在人工智能未来的科学趋势上，未来如果能创造出超级智能体和由超级智能增强的人类，将为世界带来纯粹的福祉。完全智能的智能体必须从经验中学习，这超出了大型语言模型的范畴，令人惊叹且实用，将作为世界知识的可定制接口。我们已经使用强化学习进入了新的经验时代，但要释放经验的全部潜力，还需要我们现在还不具备的持续学习和元学习技术。

　　现在，我想对人工智能的政治影响谈一点看法。首先要指出的是，今天人工智能已经成为高度政治化的议题。人工智能是国家地缘政治竞争的焦点，公众也感到恐惧。除地缘政治之外，公众担心人工智能会带来偏见、失业甚至导致人类灭绝，一些国家正在陆续立法，限制人工智能模型的能力，更有人呼吁暂停人工智能研究，将其与核武器和生物武器相提并论。总而言之，对人工智能的规制、管控和对齐的呼声此起彼伏，这就是现实：人工智能已经被高度政治化。

　　我的观点是，这种对人工智能的恐惧被夸大了，并且是被某些从中获利的组织和个人煽动起来的。但实际上，这些问题在人类几千年来一直在应对的挑战并无不同。让我们提出一个问题，在一个由智能体构成的社会里，类似人类社会，在一个人工智能社会，“目标是唯一的，还是多元的？”在强化学习中，我认为这是明确的，每个智能体都有自己的目标，也有自己的奖励。同样，在自然界中，每只动物都有它自己的痛苦和快乐。回看我们的经济，只有当每个人有不同的目标和能力，经济才能运行得最好，经济并不真正依赖于人们拥有共同目标，尽管我们常把这类说法挂在嘴边。只要我们审视现实世界、经济和社会，我们可以说智能体也能够共存，不同的智能体可以和平共处，即便它们的目标不同，我们并不需要所有人都对齐同一个目标。

　　为了进一步展开，我需要多说明几句。我们需要定义两个词：“去中心化”的定义是每个智能体追求自己的目标，这正是我们经济体系的运行方式。协作，就是目标不同的智能体，通过互动实现双赢。我认为，协作就是我们的伟大超能力，人类最卓越的超能力就在于我们比其他任何动物都更擅长协作。协作之所以能实现，在于语言和货币，这两样都是人类独有的。人类最伟大的成功在于协作本身：经济、市场与政府。人类的重大失败正是协作失败：战争、偷窃与腐败。“去中心化协作”是“共同目标”的替代方案，在我看来，“去中心化协作”更优雅，它更可持续、更强韧、更灵活，适应性更强，它并不需要控制人们的目标。

　　正如我所说，人类比其他任何动物都擅长协作，但我们仍然做得远远不够。我们仍然有战争、盗窃，我们仍然有腐败、欺诈。协作之路依然很艰难，协作并非总能达成，至少需要两个代理人互相信任。一旦协作缺失，总有人能从中获利：军火商、独裁者、骗子、盗贼。因此，协作必须依靠制度：既要促进协作，还要惩治骗子、欺诈者和勒索者。中心化的机构能帮助协作实现，他们可以惩罚盗贼和作弊者，但如果中心化机构走向僵化，长远来看也会阻碍协作。

　　放眼当下，有很多呼声希望对人工智能进行中心化控制：对齐 AI 的目标，暂停甚至终止 AI 研究，限制可投入的算力，限制 AI 行业的竞争程度，或借此确保 AI 的安全。这些主张如出一辙，根源都是恐惧，说到底，这都是基于“我们对他们”的思维，认为他人不可信任，妖魔化对方。所以我认为这不过是人类的一种天然倾向，我们必须清醒地认识到，这种倾向也在向 AI 领域蔓延。

　　因此，关于人工智能的政治议题，我的核心结论是：人工智能和人类繁荣都来自于去中心化协作。协作并非总能实现，却是世间一切美好的事物的源泉，我们必须寻求协作、支持协作，并致力将协作制度化。此外，只要我们用自己的眼睛观察，就能轻易看出谁在鼓吹不信任，谁在呼吁非协作和中心化控制，我们都应该努力抵制这些呼声。这是一个有用的视角，来审视所有关于人类与 AI 互动的呼吁。

　　最后，我想谈谈人工智能与哲学。我认为，人工智能是人类最古老的追求之一，它并不是陌生的外来技术，而是与人类的本性高度相似。数千年来，哲学家和普通人都在努力理解自己，一直对内在的运作机制充满好奇：我们的心智是如何运作的？又该如何让它运作得更好？这不是自恋，而是一场宏大的求索。智能是宇宙中最伟大的力量之一，如果能理解它，人类就会变得更强大、更有能力。理解智能，是科学与人文学科共同追寻的圣杯，它是一个伟大而荣耀的奖赏。

　　然而，我们依然心怀恐惧和忧虑。那么，让我们暂且搁置“想要或不想要什么”的担忧，让我们尽量以最现实的方式来去预测、去展望。所以，我提出四条原则，来现实地预测对人工智能的未来：第一，对世界应该如何运转，全球并没有统一的意见，没有哪一种看法能够凌驾于所有其他观点之上。第二，总有一天，人类将真正理解智能，并借助技术将其创造出来，我们一定能做到。第三，这个过程不会止步于当今人类的智能水平，很快，它将会被远远超越，无论是超级人工智能，还是增强的人类，都将远远超越这一水平，但无论如何，当前人类现有的智能将被大幅超越。第四条原则：随着时间的推移，权力和资源必然会流向最聪明的智能体。所以，这必然把我们带到这样一个结论：在人类的发展进程中，人工智能的替代是不可避免的。

　　但这本身仍是一种自我中心，以人类为中心的视角。如果从宇宙的视角来看，这一切又是怎样的呢？我倾向把宇宙历史划分为四个时代：粒子时代、恒星时代，接下来进入我们通常称为“生命时代”，但我更愿意称为“复制者时代”，因为在今天看来，生命几乎就是一台机器，一台生物机器。在第四个时代，机器与设计时代，这些被设计出来的机器正越来越像生命，所以，我更愿意称它为“复制者时代”，因为如今的生物系统，本质上就是能够自我复制、不断繁衍自身的体系。

　　我们正走向这样一个时代：周围越来越多的事物，都是由人类设计的。所谓“设计”，指的是它们最初仅存在于某个设计者的头脑中，可能是人，也可能是一台机器，然后才被创造出来。环顾你所在的房间，几乎所有东西都是设计的产物：建筑是设计出来的，椅子是设计出来的，屏幕是设计出来的，唯一没有经过设计的，当然是人类，我们是复制的产物。经过设计的事物越来越多，正在占据主导地位。

　　现在我们可以直接进入一个问题：我们的角色是什么？人类是什么？人类在宇宙中的角色是什么？我们能否冷静，并且不傲慢地回答这个问题？我们都感到人类是特别的，并不只是另一种复制品，那么究竟特殊在哪里？我认为人类的独特之处在于：作为复制者，我们将设计提升到了前所未有的高度。将设计推向极致意味着什么？推向极限，能走多远？我觉得答案其实很明确，至少在可预见的将来，把设计推向极致，就是创造出能自己进行设计的事物。这正是我们今天通过人工智能所追求的目标。

　　所以，我将这一点作为我对“人类是什么”的答案：人类至少是催化剂，是助产士，更是开启宇宙第四大时代，“设计时代”的先驱。

　　这就是我今天分享的三点：在科技趋势上，2020 年代的 AI，也就是人类数据时代，有卓越的表现，但我相信，我们正在进入一个全新的 “经验时代”，潜力将远超以往，因为它可以通过经验不断学习新知识。关于人工智能的政治议题，我认为，人工智能的政治议题，是人类的映射。最后，在哲学层面，我认为，人工智能是宇宙演化的必然下一步，我们应以勇气、自豪和冒险精神来迎接它。