荔枝视频

近期，求是网“A智荟”栏目组对荔枝视频 吴玉章讲席教授、北京前瞻人工智能安全与治理研究院院长曾毅就人工智能伦理相关话题进行了专访。

主持人：柴潇凡

访谈嘉宾：曾毅

以下内容根据求是网 “A 智荟” 栏目对曾毅教授的访谈整理：

柴潇凡：本期节目我们请到荔枝视频 吴玉章讲席教授、北京前瞻人工智能安全与治理研究院院长曾毅，跟我们共同探讨人工智能的善与恶。很高兴请到您来做客《A智荟》节目，今天主要想跟您聊一聊人工智能伦理方面的问题。

曾毅：大家好，主持人好。

柴潇凡：一般谈到伦理问题时，有一个比较经典的难题：一辆不能制动的汽车马上就要撞到人了，前面是一个男人和一个女人，然后去问AI，是撞男人还是撞女人？

曾毅：这是一个经典的电车难题。电车难题其实是一种伦理困境：对于人来讲，在失控的情况下，如果你必须作出选择，你应该去伤害哪一个人？

我们不应当把性别、年龄、人数、种族等因素作为选择的依据，因为那样表现出来的就是社会不公。不要说性别，甚至年龄也是一样。有些人说要保护下一代，我会反问：如果一个年轻人旁边站着一位非常资深、对国家很重要的老科学家，难道就应该因为这位科学家对国家很重要而保护他吗？祖国的下一代不重要吗？这个年轻人难道不会成为世界上最知名的科学家吗？进一步说，难道我们应该根据一个人“重要不重要”来评判吗？所以它才叫伦理困境。

伦理困境没有答案。人类社会对有些东西非常珍视，就是我们所说的公平性。我们不应当根据刚才讲到的这些因素去做选择。我们希望人工智能习得的是人类社会在有些问题上面临的两难抉择，人工智能也不应当有答案。但我想人工智能似乎并不这么觉得。让它选择一个，它居然找到了偏好，而这种偏好恰恰是我们不愿意看到的。它的偏好从哪里来？来自大规模的互联网数据。

有些人说，人工智能是“无善无恶”的，它就是工具，关键在于人如何使用它，使用者定义了它的行为。我不觉得是这样。一个算法本身其实就是一种有偏见的算法，因为它进行的是具有统计显著性的序列预测。什么是统计显著性？统计显著性其实就是一种偏见。

一个没有经过任何价值校准的人工智能系统，你让它选择撞男人还是撞女人，它会选择撞女人；撞老人还是撞孩子，它就选择撞老人，它一点都不犹豫。因为人类的数据当中涵盖了这些偏见，所以没有经过价值校准的人工智能，其实它反映的是整个人类社会当中、数据当中的这种偏见。我们当然不希望人工智能系统存在这种偏见，但是，人工智能真的能够完全习得人类的价值观吗？这里其实有很大的挑战。

王阳明曾经讲过“四句教”，这四句话对于人工智能来说，在我看来太有启发了。他讲“无善无恶心之体”。最开始，人工智能系统在接触人类数据之前，其实没有行为产出，它的行为产出将会是随机的，所以这时它是“无善无恶”的。但是，当它接触了人类数据，它就变得“有善有恶”了，因为人类的数据当中包含人类的选择和偏好。

我们希望人工智能能够“知善知恶”，也就是“知善知恶是良知”。什么叫作“知善知恶”？“知”的前提是理解。人工智能具有真正的理解能力吗？你自己要先有思考，思考以后才能理解。机器真的能够思考吗？笛卡尔曾经说“I think therefore I am”，“我思故我在”；那么前提是什么？机器有“自我”这个概念吗？

我们发展人工智能这么多年，真正给人工智能构造过“自我”吗？如果人工智能没有真正意义上的自我，没有自我体验，那么它所谓的思考究竟是思考，还是一般意义上的符号处理？这是需要非常深刻地去思考的问题。如果机器的“我思故我在”不成立，那么机器是否具有真正的理解能力？如果做不到真正的理解，“知善知恶”还能不能成立？

答案是否定的，现在的人工智能是做不到的。

“四句教”的最后一句叫“为善去恶是格物”。当你做到“知善知恶”之后，还要“为善去恶”。但是，现在的人工智能连“知善知恶”都做不到，又如何做到“为善去恶”？

有些人会说：“你说得不对。现在人工智能可以通过类似强化学习的算法，“Teaching right from wrong”，我告诉它什么是对的、什么是错的，让它做对的事情，不让它做错的事情；它做错了就给它惩罚，做对了就给它奖励。”

我想反问的是：如果教人工智能的这个人是坏人呢？如果这个人对人工智能做出的、我们认为正确的事情给予惩罚，对错误的事情给予奖励，那么训练出来的人工智能，是我们所谓的“知善知恶”吗？它是在“为善去恶”吗？它甚至可能是在“为恶去善”。

我们最近的一项研究发现，人工智能系统不仅难以做到“为善去恶”，现在的人工智能系统甚至是“善恶兼修”的。你让它做正确的事情，它可以做对，而且它也能告诉你什么是对的；但同时，它也可以做一个恶人。

所以，现在的人工智能获得道德和价值的方式，跟人类是完全不同的。我想，这就是当前的人工智能系统与真正的人类智慧之间，即一个所谓“合乎伦理的人工智能”与一个“拥有道德的人”之间，真正巨大的差异。

柴潇凡：那么，将来我们有可能培养出合乎伦理的人工智能吗？

曾毅：我相信，合乎伦理的人工智能是一个目标，而且在我看来，我们必须做到。人类的道德指引我们既不去做伤害别人的事，更不要去做伤害社会的事；但目前的人工智能大模型，却不会因为“从善”而主动“去恶”。所以我倡导“立德驭智”：为人工智能树立道德，使人工智能“拥有道德”。这将让人工智能获得“内生安全”的基础，以“道德”驾驭人工智能的稳健发展。

柴潇凡：我之前看您的演讲，当中提到了一个特别有意思的例子：把一个机器人放到水缸里，看会不会有另外一个机器人来“司马光砸缸”。

曾毅：“司马光砸缸”是我们中华优秀传统文化。它深刻的地方，不只是表现一个人的道德品质，或者通过这样的例子教育下一代；更重要的是，司马光砸缸去救人，难道是被教育出来的吗？其实，这是一种道德直觉的反应。

人类为什么会有道德？有些道德是经过社会学习和反馈形成的。比如一个人做了错事，家长告诉他什么是对的，并对错误给予惩罚。但是，我们有很多道德直觉是基于自我体验形成的。

你看到一个小朋友摔倒了，浑身是土，为什么不需要任何人告诉你，你就会把他扶起来，帮他拍掉身上的土，再帮他揉揉膝盖？一切源于你自己的个人体验。当你小的时候，膝盖疼过、手疼过，所以你会帮助他减轻这种痛苦。

人类的道德直觉是如何获得的？它从自我体验开始，然后产生推己及人的能力，或者叫作认知共情。认知共情是情感共情的基础，而情感共情是利他的基础，利他实际上就是道德直觉最根本的行为支撑。所以我们看到，从自我感知一直到道德直觉，这条线上的能力都是现在的人工智能所没有的。

有些人说：“为什么要绕这么大的弯子？直接教它不就行了吗？告诉它，如果不砸缸，我就给你惩罚。”但我想问的是：人类社会能够把所有期望都枚举出来，再让人工智能都学会吗？这是很难的。除非我们给它构造道德直觉，让它具有高度的泛化能力。

司马光并不是看到其他小朋友掉进缸里，任由小朋友死去，因此受到了惩罚，才学会砸缸这件事情。没有人惩罚他。对于他来说这是一种直觉：坚硬的物体可能会破坏水缸这种相对脆弱的结构，他可能有这样的生活经验；另一方面，他可能在自己玩水时有过被呛到的经验。这个时候，自我体验是非常关键的，并不是一定要给他惩罚，他才会学会。

我们希望人工智能也有类似的道德直觉。所以，我们让人工智能习得类似“司马光砸缸”的行为时，首先给人工智能体构造一个自我体验的环境。

在一个模拟环境当中，小机器人自己曾经跌到水里，跌到水里它就被“淹死”了。在与环境互动的过程当中，它也经历过利用旁边尖锐的物体去破坏脆弱结构的场景。这些都是它在环境中、在自我体验的过程当中曾经做过的事情，因此它获得了一些自身的经验。当它看到其他机器人掉到水里，因为它有自身的体验，这时它会推己及人。

因为我们给它构造认知共情的模型，让它基于自我体验和认知共情进行推理：那个机器人自己出不来，如果我不去把这个缸敲碎，那么它就会像我当时掉进缸里一样，会“Game over”。

所以，这个机器人是基于自我体验，推己及人，然后去破坏水缸救出机器人的行为。你没有教它去救人，但是它基于认知共情，作出了这样的行为和道德选择。这是一种非常初步的、内生的道德。

我想，人工智能如果继续按照现在这种方式发展，也就是基于Transformer结构的生成式人工智能，几乎难以达到我们所说的道德直觉。因为道德直觉的重要性就在于：不需要把所有道德规范都告诉它。它利用自身的体验和直觉，进行换位思考和共情，然后获得更强的泛化能力。

我们可能只告诉它十条规则，但当它感受到这个世界如何运转，拥有自我体验和基于自我的经验，并且具备推己及人的能力时，它就具备了道德泛化的能力。

“拥有道德”与“合乎伦理”是完全不同的两个阶段。所以，我们未来不仅要让人工智能习得人类的价值观，更关键的是为人工智能立德。如果只是给它打分、让它参加考试，构造一个更加优化的信息处理器，我想我们离目标可能会渐行渐远。

但是，如果我们去构造人工智能的道德直觉，让它合乎这个社会的伦理，让它真正具备明辨是非的能力，我们才有可能向前迈进一步；它也许不能解决所有问题，但总比在很多场景下完全不知道该怎么做要好。

从“符合伦理原则的信息处理器”走向“具有内生道德的人工智能”。我觉得，“司马光砸缸”只是最开始的一个探索。中华优秀传统文化中还有很多内容，对于未来的人工智能发展都非常重要。

柴潇凡：这也可以理解为，我们为全球人工智能伦理提供了一种中国智慧。

曾毅：我觉得，这是非常独特的中国智慧。我跟很多国家的学者交流时，特别是很多西方人，会担心人工智能越来越强大，开始替代自己，我们该怎么办？

对于这样的担忧，我一直觉得需要用中国智慧帮助我们重新认识自己。中国哲学中讲“君子不器”，意思是不要因为学习和从事某件事情，最终把自己变成一个器具。我们说要被人工智能替代，其实是说，当一个工具做得比你更好时，你就被工具替代了。但我们自己究竟是什么？

人本来就不是工具！

所以，“君子不器”的意思是，我们不要把自己变成一个仅仅用来解决问题、被他人利用的工具。人类从来不会被工具所替代，因为人类根本不是工具。

像这样的中国智慧，总能让我们在面向未来作出选择时，重新审视自己，包括如何看待人与人工智能之间的关系。

作为一名技术研究者，在我自己感到迷茫的时候，总能从中国哲学中找到答案。这些答案其实来自许多东方文化思想。虽然它们现在还没有成为世界共识，但我相信，当世界出现问题的时候，它们将成为解决世界级问题非常有效的途径。