傅莹：清华大学战略与安全研究中心主任、中国外交部前副部长

约翰·艾伦（John Allen）：布鲁金斯学会会长、美国退役四星上将

清华大学战略与安全研究中心在“人工智能国际治理”框架下，于2019年6月启动了一项与美国布鲁金斯学会进行联合研究的项目，研究中心主任傅莹和美国布鲁金斯学会会长约翰·艾伦（John Allen）为项目总牵头人。围绕课题人工智能技术在安全领域的挑战和治理问题，两国专家进行了一系列二轨（非官方）对话和研讨，在讨论的基础上分别就各项议题撰写了论文。据此，傅莹和约翰·艾伦在美国Noema杂志分别发表文章，公布联合研究成果，介绍双方专家的讨论和主要观点，旨在提高国际社会和两国各界对人工智能武器化风险的认知和警惕，并提出治理建议。

以下为傅莹文章正文：

近年来，人工智能技术的快速发展带来了巨大机遇，但是技术革命也往往伴随不可预知的安全挑战，尤其需要关注人工智能技术武器化的道德和技术风险问题。许多国家的专家和学者呼吁禁止发展可以自主识别并击杀人类目标的智能武器，更不应该容许它们执掌人类生死。然而，全面禁止人工智能武器很难达成全球共识，即便能开启相关讨论和谈判也将旷日持久。

从目前的趋势看，人工智能武器化是不可避免的。更可行的做法可能是要求人工智能赋能武器的发展符合现有国际法规范。为此，各国需要就如何进行风险防范寻求共识，共同努力构建治理机制。在与美方进行二轨讨论时，我们的焦点在于如何设定人工智能赋能武器的攻击“禁区”，如何依据国际法律和规范开展对人工智能武器的监管，以及如何鼓励采取克制态度以限制对人工智能数据的军事化滥用。

人工智能的军事安全挑战

人工智能赋能武器系统存在诸多潜在挑战。一是人工智能内在的技术缺陷使得攻击者难以限制打击的损害范围，容易使得被打击方承受过大连带伤害，从而导致冲突升级。人工智能赋能武器不仅应该在实施打击时区分军事目标和民用目标，还需要防止和避免对民用目标造成过分的附带或间接损害。然而，现有人工智能技术条件在能否保证武力使用过程中完全满足上述条件方面，是存在不确定性的。

二是当前以机器学习带动的人工智能技术发展需要大量数据，不能完全避免基于大数据训练的算法和训练数据集将偏见带入真实应用系统，因此，不能排除人工智能给决策者提供错误建议的可能性。进而，当训练数据集受到其他国家的污染，致使系统提供错误侦查信息时，也有可能让军事决策者做出错误判断和相应的军事部署。

三是人机协同的挑战是人工智能军事化的终极难题。机器学习和大数据处理机制存在局限。无论是行为主义的强化学习、联结主义的深度学习，还是符号主义的专家系统都不能如实准确地反映人类的认知能力，比如直觉、情感、责任、价值等。人工智能的军事运用是人—机—环境的综合协同过程，而机器在可解释性、学习性、常识性等方面的不足，将放大发生战场冲突的风险，甚至刺激国际危机的螺旋上升。

人工智能安全治理路径探讨

对话双方一致认为，各国需要采取军事克制态度，避免人工智能武器化给人类来带来重大损害。各国应该禁止没有责任和风险意识的辅助决策系统。在使用人工智能赋能的武器时，需要限制其打击的损害范围，防止造成连带伤害，避免冲突升级。此外，军事克制的内容还应该反映在公共教育当中。由于人工智能技术具有易于扩散的特点，它有可能流入某些黑客手里，进而将人工智能技术用于有害公共安全的行为中。

人工智能赋能武器的使用如何与国际法的基本原则保持一致，是安全治理研究中的重点所在。《联合国宪章》规定，除非得到联合国安理会的授权，否则成员国不得使用武力，或者是出于自卫的目的才能使用武力。因此，国家出于自卫目的而使用武力时，所使用武力的强度和规模须与受到的攻击或者受到的威胁的严重性相称。在讨论中，中方专家特别提出，各国须承担法律责任，主动推动和实现在涉及人工智能的军事行动中国际规范的建构。同时需要确定人类参与的阈值，以保证智能武力的使用不会造成过度伤害。因为人工智能赋能的武器平台很难评判什么是必要的、合适的、平衡的攻击，所以人类指挥官的主观能动性应当得到尊重。

此外，人工智能数据的安全必须得到保证。应该对数据挖掘和采集的过程、数据标注和分类、数据使用和监管进行规范和限制。智能武器训练数据的收集过程和手段应当遵守国际法律，收集的数据数量应达到一定规模。需要确保数据标注和分类的质量和准确性，避免形成错误模型和导致决策者做出错误判断。在数据使用过程中，需要关注使用目标和数据的污染问题。有中方学者建议给智能武器的自主化程度分级。例如，分为半自主化、部分自主化、有条件自主化、高度自主化和完全自主化五级。对自主化程度进行分级，有利于更好地确认和保障人类的作用，从而切实有效地实现对人工智能及自主武器系统的管理和控制。

中美人工智能全球治理合作

现阶段是构建人工智能国际安全规范的关键窗口期。目前中美两国是在人工智能技术研究和应用发展最快的国家，两国需要在这个领域加强协调与合作。其他国家也表示出对人工智能应用的安全担忧，说明人工智能治理是人类共同的难题，不是一国两国能够解决的。中美开展对话与合作至关重要，将能够为全球人工智能治理合作贡献智慧。因此，中美两国应就推动构建国际层面的规范和制度进行正式讨论，在各自利益关切的基础上探索合作领域，互换和翻译相关文件，以政策沟通和学术交流的方式降低两国在这一领域影响双边关系和国际安全的潜在风险。

近年来，中国积极释放合作信号，2020年11月21日，习近平主席在二十国集团领导人第十五次峰会上强调，中方支持围绕人工智能加强对话，倡议适时召开专题会议，推动落实二十国集团人工智能原则，引领全球人工智能健康发展。2020年9月8日，国务委员兼外长王毅提出《全球数据安全倡议》，包括有效应对数据安全风险挑战应遵循的三项原则，表示希望国际社会在普遍参与的基础上就人工智能安全问题达成国际协议，支持并通过双边或多边协议形式确认倡议中的有关承诺。中国在发展人工智能技术的同时，也高度重视和积极推进相关国内治理建设。2018年中国发布《人工智能标准化白皮书》列出了四条伦理原则，包括人类利益原则、责任原则、透明度原则、权责一致原则。

中国已经准备好与美国和其他国家地区在人工智能治理方面开展合作。我们相信，人工智能不应成为一场“零和游戏”，技术突破最终应使得全人类受益。

以下为约翰·艾伦文章正文：

美中亟需在人工智能和国家安全领域降低风险

近年来，美国和中国均各自在国家安全领域中应用人工智能技术，并取得了长足进展。这些进展是在美中关系恶化的同时发生的。双边整体关系的滑坡已经导致两国在一系列问题的沟通中断。两国都对彼此开发新型人工智能军事系统和应用的努力保持着警惕关注，并试图评估对方进展所可能带来的影响——这使得本已存在的安全困境进一步加剧。

在此背景下，我牵头一个由美国人工智能和国家安全专家组成的小组，与中国清华大学傅莹女士率领的同侪进行了一系列二轨 (非官方) 对话。在博古睿研究院和明德路基金会的支持和紧密合作下,我们开展了具有两个明确宗旨的对话：1）针对新型人工智能军事系统和应用可能构成的风险，确立双方共同关注的领域，以及2)探索限制此类风险的措施。下面，我将从美国代表团的角度简要总结对话的进展和要点，并在最后就未来的发展方向提出几点看法。

目的与形式

从一开始，双方就一致认为，对话的主要价值是加深对彼此如何看待开发、部署人工智能军事系统和应用的理解。鉴于两国政府之间在人工智能和国家安全问题上没有任何持续、直接的对话，双方还试图利用相关研讨，试探对方的想法，并尝试绘制一条未来美中两国在选择解决人工智能相关问题时可以采取的路径，作为管控双边关系风险的更广泛努力的组成部分。明确地说，对话的目的既非寻求最小公分母以达成某种协议，也非试图说服一方接受另一方的政策。相反，对话的重点是更好地了解双方如何就人工智能系统的开发和使用达成决策，并在可能的情况下，确定双方就人工智能在国家安全中的应用所可能达成共识的领域——包括共同规范、指导方针或非正式谅解。

为了保持最大限度的坦诚空间，双方同意在对话期间就讨论的性质和由此产生的结果保密。虽然双方同意在每一轮对话前后分别与各自政府协商，但双方均未暗示或声称他们在对话中代表政府的官方立场。每位与会者在讨论中都仅代表自己的个人观点。通过严格遵守这种非正式的闭门形式，随着时间的推移，双方团队均得以更加自如地直接询问对方在涉及国家安全的敏感问题中所采取做法的假设和逻辑。

这一系列对话包括三次会议，每次为期一天。第一次会议于2019年10月23日在北京举行，第二次于2020年2月14日在德国慕尼黑举行。由于新冠肺炎造成的旅行限制，第三次会议于10月26日至10月27日通过远程方式举行。双方还在每轮对话期间就研讨结构本身以及前几轮提出的具体问题保持着持续沟通。

在第二次和第三次会议之前，双方还提前交换了讨论文件，并各自负责文件翻译。讨论文件围绕以下主题和问题展开:

(1)目标禁区。人工智能武器系统是否需要新的规范或限制来约束它们对特定目标的使用?是否应该有“无人工智能区域”，或对人工智能的使用进行地理限制?

(2)相称性，以及有意义的人类监督的作用。不同军事情境下人工智能武器平台的相称性与人类监督之间的关系是什么?各国应如何将相称性原则应用于人工智能平台，并让人类参与监督，以避免意外军事升级?

(3)数据禁区。是否应该针对用于训练人工智能武器系统的数据类型进行限制？如果是的话，应在何处设置限制?与此相关的是，各国是否应该达成协议或谅解，以预防投毒攻击?（投毒攻击是指对手为欺骗人工智能系统，通过故意破坏机器学习系统所使用的训练数据，使其将民用目标判定为军事目标，或者相反。）

(4)国际规范建设。美中两国应在与人工智能军事系统和应用相关的国际规范建设和降低风险的努力中发挥怎样的作用?

基于以上四个主要议题所提供的框架，美国代表团寻求就一系列实际问题展开更进一步的了解，其中包括:

· 美国和中国如何最有效地防止由人工智能系统引发的无意冲突升级?

· 是否有可能就核指挥和控制决策中的人类监督达成共识?

· 双方如何确保使用人工智能武器系统的行为符合国际人道法，包括武装冲突法?

· 双方如何界定人工智能系统中的人类参与，例如，什么被视为人类参与，什么不属于人类参与?

· 双方在制定人工智能在国家安全中应用的指导原则时采用了哪些流程?

· 是否有可能就部署新型人工智能武器系统的地理限制达成共识?

在上述许多问题上，美方团队对中方考量的理解比对话开始时更为深入。最重要的是，在当前人工智能系统的技术局限性，以及这些局限性对完全自主武器系统构成的挑战和风险这一领域，美方团队对中国专家的认知程度有了更进一步的认识。鉴于每个参会者皆是以个人身份表达自己的观点，北京的高层决策者是否具有同等水平的清醒认知还有待观察。

要点总结

在对话过程中，出现了几个双方一致关注或存在共识的领域。例如，双方团队均清楚地意识到人工智能在以下领域的挑战和风险:

· 人工智能的技术局限性。美中两国专家都认识到了现代人工智能应用的技术局限性，特别是基于机器学习的应用。与之前基于规则的人工智能系统(其行为和故障模式已被人们很好地理解)不同，基于机器学习的现代人工智能系统的行为和故障模式往往出人意料或难以理解。因此，双方还强调，需要对机器学习系统进行更深入的研究，使其能够“解释”其行为和决策，以及/或者开展针对系统部署之前的测试、评估、检验和验证机制的研究。

· 升级风险。美中两国专家都表达了对人工智能系统运行的速度可能导致冲突迅速升级的担忧，并承认开发更成熟的风险抑制和降级渠道的重要性。

· 扩散风险。美中两国专家均表达了对人工智能武器系统日益扩散的担忧，以及非国家行为体利用此类系统的可能性。双方还认为，考虑到美中是该类系统的主要生产国，反人工智能武器扩散将是进一步开展对话和研讨的潜在领域。

· 人道主义的风险。美中两国专家都表达了对人工智能武器造成平民伤亡的潜在风险的担忧，尤其是在该类武器错误地与目标交战，或被恶意行为者利用的情况下。

此外，美中两国团队还认识到以下几点的重要性:

· 国际人道法原则。美中两国专家都明确指出，使用人工智能武器系统应符合现有的习惯法和国际法的原则，特别是区分原则和相称性原则。

· 人类监督和控制。美中两国专家都确认，人工智能武器系统应该在适当的人类监督或控制下运行，特别是考虑到这些系统的技术限制。双方团队还重申，原则上应当保持人类参与。

· 建立规范的演习和对话。美中两国专家均表示，双方就人工智能带来的风险和挑战，以及如何最有效地应对这些挑战保持进一步对话均持开放态度。

以上共识应被视为反映了美中两国与会专家的意见，而不一定代表其各自政府的立场。然而，希望这些这些讨论能在未来帮助两国政府官员找到一些成熟的领域，就管理人工智能和国家安全风险所可能采取的实际步骤展开接触。此次对话的经验表明，美中两国国家安全技术专家对人工智能带来的风险和挑战的共识大于分歧。对话还表明，双方愿意并有机会就如何最好地管理这些风险进行进一步讨论。

结论

近年来，美中关系日益紧张。随着围绕贸易、安全和人权的地缘政治紧张局势加剧，美中之间的战略竞争明显加剧——特别是涉及到人工智能等新兴技术领域。如果华盛顿和北京不能就如何最好地管理这种竞争和相关风险进行持续、坦诚的外交对话，围绕“人工智能军备竞赛”的说法将变得更加根深蒂固，给本已处于高度竞争态势的安全关系增添压力。

然而，失控的军备竞赛并非不可避免。在人工智能领域，美国和中国不必再回到“边缘政策”上。边缘政策曾导致美国和苏联在冷战高峰时期建立了规模日益庞大，甚至可能造成灾难性后果的核武器储备。鉴于我们在对话中确定的共同关切，有可能通过在政府层面和非官方论坛中针对人工智能所构成的国家安全风险展开进一步探讨，以阐明并降低这些风险发生的可能性。

作为人工智能的主要制造者，美国和中国目前拥有难得的机会。与有关网络安全的辩论不同，人工智能仍处于发展阶段，在国家安全应用和冲突中尚未充分发挥其潜力。网络安全辩论是在全球网络基础设施建成和使用之后才真正开始的。而事实上，大多数人工智能军事系统仍相对不成熟，且尚未被广泛部署。在许多新型人工智能军事系统仍在开发的同时，人们对潜在风险的认识也在不断增强。因此，目前正是围绕新技术的用途制定新规范、建立信任措施和界限的独特历史机遇。一旦这些技术被部署并纳入军事计划和体系，呼吁限制其在国家安全领域的应用将变得更为困难。的确，在新的规范和协议达成之前，人工智能在军事系统和应用中的嵌入程度越深，削减其新功能的意愿就越低，尤其是考虑到开发此类系统的高昂成本。

美中两国的政府和专家团体应当把握好当下的机遇，围绕降低国家安全风险的实际步骤达成共识。他们越是将这种讨论推迟到未来——当安全困境可能迫使双方加速开发新技术，以抵消另一方的进步时，开展有意义讨论的机遇窗口就越有可能关闭。

傅莹文章全文于2020年12月24日首发于人民论坛