欧盟委员会的人工智能高级专家组于 2018 年 12 月发布了《可信人工智能伦理指南草案》，该指南提出了一个可信人工智能框架，强调伦理的规范性和技术的健壮性，并提出总计 10 项可信人工智能的要求和 12 项技术、非技术性用于实现可信人工智能的方法，同时设计出一套评估清单，便于企业和监管方进行对照。当前我国也在全力发展AI产业，长远来看，技术的安全性及合乎人类社会伦理规范至关重要，因此此次欧盟发布的指南草案对我国制定相关准则有一定的借鉴意义。同时，对于力图进入欧盟市场的国内AI企业而言，应重视欧盟的相关监督管理要求，并为此做好准备。
AI HLEG 认为在过去十年中，因数据的大量涌现、强大的计算架构以及机器学习等 AI 技术的发展，人类社会实现了诸多进步。同时，应用 AI 技术也带来一些风险，应当妥善应对。
开发和利用 AI 时，在坚持收益最大化、风险最低的原则同时，还要贯彻以人为本的观念，而且要以提升人类福祉为目标。
欧盟《可信 AI 的伦理指南草案》为可信 AI设定了一个框架，由两个部分构成:(1)伦理规范:应该尊重的人类基本权利、适用的法规、核心的原则和价值观;(2)技术应当是强壮和可靠的。该草案大致上可以分为三个章节(见图 1):第一章通过阐述应遵循的基本权利、原则和价值观，确定了 AI 的伦理目标;第二章为实现可信 AI 提供指导，列举可信 AI 的要求，并概述可用于其实施的技术和非技术方法，同时兼顾伦理准则和技术健壮性;第三章提供了可信 AI的评测清单。与其他论及伦理 AI 的宣言相比，欧盟指南并非另起炉灶，为 AI 应用制定另一份核心价值观和原则清单，而是希望为 AI 系统的具体实施和运作提供切实指导。
欧盟委员会在 2018 年 4 月提出“先进 AI欧洲造”的愿景，注重 AI 技术的安全性并符合伦理，并为实现这个愿景提出三大支点:(1)增加对 AI 的公共和私人投资以促进其发展;(2)为社会经济变革准备好;(3)通过伦理和法律框架来强化欧盟的价值观。伦理框架即为第三个支点的组成部分。
AI HLEG 认为，实现 AI 的伦理之道，要以欧盟宪法和人权中对人类的基本权利承诺作为基石，确认抽象的伦理准则，并在 AI 背景下将伦理、价值观具体化，形成 AI 的伦理准则，这个准则必须尊重人类基本权利、原则、价值观和尊严。
在设定伦理准则后，AI HLEG 列出了一定要遵守的五项原则和相关价值观，确保以人为本的 AI 发展模式。并建议设置一名内部和外部(伦理)专家，参与 AI 的设计、开发和部署过程，防止 AI 可能带来的未知或非预期的后果。这五项原则是:
AI 系统应该用于改善个人和集体福祉。AI系统通过创造繁荣、实现价值、达到财富的最大化以及可持续发展来为人类谋求福祉。因此，向善的 AI 系统能通过寻求实现公平、包容、和平的社会，帮助提升公民的心理自决，平等分享经济、社会和政治机会，来促进福祉。AI作为一种工具，可为世界带来收益并帮助应对世界上最大的挑战。
AI 系统不应该伤害人类。从设计开始，AI系统应该保护人类在社会和工作中的尊严、诚信、自由、隐私和安全。AI 系统的设计不应该增加现有的危害或给个人带来新的危害。AI 的危害主要源于对个体数据的处理(即如何收集、储存、使用数据等)所带来的歧视、操纵或负面分析，以及 AI 系统意识形态化和开发时的算法决定论。为增强 AI 系统的实用性，要考虑包容性和多样性。环境友好型 AI 也是“无害”原则的一部分，应避免对环境和动物造成危害。
AI 发展中的人类自治意味着人类不从属于AI 系统也不应受到 AI 系统的胁迫。人类与 AI系统互动时必须保持充分有效的自我决定权。如果一个人是 AI 系统的消费者或用户，则需要有权决定是否受制于直接或间接的 AI 决策，有权了解与 AI 系统直接或间接的交互过程，并有权选择退出。
公正原则是指在 AI 系统的开发、使用和管理过程中要确保公平。开发人员和实施者需要确保不让特定个人或少数群体遭受偏见、侮辱和歧视。此外，AI 产生的积极和消极因素应该均匀分布，避免将弱势人口置于更为不利的地位。公正还意味着 AI 系统必须在发生危害时为用户提供有效补救，或者在数据不再符合个人或集体偏好时，提供有效的补救措施。最后，公正原则还要求开发或实施 AI 的人遵守高标准的追责制。
透明性是能让公众建立并维持对 AI 系统和开发人员信任的关键。在伦理层面，包含技术和商业模式这两类透明性，技术透明指对于不同理解力和专业知识水平的人而言，AI 系统都可审计和可理解;商业模式透明指人们可以获知 AI 系统开发者和技术实施者的意图。
AI HLEG 同时也认为，特定用途或应用的AI 可能会带来问题，因为它们可能会与上述的权利和五项原则相冲突。而且 AI 的两用特性使其既可能增强也可能削弱欧洲的价值观。因此，就有必要平衡 AI 应该做什么、可以做什么及不用或不能做什么这类问题。当然，人们对规则和原则的理解会随着时间的推移而变化，因此问题具有阶段性的特点。
AI 可让公共或私人实体更有效地识别出特定个人。为了维护欧洲公民的自主权，需要在AI 中合理使用监控技术。实现可信 AI 应当兼顾区别个体识别与追踪和跟踪个人之间的差异，以及有针对性地监视和普遍监视之间的差异，这点可以参照“一般数据保护条例”(GDPR)第 6 条(该条规定，只有具备有效的法律依据，数据处理才合法)。
人们应当知道其交互对象是人还是机器，AI 开发和部署人员有责任并且需要可靠地实现这一点。否则，有能力控制 AI 的人就能够操纵人类。因此 AI 开发和部署人员应确保人们可了解或通过请求并验证他们正在与 AI 进行交互。人与机器之间的边界模糊会带来如依附、影响或降低生而为人所应具有人生价值之类的恶果，同理发展人形机器人更应经过仔细的伦理评估。
3.3 偏离人类基本权利、未经同意的带有普遍性针对公民进行标准化评价问题
欧盟注重公民的自由和自治，大规模地规范性公民评价(如“道德人格”或“伦理完整性”等)可能危及这些价值观，尤其是使用时背离人类基本权利，或使用不合适、目标不明确或者传导偏差的情况下，更是如此。当在有限的社会领域施行公民评价时，人们应该获知完全透明的程序，并知晓有关评分的过程、目的和方法的信息，还可选择退出评分机制。因此，开发和部署人员应在技术设计中确保设置退出选项，并提供必要的支持。
LAWS 可在没有人为控制的情况下运行，但最终人类必须对所有伤亡负责。目前，众多国家和行业正在研究和开发致命自主武器系统，包括能够自主选择攻击的导弹、具有认知能力的自主杀人机器等，这都带来了基本的伦理问题。
当前所有的 AI 均是针对特定领域的，需精确指定目标。但随着技术的发展，可能会有所不同，如机器意识的发展带来机器觉醒、或者出现实现自我改善的通用 AI(AGI)等。虽然有些问题目前看来似乎还很遥远，但需要及早关注并投入资源，尽量减少对长期风险、未知数和“黑天鹅”认识的不确定性。
报告构建了关于如何实施和实现可信 AI 的相对完整的指南，并提出了实现可信 AI 的十项基本要求，以及实现这些要求的方法。
(1)在早期的设计阶段就融入可信 AI 的十项要求:可追责性、数据治理、普惠性设计、AI 自主性的管控、非歧视、尊重和强化人类自治、隐私保护、健壮性、安全性和透明性。
(3)清楚而积极地向利益相关方(客户、雇员等)说明 AI 的能与不能，协助设定合理预期，同时确保 AI 系统的可回溯性。
(5)确保利益相关各方参与 AI 系统的设计和开发过程，保证团队的多样性。
(6)促成 AI 的可审计性和可解释性。在设计系统时，就保证可追踪个人的决策、数据、预训练模型。
(8)加强培训和教育，确保管理者、研发者、用户和雇员都认识到可信 AI 的重要性，并且接受可信 AI 相关的教育培训。
(9)各项要求之间是有结构性冲突的，如开放会带来滥用、纠正偏见又与隐私保护冲突，应加强沟通并仔细权衡。
可信 AI 是将一般性和抽象性的伦理准则融入到 AI 系统和具体应用中。AI HLEG 共提出十项要求，并按字母顺序排列，这 10 项要求均同等重要。针对不同的应用领域和行业，应根据特定环境进行评估。
良好的 AI 管控应当包括可追责机制，根据目标不同选择而十分多样，如金钱补偿(无过失险)、缺陷调查、无赔偿的和解等。可追责机制的选择依据是活动的性质、重要性及自主性等级等。如系统误读医疗报告并错误地决定不予报销，就能够最终靠赔偿来解决。但在 AI 歧视案例中，解释和道歉是必备的。
训练所使用数据集的质量对于 AI 系统至关重要，数据的隐私保护与满足要求达成高质量的 AI 并不完全冲突。但数据收集过程中将不可避免地包含偏见，因此应在训练前进行删减。
此外，必须确保仔细进行训练数据的分类，并验证和测试，还要将匿名化的数据划分为多个子集，保证某些数据(例如来自同一人的图谱数据)不会同时进入训练和测试环节。
系统的设计应面向所有公民提供产品或服务，无论其年龄、残疾状况或社会地位如何。特别重要的是，要考虑残障人士对 AI 产品和服务的使用。AI 应用程序不宜采用一刀切的方法，而应以用户为中心，并考虑人类的各种能力、技能和要求。普惠性设计意味着任何人在任何地方、任何时间都可以获得和使用技术，并确保将其纳入任何场景，从而使所有人能够平等获取和积极参与现有和新兴的以计算机为媒介的人类活动(这一要求参照了《联合国残疾人权利公约》)。
确保诸如安全性、准确性、适应性、隐私性、可解释性、遵守法治和符合伦理等属性的正确方法，在很大程度上取决于 AI 系统的具体细节、应用领域和对个人、社区或社会的影响程度，以及其自主性水平。AI 系统的自主程度取决于具体应用案例和应用场景所需的复杂程度。在所有其他条件相同的情况下，要给予 AI 系统更大程度的自主性，就需要更广泛的测试和更严格的管控。根据 AI 系统的应用领域和对个人、社区或社会的影响程度的不同，需要实施不同水平的管控。要实现 AI 自主性的良好管控，应根据 AI 对社会影响的程度，进行更多、更早的人为干预。
AI 歧视会出现在不同个人或群体中，可能是有意也可能是无意的，主要基于特征差异而产生不同的结果，这将对此类特定个人或群体将产生负面影响。使用 AI 出现的直接或间接歧视，可导致对特定群体的偏见和边缘化。控制算法的人可能会故意获得不公平、歧视或偏见的结果，将某类群体排除在外。如，故意伤害可以通过明确操纵数据以排除某些群体来实现。伤害也可能来自于消费者偏见或不公平竞争，例如通过共谋或不透明市场手段造成价格同质化。
AI 系统的设计不仅要维护权利、价值观和原则，还应保护公民的多样性，使其免受 AI 技术所带来的政府和私人侵权行为的影响，确保公平分配 AI 技术带来的益处，保护和加强多个不同的人类价值观，增强个人用户和社区的自决、自主。
AI 产品和服务，可能通过极端个性化途径，通过潜在地操纵诱导引导个人选择。同时，人们越来越愿意和期望将决策和行动委托给机器(如推荐系统、搜索引擎、导航系统、虚拟教练和个人辅助)。用于帮助用户的系统，必须为用户提供明确的支持以鼓励他 / 她自己的偏好，并设置限制防止系统干预，确保用户的福祉由其自己定义，这是系统功能设计的核心。
隐私和数据保护必须在 AI 系统生命周期的各个阶段得到保证。这包括用户提供的所有数据，以及在与 AI 系统交互过程中生成的关于用户的所有信息。人类行为的数字记录可以显示高度敏感的数据，不仅包括其偏好，也包括其性取向、年龄、性别、宗教和政治观点。持有这些信息的人可能会利用其信息优势达到特定目的。组织必须注意数据是如何使用并影响用户的，确保完全遵循 GDPR 和其他有关隐私和数据保护的可用法规。
可信 AI 要求算法安全、可靠且足够稳健，以便在 AI 系统的设计、开发、执行、部署和使用阶段处理错误，并且能够应对错误输出。健壮性一般体现在以下四个方面:
可靠性和可重现:可信 AI 要求结果的准确性可以通过独立评估来确认和重现。可重现性对于保证结果在不同情况、计算框架和输入数据中保持一致至关重要。缺乏可重现性可导致AI 决策中的非故意歧视。
精确性:精确性与 AI 将信息分类到正确类别的能力有关，以及能够根据数据或模型做出正确的预测、建议或决策。明确且完善的开发和评估流程可以支持、缓解和纠正意外风险。
弹性:与其他软件系统一样，AI 系统也可能包含漏洞，导致其被攻击者利用。如果 AI 系统受到攻击，数据和系统的行为将被改变，导致系统作出不同的决策，或导致系统完全关闭。系统或数据也可能因恶意或暴露于意外情况而被破坏。管理不善有可能导致数据被有意或无意地篡改，或允许将算法授权给未经授权的实体，也可能导致歧视、错误决定甚至物理伤害。
应急预案:安全的 AI 系统应具备安全措施，可以在 AI 系统出现问题时启动应急计划。在某些情况下，这可能意味着 AI 系统由统计模式切换到基于规则的程序，在其他情况下，这意味着系统在继续运行之前可能需要人类操作员的介入。
安全性是指确保系统确实完成其应该做的事，而没有伤害到用户、资源或环境，包括使意外结果和系统行动错误最小化。应制定确认和评估与使用 AI 产品和服务相关的潜在风险的流程。此外，需要正式的机制来衡量和指导 AI系统的适应性。
透明性是指减少信息不对称。可解释性作为透明性的一种形式，需要能够描述、监督和重现 AI 系统做出决策和学习、适应环境的机制，以及系统使用和创立的数据的来源和动态变化。对于使用人类数据、影响人类或可能产生其他道德上重大影响的所有模型，应明确公开有关的数据来源、开发过程和利益相关者的选择和决策。
为使 AI 系统满足上述十项要求，AI HLEG提出了实现可信 AI 的主要途径，并指出可在开发流程的各个层次(分析、设计、研发和使用)采用 5 个技术性方法和 7 个非技术性方法，同时该流程也是动态和持续循环的，如图 2 所示。
这些方法可以融入到 AI 系统的设计、开发和使用阶段，一般需要定期跟踪和持续评估。
确保将价值观融入设计阶段，是指以可用和符合法律规则或社会规范的方法，精准、明晰地链接 AI 系统应遵循的抽象原则和特定的实施决策。其核心是将对法律和伦理价值观的遵守，至少在某种程度上，融入到 AI 系统本身的设计之中。这也要求企业有责任在最初就预估出 AI 系统的伦理影响，以及该系统应当遵守的伦理规则和法律规则。
可信 AI 的要求应当被“转换”为过程或过程限制，这是可信 AI 架构的构成要素。可通过建立规则来控制智能代理的行为，或者通过设立行为边界对其采取监控。一个能够积极学习和适应其行为的智能系统，可被理解成一个随机系统，通常用“感知 - 计划 - 行动”循环进行描述。为使此架构符合可信 AI，伦理目标和要求应当被融入到“感知”层，从而可以形成遵守这些准则的计划。
为了验证一致性和数据的既定处理流程，应当仔细监测模型的稳定性、健壮性、运行结果的易理解性和可预测性。应当明确计划过程的输出结果与输入相一致，确保所采取的决策经验是合理的。系统的测试和验证应当尽早，并且持续迭代，确保在整个生命周期特别是在部署之后，系统能以既定的行为方式运作。重要的是，测试应当不仅限于数据，还应包括系统的所有输入，以及整个系统的行为。测试还应当尽可能由多样化的人群执行。最后，对抗性测试和赏金计划也是可以考虑的。
为应对透明性和可解释性的挑战，AI 系统应当记录其所作的决策和产生决策的整个流程，使决策可追溯。可追溯有助于可审计，可以推动实现监控和验证算法、数据和设计流程。在某种程度上，AI 的可审计性在目前是可以达到的目标，并且随着时间推移将得到不断提升。
为建立一个可信系统，有必要了解为什么该系统出现给定的行为、为什么该系统提供给定的解释，也有必要限制对抗性情境。截至目前，这些对于基于神经网络的 AI 系统仍然是开放式的挑战。在整个研究领域中，可解释的 AI(XAI)正试图解决这一问题，以便更好地理解背后的机制，并找到解决方案。这个问题至关重要，不仅要向研发人员或用户解释 AI 的行为，还要简单地部署可靠的 AI 系统。
虽然如今已有较多规范性文件可提高 AI的可信度，如安全立法或可信赖框架，但 AIHLEG 认为需要更新、适应或引进新的规则，这会在未来的第二版中进行增补。可信 AI 需要一个明确可追责的机制，当伤害发生时，确保合适的补救措施可用。这个机制包括当 AI 造成伤害时的赔偿规则，以及是否故意及是否有错的认定机制，后续的和解、纠错、道歉等。
使用商定的设计、制造和商业标准可以作为 AI 的质量管理系统，为消费者、参与者和政府提供通过购买决策识别和奖励道德行为的能力。在公约标准之外，公共规范也同样可行，如认证体系、职业道德手册、符合基本权利的标准等。这类例子包括 ISO 标准、公平交易标准、或“欧洲制造”标签等。
组织应当设定内部或外部的管理框架，确保可追责性。如:任命某人或内外部伦理委员会来负责 AI 相关的伦理问题，由该负责人或委员会对此类问题进行监督，并提供建议。
组织和利益相关方可以通过签署指南、调整其公司章程中的责任、KPI、行为守则等来实现可信 AI。
可信 AI 要求所有利益相关方具有知情参与权。这就要求教育发挥重要作用，既要确保 AI潜在影响的知识普及，又要让人们意识到他们可以参与塑造社会发展。教育的对象包括系统制造商(设计者、开发者)、用户(公司、个人)以及其他有关团体。教育公众的先决条件是确保伦理学家拥有该领域的适当技能和培训。
AI 带来的益处非常广泛，如更好的医疗、更安全的交通等，欧洲需要确保全体欧洲人能均享 AI 红利。这就需要设立开放式的讨论，让社会群体、利益相关方和普通公众等共同参与。许多组织已经依赖利益相关者委员会来讨论 AI的使用和数据分析。这些委员会包括不同的专家和利益相关者，包括法律专家、技术专家、伦理学家、客户和员工代表等。
多样性和包容性是 AI 的基本特性。由于 AI执行的任务种类繁多，因此设计、开发、测试和维护 AI 系统的团队，也应当反映用户、社会的总体多样性，这有助于提高系统客观性，兼顾不同视角、需求和目标。团队不仅应当在性别、文化、年龄方面是多样的，而且其职业背景和技能也应当是多元的。
指南为了更便于执行，还根据十项要求拟定了评估清单，以提醒负责人在评估时应考虑的事项。鉴于 AI 具有场景特定性，需要针对特定情况采取相适应的方法，因此清单适用性因实际用例不同而不一样，可根据需要进行调整。评估过程是动态且循环迭代的过程，可用于 AI 流程中每个步骤的评估:从数据收集、初始设计阶段，到 AI 系统的开发、训练或运行，以及实际的部署和使用。
例如，关于“可追责性”要求的评估事项，包括:现有技能和知识是否能用于责任分担、是否成立 AI 伦理审查委员会、灰色地带的讨论机制、是否成立内部或外部专家小组等。
欧盟的可信 AI 框架，强调自发的伦理约束，更关注对“人”的尊重和普遍参与，追求共同的福祉，并且便于理解和执行。这个框架的基础是伦理规范，即守护人类的基本权利、遵循道德准则和维护人类社会价值观，同时强调 AI技术自身应具备健壮性和可靠性。该指南还提出可信 AI 的 10 项要求，以及技术性及非技术性共计 12 种实践途径和方法，还根据每类要求设计出评估清单，便于产业参与各方评估可信 AI 应用的达标情况，具有较强的操作性和适用性。
我国高度重视 AI 与其他产业的融合发展，从 2016 年起已陆续出台多项重要政策，如《“互联网 +”AI 三年行动实施方案》《新一代 AI 发展规划》《促进新一代 AI 产业发展三年行动计划 (2018-2020 年 )》等，有力地推动了我国 AI产业发展。但 AI 作为一项对人类社会未来发展影响深远的技术，也存在一定的安全风险。例如未来人类创造出来的超级智能是否会拥有超越人类的能力和意志，同时它们是否具有与人类相似的价值观和社会规范。因此应当未雨绸缪，及早布局和研究 AI 技术的安全性，确保技术的研究和应用符合人类社会的伦理规范。目前上海在 2018 世界人工智能大会中发布过关于AI 安全的八项倡议，更早之前腾讯、科大讯飞等企业也发表过各自的 AI 倡议，但国家、产业尚未有统一的普遍共识，因此欧盟可信 AI 伦理指南可以提供有益的借鉴。另外我国部分 AI 企业也在积极开拓欧盟市场，因此这份指南是这类企业必须要关注的对象。
李宁，上海赛博网络安全产业创新研究院高级研究员，博士，主要从事网络安全产业趋势及产业政策研究，人工智能安全研究等。
贺佳瀛，上海赛博网络安全产业创新研究院研究员，主要从事网络空间战略、政策、前沿技术和网络安全治理领域研究。
黄紫婓，上海外国语大学国际关系与公共事务学院博士研究生，研究方向为国际关系、公共安全。
本微信公众号刊载的原创文章，欢迎个人转发。没有经过授权，其他媒体、微信公众号和网站不得转载。
···························································返回搜狐，查看更多
