评估自主智能系统：可信技术的可信证据

自主智能系统（Autonomous and Intelligent System, A/IS）正在招聘、住房、信贷和刑事司法等领域得到越来越多的部署，并做出影响个人生活、自由和福祉的大规模社会治理决策。A/IS系统是否可信至关重要，如果由A/IS系统做出的决策不能信任，则依赖于A/IS系统的法律、金融与政府等机构的运作有效性与合法性就值得怀疑。

(资料图片仅供参考)

自主智能系统可能会将系统创造者或是训练数据中的偏见固化到决策模型中，亦会面临透明度较低与缺乏问责制和对人权的尊重的指责。为了充分减少A/IS系统运用所带来的风险，需要对其可信度进行评估并寻找佐证。自主智能系统可信度问题包括几个方面：A/IS系统部署的目标是什么？A/IS系统保护的价值观是什么？为了信任某个A/IS系统，我们需要了解什么？我们有什么证据能够确认某个A/IS系统是否满足我们信任所需的条件？

IEEE探讨了这些问题，提出了一个评估A/IS系统可信性的框架，并重点讨论了自主智能系统可信证据的议题。最后，IEEE提出了IEEE 1012标准，作为一个切实可行的收集或生成A/IS系统可信性所需证据的标准。

1评估A/IS系统可信性的框架：道德标准、知情信任与可信证据

IEEE提出了一个用于评估A/IS系统可信性的三层分析框架，框架各层对应需要分析的问题为：

第1层-伦理与价值观层：A/IS系统的目的是什么？系统的设计与部署是否符合其被投入使用的目的？A/IS系统应该坚持怎样的价值观和伦理考虑？

第2层-信任条件层：必须满足哪些条件才能实现对技术的知情信任？在什么条件下，A/IS系统的用户或其它利益相关者可以相信给定的技术实际上符合其目的，并遵守第1层分析中确定的价值观和道德考虑？

第3层-证据层：有什么证据可以用来评估或证明给定的技术是否符合第2层分析中确定的信任条件？

IEEE提供的框架分别从系统目的、信任基础与可信基础三方面回应了创建和运行A/IS系统过程中可能产生的可信问题。通过层层连接的三层框架，IEEE为分析A/IS系统的可信性提供了一套方法论。为A/IS系统的利益相关者提供知情信任基础需要在A/IS生命周期的每个阶段充分回应三层框架所有的问题，这需要设计人员、开发人员、采购官员、运营商、测试人员、监管人员，甚至负责系统销毁的人员共同参与。表1-1显示了框架各层所需解决的首要问题、IEEE现有原则/标准与确保创建符合相应条件的A/IS系统的原则。接下来，IEEE在前两层的背景下，重点讨论了有关证据层的问题。

表1-1 框架各层所需解决的首要问题、IEEE现有原则/标准与确保创建符合相应条件的A/IS系统的原则

1.伦理与价值观层

框架第1层关注的是伦理与价值观问题。在Ethically Aligned Design: A Vision for Prioritizing Human Well-being with Autonomous and Intelligent Systems First Edition（EAD）标准中，IEEE确定了创建和运行A/IS系统的伦理基础的三项基本原则，除了技术特征之外，这些原则还反映了社会、政策和立法的过程。它们是A/IS系统创建和运行的伦理基础：

（1）符合普遍的人类价值观，尊重人权，与人类价值观保持一致，以全面提升人类福祉为目的；

（2）政治自治，能够根据不同社会的文化准则，培养政治自由和民主特征；

（3）技术可靠，能够可靠、安全、积极地实现为之设定的目标并带来价值；

其中，有四个伦理原则被IEEE认为特别重要，它们是：

Ø 人权原则：A/IS系统的创建和运行应尊重、促进和保护国际公认的人权；

Ø 福祉原则：A/IS系统的创造者应将增进人类福祉作为发展是否成功的主要标准。

Ø 数据代理原则：A/IS系统的创建者应赋予个人访问和安全共享其数据的能力，以维护人们对其身份的控制能力。

Ø 误用防范原则：A/IS系统的创建者应防范A/IS系统运行中所有潜在的误用风险。

为了使社会更加公平、包容和公正，需要根据以上伦理原则创建和运营A/IS系统，提高业务的透明度和问责性，鼓励公众参与，增进公众对使用A/IS系统的组织和机构的信任。IEEE鼓励各组织机构只采购和运行遵循IEEE所提出的EAD标准的A/IS系统，以确保其能够促进人类发展并确保可信赖。

2.信任条件层

在考虑了应当引入哪些价值观与伦理考虑来指导技术之后，IEEE转向了能够使A/IS值得信任的特定属性。EAD标准强调的A/IS系统的四个关键信任条件分别为：

Ø 有效性：存在可靠的经验证据证明A/IS系统确实符合其预期目的。

Ø 能力：A/IS系统的创建者和运营者指定了系统有效运行所需的技能和知识。系统遵守创建者制定的能力规范。

Ø 问责制：参与系统设计、开发、采购、部署、运营和验证的人员已经对A/IS系统产生的结果建立了清晰明确的问责制度，并在适当时接受询问。

Ø 透明度：A/IS系统产生结果的利益相关者可以获得有关其设计、开发、采购、部署、运行和有效性验证的相关适当的信息。

3.可信证据层

在确定了A/IS系统被信任时必须满足的条件后，IEEE转向了证据的实际问题，特别是寻找评估一个系统是否实际上满足信任条件所需的证据问题。在框架第3层的分析中，IEEE希望寻求到什么样的测试或证据能使公众有充分的理由相信一项技术是有效的，是操作得当的，是在适当的问责制度下实施，并对有意义的检查和审计开放的。具体内容见本文第三部分的内容。

2可信证据的法律和历史背景

什么样的证据是充分且可信的？什么特点使得证据可信？在人工智能与自动化决策系统迅速发展的时代背景下，为寻求评估A/IS系统的可信证据，IEEE首先从法律系统中证据的演变与典型历史案例出发进行了研究。IEEE认为，在美国法律体系中，Frye标准与Daubert标准的产生使得通过技术手段获得的证据与专家证词的可信度标准得到了更精确的定义，对研究A/IS系统的可信证据有重要意义。

20世纪前，美国科学证据的可采问题是通过市场标准，即市场上外行人对专家职业的接受程度来确定的。1923年的Frye案确立了Frye标准，即专家证据要被法庭采纳，除应具有相关性和有助于陪审团认定的事实外，还要求该证据所依据的科学原理与技术必须获得所在领域的普遍接受。但由于在实践过程中，Frye标准可能会产生排除流行程度低的有效意见证据而接纳实质上的“垃圾证据”的问题，故Frye标准并未被所有联邦法院与州法院所采纳，部分地区法院仍采纳相关性标准，即只要专家证据具有相关性，就具有可采性。1993年，美国联邦法院在Daubert案的审判过程中推翻了Frye标准，并将1975年指定的《联邦证据规则》中的702规则作为专家证据可采性的标准，即Daubert标准。Daubert标准不仅要求专家必须受过专业训练、拥有专业知识，忠实地将科学原理和方法用于案件事实的论证，还要求专家证据应当有充足的数据或事实支持，是由可靠的科学原理或方法推导出的，有助于法官确定争议事实。经过后续修订的Daubert标准现在已在美国27个州被采用。

虽然Frye标准与Daubert标准被美国多个州所采用，但美国国家研究委员会（National Research Council, NRC）美国国家科学院（NAS, National Academy of Sciences）与美国总统科学技术委员会（the President’s Council of Advisors on Science and Technology，PCAST）的研究表明，Frye标准和Daubert标准都无法确保法庭上使用的证据实际上是可信的。2009年NRC/NAS的报告Strengthening Forensic Science in the United States: A Path Forward认为，许多被引入刑事审判的法医证据缺少有意义的科学验证与可靠性测试。2016年PCAST发布的Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-Comparison Methods评估了用于生成法庭诉讼证据的七种特征比较方法的科学有效性，认为Frye标准和Daubert标准在区分可信证据和不可信证据方面存在一定的局限性。

基于以上研究，IEEE认为，在寻找A/IS系统符合信任条件的可信证据时，Frye标准与Daubert标准就如何审查可能用于此目的的证据提供了一些指导，但这些标准是不充分的，特别是在审查使用先进科学或统计技术生成的证据时。因此，有必要建立一个更有效的框架来审查用于评估A/IS系统可信度的证据。参考PCAST报告中用于证据分析的标准，IEEE确定了提出了以下可用于表征可信证据的特征，如表2-1所示：

表2-1IEEE提出的可用于表征可信证据的特征

IEEE认为，如果某项证据具有表2-1中的特征，则其可信度能够获得提升。IEEE进一步指出，如果证据被认为是可信的，不一定需要该证据完全具备上表中所有的特征。例如，某些类型的证据可能是应用大量专家判断的结果，可能不符合客观性标准。其他类型的证据可能不容易通过经验检验其准确性。

3支持信任条件的证据类型

在1.2节中归纳了IEEE EAD标准强调的A/IS系统的四个关键信任条件，IEEE同时也对评估每个关键信任条件相关的证据类型进行了总结，如下所示。

1.有效性评估证据

IEEE认为，与系统有效性评估相关的证据将首先采取科学合理的实证试验的形式，其他类型的证据可以作为补充。在评估一个系统的有效性时，要考虑到其整体是否适合其预期目的，这一原则已在法律中确立。与有效性相关的具体证据类型包括：

Ø 开发期间以及部署和运行后的本地验证练习

Ø 基准研究，特别是独立的基准研究

Ø 风险评估：在该系统投入应用之前，对使用该系统可能产生的潜在危害进行评估

Ø 算法影响评估：评估系统及其在投放应用后对其目标主体的影响

Ø 对验证活动或基准评估结果的定性分析

Ø 符合技术标准、认证和任何相关法规（包括与数据安全和隐私相关的法规）的文件

Ø 系统设计和开发过程的描述

Ø 系统实施过程的描述

2.能力评估证据

IEEE提出，与系统部署和运行所涉及的人类代理人能力评估相关的证据通常将采取代理人达到专业标准的权威文件的形式，但来自运行类似系统的先前工作的证据也与此高度相关。与能力评估相关的具体证据类型包括以下描述或文件：

Ø 技术的目的、能力和局限性

Ø 系统开发和运行中的预期人类角色；

Ø 实际担任该职位的个人的资格评估文件，包括相关证书和能够证明过去经验和教育经历的文件；

Ø 之前对个人使用系统准确性的任何测试结果；

Ø 人为监督和评估操作员的规定；

Ø 开发人员、运营商和用户可用的教育资源；

Ø 遵守标准和法规，特别是与运营商相关的标准和法规的证明文件。

3.责任评估

IEEE认为，与责任评估相关的证据通常以协议描述，用于在整个系统中维护通信线路和合理分配责任，但记录对实际事件的先前响应也可能非常相关。与问责制相关的具体证据类型包括：

Ø 记录角色和对应职责的图表，以便每个重大决策都可以追溯到负责人；

Ø 可理解的常用文档，如软件工程中常见的最佳实践的要求、规范、测试计划、维护记录、更改日志等，可以向内部合规部门、外部审计师、律师、法官和普通公民提供适当级别的解释，包括：监督和通信协议文件；记录维护数据安全性、完整性和不再需要时处理数据的规定；正常操作过程中保存的文件说明；文件开发者/经营者的描述（不）愿意向独立审计师披露；

Ø 对先前不良事件的反应描述。

4.透明度评估

IEEE认为，与透明度评估相关的证据通常以描述利益相关者可用资源的形式提供，能够在利益相关者有兴趣了解系统的运行情况，或者需要对特定情况下的结果进行解释时起作用。与透明度相关的具体证据类型包括以下文件：

Ø 有关A/IS系统的可靠获取信息，包括培训程序、培训数据、机器学习算法以及测试和验证方法；

Ø 针对不同受众的可靠解释——即为什么自主系统在特定情况下以特定方式运行，或在假设情况下以某种方式运行；

Ø 整个系统生命周期的工程步骤：设计文档（需求、线程模型）、开发（编码标准、单元测试、代码审查过程）、采购（决策者和依据）、部署/操作（遵循的工作流、人员资格）和验证（发现错误的记录、如何修复）。

Ø 在考虑A/IS系统的输出时，人类决策者提供了多大程度的监督。

4IEEE 1012标准

当A/IS系统用于提出受监管领域，如招聘、住房、信贷和公共资源分配领域的关键自动化决策时，确保流程透明与可问责是重要的。IEEE 1012标准，即IEEE系统、软件和硬件验证与确认标准，能够确保产品正确构建，符合最初的设计意图与要求，目前已用于美国国防部核武器系统和NASA载人航天系统的设计过程中。IEEE认为，该标准能够为寻求为负责任地使用人工智能制定操作上可行的规范性文书的从业人员和监管机构提供有益的指导。

总体而言，IEEE 1012标准提供了一种全面、独立的软件和硬件测试方法，能够弥补Frye标准与Daubert标准在审查用于评估A/IS系统可信度的证据时的不足。

张亦斌 | 清华大学法学院计算法学方向硕士研究生

选题&指导 | 刘云

编辑 | 朱正熙

关键词：