2018 年，亚马逊废弃了其开发了四年的人工智能招聘工具。该系统旨在对求职者进行一到五颗星的评分。问题是：它已经学会了对包含“女性”一词的简历进行处罚——例如“女子国际象棋俱乐部”——并降低女子学院毕业生的级别。该系统接受了历史招聘数据的训练，这些数据反映了过去男性在科技领域的主导地位。它学习了这些模式并放大了它们。
亚马逊的工程师试图纠正这种偏见，但最终无法保证系统是中立的。他们把它关掉了。
这是负责任的人工智能的锋利优势：善意构建的系统在部署时没有充分考虑公平性、问责制和透明度，可能会系统性地伤害真实的人。
随着人工智能逐渐融入招聘、贷款、医疗保健、刑事司法、教育等领域，做好这一切并不是可有可无的。本指南清楚地解释了关键问题——没有行话，没有挥手。
负责任的人工智能是指以安全、公平、透明、负责且符合人类价值观的方式开发、部署和维护人工智能系统的实践。
这不仅仅是为了避免伤害（尽管这很重要）。它是关于构建人们可以信任的人工智能——其决策可以被解释、挑战和纠正的系统。
该领域包含几个相互关联的问题：
人工智能中的偏见不是可以通过补丁修复的编程错误。它反映了世界——特别是世界历史上产生的有偏见的数据。
1.有偏差的训练数据
人工智能模型从数据中学习。如果这些数据反映了历史上的不平等现象，那么模型就会像规则一样学习这些不平等现象。
示例：主要针对浅肤色面孔进行训练的面部识别系统在深色肤色面孔上表现不佳。 Joy Buolamwini 和 Timnit Gebru 2018 年的一项研究（“性别阴影”研究）发现，与浅肤色男性相比，领先的商业面部识别系统对深色皮肤女性的错误率高出 34%。这不是恶意，而是训练数据并不能代表人脸的多样性。
2.标签偏差
当人类标记训练数据时，他们自己的偏见就会被编码。如果人类贴标者始终将“专业”照片与男性或白人相关联，则模型就会学习这种关联。
3.反馈循环
当部署有偏差的模型并且其预测影响未来的数据收集时，偏差就会加剧。将警察集中在某些社区的预测警务模型会导致更多的逮捕，从而产生更多的数据表明该社区是高犯罪率，从而将更多的警力集中在那里。这个循环会自我强化。
4.代理变量
有时，模型会学习使用看似中性的特征作为受保护特征的代理。邮政编码可以作为种族的代表。就读大学可以代表社会经济背景。该模型没有明确使用种族，但它实际上是这样做的。
5.历史数据反映历史不公正
如果女性在历史上被排除在某些职业之外，那么根据历史数据训练的模型将了解到女性不太可能从事这些职业——并且可能会延续这种排除。
这些不是假设。这些都发生了。
COMPAS 累犯算法：在美国法院用于预测被告再犯的可能性。 ProPublica 2016 年的一项调查发现，该系统将黑人被告错误地标记为高风险的可能性是白人被告的两倍，而将白人被告错误地标记为低风险的可能性更高。这些分数影响保释决定和量刑。
新冠肺炎 (COVID-19) 期间的脉搏血氧计：严格来说不是人工智能，而是医疗领域的说明。人们发现，测量血氧水平的脉搏血氧计对于肤色较深的患者来说不太准确，可能会导致治疗延迟。根据这些设备的数据进行训练的医疗人工智能也继承了同样的缺陷。
Apple Card 信用额度：2019 年，一些用户报告称，Apple Card 算法为女性提供的信用额度明显低于财务状况相似或更好的男性。该算法是一个黑匣子——申请人和苹果公司都无法轻易解释其中的原因。
医疗保健资源分配：与同等病情的白人患者相比，广泛部署的美国医疗保健算法被发现系统性地低估了黑人患者的医疗保健需求。它使用医疗保健支出作为医疗保健需求的代表，但黑人患者历来接受的护理较少，因此较低的支出并不意味着较低的需求。
当人工智能系统对你做出重大决定时——你的贷款申请、你的工作申请、你的保释听证会、你的癌症筛查——你有合法的兴趣去了解为什么。
可解释性（也称为可解释性）是指解释人工智能系统如何以及为何做出特定决策的能力。
这在技术上具有挑战性。一些最强大的人工智能模型——尤其是深度神经网络——确实很难解释。它们以无法简化为简单解释的方式对数百万或数十亿个参数进行操作。
在欧盟，GDPR（通用数据保护条例）赋予个人不接受对其产生重大影响的纯自动化决策的权利，并有权在做出此类决策时获得有意义的解释。
欧盟人工智能法案（于 2024 年生效）更进一步，要求高风险人工智能系统透明且可解释。高风险应用包括招聘、贷款、医疗保健、执法和教育领域的人工智能。
LIME（与本地可解释模型无关的解释）：通过使用更简单、可解释的模型在本地近似模型来解释各个预测。
SHAP（SHapley Additive exPlanations）：使用博弈论为每个特征分配特定预测的贡献分数。
注意力可视化：在 Transformer 模型中，您可以可视化模型在进行预测时最“关注”输入的哪些部分。
这些技术并不完善，积极的研究仍在继续，但它们代表了问责制方面有意义的进展。
人工智能系统接受数据训练——通常是从数十亿人那里收集的个人数据，有时没有明确的知情同意。
主要问题：
训练数据同意：大型语言模型是根据从互联网上抓取的文本进行训练的。其中一些文本包含个人信息。撰写博客文章、论坛消息或文章的人不同意将他们的言论用于训练商业人工智能产品。
数据保留：当您使用人工智能聊天机器人时，您的对话可能会被存储并可能用于改进未来的模型。准确理解数据发生了什么通常很困难。
推理攻击：有时可以从模型中提取训练数据 - 实际上导致模型从其训练集中再现文本或信息。这对训练数据中出现的任何敏感内容都有影响。
面部识别：未经同意收集和使用生物识别数据会引发严重的隐私问题。正是出于这个原因，美国的几个城市已经禁止政府使用面部识别。
个人最佳实践：
人工智能的安全超越了偏见。它包括系统在现实世界中部署时是否表现可靠、可预测且不会造成损害。
幻觉：大型语言模型有时会生成听起来自信、格式良好、完全错误的信息。一名律师在 2023 年向美国法院提交了一份由人工智能生成的案情摘要，其中附有伪造的案件引文，因此受到了制裁。该模型并不知道自己在编造事实——它正在生成听起来可信的文本。
对抗性示例：图像中微小的、难以察觉的变化可能会导致深度学习分类器严重错误识别它。带有精心粘贴的贴纸的停车标志可能会被错误地归类为限速标志。在自动驾驶汽车中，这具有真正的安全意义。
分布转移：当世界发生变化时，根据历史数据训练的模型可能会失败。许多欺诈检测模型在 COVID-19 期间都失败了，因为购买行为发生了巨大变化，而这些模型并不是针对这种转变而设计的。
级联故障：当人工智能系统互连时（如自动化金融交易或物流系统），其中一个系统的故障可能会引发其他系统的意外故障。
负责任的人工智能不仅仅是避免不良结果。这是关于构建您可以轻松公开捍卫的系统。
对于构建人工智能的组织：
对于使用人工智能的个人：
人工智能不是中立的。它对选择进行编码——使用什么数据、优化什么目标、谁参与设计过程、如何处理不确定性。这些选择有意或无意地反映了价值观。
随着人工智能系统做出更重要的决策——有关医疗保健、教育、司法、就业、信贷——做出正确决定的风险从未如此之高。大规模部署的糟糕算法可能会在问题被发现之前就伤害数百万人。
好消息：负责任的人工智能是一个可以解决的问题。并不完美，也不是一次性完成——但通过正确的实践、正确的团队和正确的框架，我们可以构建真正值得信赖的人工智能系统。
这项工作需要了解人工智能技术和人类层面的人。它需要能够构建人工智能系统并提出有关它们的难题的人。
在AI Educademy，负责任的人工智能并不是一个单独的模块——它贯穿于我们教授的所有内容中。我们相信，理解人工智能道德和安全与理解如何训练模型一样重要。
如果您正在学习人工智能，或者您已经在该领域工作，那么了解这些问题会让您成为更好的工程师、更可靠的研究人员，以及有能力构建令您引以为傲的技术的人。
👉 在 aieducademy.org 探索我们的人工智能道德和负责任的人工智能资源 - 并帮助构建适合每个人的人工智能。