MIT RES.EC-001 机器学习公平性笔记（一）
机器学习公平性探索：P01-01：机器学习伦理导论 👨🏫
在本节课中，我们将初步了解机器学习伦理的重要性，特别是公平性问题。我们将认识课程的主讲人，并了解本课程旨在解决的核心挑战。
大家好，我是丹·弗莱，麻省理工学院数字学习实验室的研究主任。同时，我也是“技术评估综合倡议”的首席研究员，我们通常用其缩写 SITE 来指代这个项目。
SITE 项目旨在评估各种技术和产品，以便我们更好地理解哪些表现最佳，以及在特定情境下哪些能提供最佳价值。关于产品和技术的更优信息，也有助于我们在国际发展背景下更好地实施这些技术。
现在，这个议题在机器学习领域尤为重要。我们知道，这些令人兴奋的新技术有时可能引发或传播某些不平等或偏见。目前，研究界正在涌现一系列技术，可以通过调整算法或修改数据集来帮助我们缓解这些问题，从而提供更好、更公平、更公正的结果。
我们希望您能深入参与本课程，我们将提供相关知识，帮助您在自己的专业实践中更好地应用这些技术。
感谢您加入本课程。
本节课中，我们一起认识了课程的主讲人丹·弗莱及其背景，并初步了解了机器学习中存在的公平性挑战以及本课程的目标。下一节，我们将开始深入探讨机器学习中偏见的具体来源和表现形式。
002：课程介绍与动机
大家好，我是Aid Gandhi，麻省理工学院的一名研究生研究员。欢迎来到这门关于探索机器学习公平性及其在国际发展领域应用的课程。我将介绍开设这门课程的动机，解释为何关注伦理和技术的恰当使用至关重要，并概述我们将要涵盖的主题。
课程概述
在本节课中，我们将学习机器学习在国际发展领域的应用概况，理解关注其伦理问题的必要性，并预览整个课程的结构安排。
机器学习在国际发展中的应用
让我们从介绍机器学习如何应用于国际发展领域开始。作为简要回顾，机器学习是人工智能的一个分支，其软件基于经验学习如何执行任务，而非通过明确的编程指令。
因此，这项新兴技术可广泛应用于许多领域，并能以前所未有的方式利用数据的力量。机器学习的一些应用领域包括医疗保健、劳动力发展和金融普惠。
在接下来的内容中，我将介绍机器学习的一些使用方式。我们将在后续模块中更深入地探讨机器学习的伦理使用问题。
以下是机器学习在几个关键领域的具体应用：
-
医疗保健：机器学习的显著进步使得对医疗状况的快速诊断成为可能。一些组织正在开发从传感器到智能手机应用等一系列工具，供社区卫生工作者收集患者数据，获取关于疾病传播和发生模式的新见解，并在医院和诊所之外进行诊断。这极大地提高了偏远地区个人可获得医疗服务的可及性和质量。
-
劳动力发展：机器学习可以通过将具备技能的个体与合适的工作岗位匹配来降低失业率。例如，在印度，招聘经理更关注学历和技能，这使得没有正式学历的人难以被雇用或晋升。印度公司Aspiring Minds开发了一项计算机测试，用于评估申请人的能力，并将他们与薪酬更高的工作联系起来。
-
金融普惠：一些组织正在使用机器学习来确定个人的信用价值，尤其是在其他正规信贷系统可能不存在或难以获得的地区。这些公司部署了“即用即付”服务，范围涵盖太阳能照明系统到农业投入品，并正在生成和收集关于用户资产和还款情况的非传统数据。这些数据可用于通过机器学习确定信用价值，使个人能够获得原本无法获得的贷款或融资。
技术的普及与潜在风险
机器学习技术已存在数十年，但近年来的使用率有所增加。在过去十年中，这项技术变得更加易于获取。机器学习正在全球许多大学中教授，一些数据分析平台也发布了机器学习库和工具箱。例如，借助开源Python库Scikit-learn，熟悉编程的人可以在几天内开始训练机器学习模型。
尽管机器学习的应用前景广阔，但承认其局限性同样重要。机器学习对社会的影响尚未被充分理解。若不仔细关注这些问题，我们可能会应用一些不仅无效，还可能通过强化现有的社会不平等和排斥模式而对人们造成伤害的系统。
在发达国家，如FAT或AI Now等研究团体，已有一个庞大的研究社区关注此领域。一个众所周知的例子是关于性别差异化的信用评分。发展中国家的低收入女性通常缺乏信用记录和正式收入，尽管有证据表明这些女性违约贷款的比例低于男性。数据的缺乏使得贷款机构难以为这些女性提供贷款。因此，从非正规贷款机构获取掠夺性贷款成为一种普遍做法。
课程结构预览
虽然许多关于机器学习伦理的概念具有普适性，但专门针对国际发展相关问题的机器学习公平性研究仍处于早期阶段。下一节视频将讨论为确保这项技术的伦理使用所做的持续努力，内容将基于美国国际开发署数字发展中心制定的“恰当使用框架”。
在第二组模块中，我们将介绍目前在国际发展中使用机器学习的组织的案例研究，并讨论这些例子中可能出现的潜在伦理问题。从高层次上，我们将介绍如何解决这些问题的方法以及可能的结果意味着什么。
在第三组模块中，我们将提出一个应对伦理挑战的框架。内容包括受保护属性、通过“无视”实现的公平性、选择与公平性标准，以及减轻偏见的技术。
在第四组模块中，我们将介绍来自组织的案例研究，展示如何恰当地实施机器学习。
总结
本节课中，我们一起学习了机器学习在国际发展中的广泛应用及其带来的巨大潜力，同时也认识到不加审视地应用该技术可能加剧社会不公的风险。我们概述了本课程的整体结构，后续将深入探讨伦理框架、案例分析和具体实践方法。
感谢您花时间观看这些视频，我们希望您能继续观看本系列的其他内容。
003：美国国际开发署适用性使用框架
在本节课中，我们将学习由美国国际开发署制定的“适用性使用框架”。该框架旨在帮助从业者思考在国际发展项目中，如何合乎伦理且恰当地应用机器学习技术。我们将逐一探讨该框架提出的七个核心特征。
概述
本节内容基于美国国际开发署数字发展中心的研究成果。该中心研究了在发展中国家背景下机器学习的适用性问题，并通过与利益相关者交流、进行案例研究，最终发布了一个适用性使用框架。麻省理工学院团队的工作借鉴了该报告的某些方面。我们将介绍机器学习恰当应用的一些特征，请你在思考自己的项目时牢记这些特征。
适用性应用的七个特征
上一节我们介绍了框架的背景，本节中我们来看看构成该框架的七个具体特征。以下是评估机器学习项目是否恰当的核心标准列表。
1. 相关性 🤔
第一个标准是相关性。在此背景下使用机器学习是否在解决一个恰当的问题？
随着机器学习成为一种趋势，越来越多的组织试图将其应用于工作，以区别于竞争对手或增加对资助者的吸引力。许多组织可能试图实施预包装或现成的机器学习解决方案，而不理解它是否适合他们试图解决的问题。
例如，在追踪人道主义援助交付时，组织可能希望创建系统来监控难民营中的人员，确保他们只获得应得的食物或其他物资。然而，主要的损失通常发生在更上游的环节，例如有人转移整卡车的物资，而不是个人多拿了一袋大米。一个旨在更严密监控单个受援者的AI解决方案将无法通过相关性测试，因为它没有解决系统中的主要问题。
2. 代表性 📊
第二个标准是代表性。用于训练机器学习模型的数据是否经过适当选择？
为了评估代表性，组织应考虑机器学习模型使用的数据是否对其部署环境具有代表性，以及哪些策略对于确保模型能用适当数据训练至关重要。
例如，考虑一家初创医疗诊断公司，试图为西非人口构建一个远程诊断工具。可能无法获得来自西非的高质量编码数据集，因此该公司使用欧洲数据来训练模型。某些诊断可能是准确的，但欧洲和西非之间的疾病差异可能导致误诊，使个人面临健康风险。
现在，考虑如果该公司使用东非患者数据而非欧洲患者数据。虽然这可能提供更好的结果，但该模型得出的诊断会忽略疟疾和黄热病等在西非更常见的疾病，同样会导致误诊。
最后，考虑如果该公司使用西非国家最大医院的患者数据集。虽然这乍看是个好选择，但该数据集可能更代表城市人口而非农村人口，同样会导致误诊。这个例子表明，数据代表性有不同的尺度，编码人员需要仔细询问每个问题的背景，以恰当地设计模型。
3. 价值 💎
第三个标准是价值。机器学习模型产生的预测是否比其他方法更准确？它是否比其他模型更完整地解释了变异？预测值是否以有意义的方式为人类决策提供信息？
例如，它们是否具有可操作性？告诉农民他们可以通过迁移到不同海拔来提高产量，这对他们来说没有用。它们是否及时？拥有信息但没有足够时间采取行动，几乎不产生价值。它们是否交付给了正确的人？当决策由主管做出时，你不应该建立一个向前线工作人员提供信息的系统。
虽然机器学习是一个强大的工具，但它并非总是解决所有问题的最佳方法。组织应有充分的理由认为机器学习会增加价值，并确保在推广解决方案之前评估这一假设。
4. 可解释性 🗣️
第四个标准是可解释性。机器学习的使用是否得到了有效沟通？
确保以有效传达结果如何确定的方式向用户解释应用程序非常重要。试图应用机器学习结果而不理解模型如何决策的细微差别的组织，可能会不恰当地使用算法输出。
让我们回顾一下前面模块中关于性别差异化信用评分的例子。一个可解释的解决方案可以包含关于为什么特定个人被拒绝贷款的信息，以及他们可以改变哪些因素来提高信用度。
5. 可审计性 🔍
第五个标准是可审计性。模型的决策过程能否被外部参与者查询或监控？
越来越多的组织求助于“黑箱”机器学习解决方案，其内部运作可能从违反直觉到难以理解。重要的是，输出可以被外部监控，以证明模型是公平、无偏见且不会伤害某些用户的。这可能需要额外的基础设施，无论是制度性的还是法律框架，要求进行审计，为审计员提供对数据和算法的安全访问，并要求人们根据这些发现采取行动。
6. 公平性 ⚖️
第六个标准是公平性。如果用于指导决策，是否已测试机器学习模型以确定它是否对某些个人或群体造成不成比例的伤害或利益？
针对受保护变量（如性别、年龄、种族或肤色）测试算法的结果，是防止采用有偏见算法的关键。特定算法是否对特定群体的失败率高于其他群体？它是否在不同方向上错误分类不同群体？或者某些群体的假阳性或假阴性率不同？
同样重要的是要解决准确性和公平性不一定相关的问题。算法在技术上可以是准确的，但仍然与组织在做出决策（如应该雇佣谁、谁应该接受医疗护理或其他类似决策）时可能希望推广的价值观不一致。理解这些结果是如何产生的，并采取措施减轻其影响，是确保不公平算法不被广泛采用和使用的重要环节。
7. 问责制与责任 👥
第七个标准是问责制或责任。如果用于指导决策，是否有机制确保有人负责回应反馈并在必要时纠正损害？
例如，算法可能用于辅助诊断医疗状况，但最终诊断仍应由训练有素的医疗专业人员提供。当单独使用时，算法错误识别的风险实际上可能对个人造成伤害。然而，考虑如果训练有素的医疗专业人员短缺。误诊的风险是否超过不治疗人们的风险？这些决定很复杂，并不总是有正确答案。在设计系统时，牢记问责制和责任很重要。请记住，一个负责任的设置，既要确保有系统来防止有害错误，也要确保有人负责纠正错误。
总结
本节课中我们一起学习了机器学习在国际发展项目中恰当应用的七个特征：相关性、代表性、价值、可解释性、可审计性、公平性以及问责制与责任。在你实施自己的解决方案时，请务必将这些因素纳入考虑。
感谢你花时间学习本课程。我们希望你能继续观看本系列的其他模块。
004：太阳能照明示例
在本节课中，我们将通过一个社会企业的案例，探讨在机器学习项目实施过程中可能遇到的伦理挑战与公平性问题。我们将扮演一家在东非提供太阳能照明产品的公司的首席技术官，了解从数据收集、模型构建到规模化部署的完整流程中需要考虑的关键决策。
案例背景
上一节我们介绍了机器学习公平性的基本概念，本节中我们来看看一个具体的应用场景。
我名叫阿米特·甘地，是麻省理工学院的一名研究生研究员。欢迎来到这个关于国际发展中机器学习公平性探索的系列课程。在本模块中，我们将通过一个示例，了解一个组织如何实施机器学习，以及可能产生的一些伦理挑战。
本模块主要关注组织层面做出的决策，但对于组织决策者和机器学习实施者而言，考虑这些互动都很重要。
在这个案例研究中，我们将扮演一家在东非提供太阳能照明产品的社会企业的首席技术官。公司的使命是为生活贫困的人们提供负担得起的照明解决方案。公司最初提供高质量、低成本的太阳能灯，以替代煤油灯。
随着时间的推移，公司不断发展，增加了产品种类，包括大型太阳能家用系统，并在此过程中实施了“随用随付”模式，以便家庭能够负担得起购买这些更大的系统。
“随用随付”模式的工作原理是：公司将太阳能照明基础设施作为贷款资产提供给个人，用户通过移动支付在一段时间内偿还，直到收回资产的全部价值。
公司一直细致地保存用户交易记录，因此可以获取所有客户的人口统计信息和支付历史。
从用户那里获得的信息包括年龄、性别、职业、地理位置和家庭收入。在寻求扩大企业社会影响力的过程中，你意识到可以分析这些数据，为客户确定一个信用评分指标。
此外，你可以将这些信息提供给银行或小额信贷机构，以便他们可以向你的客户群发放贷款。
实施决策与挑战
机器学习是实施这一信用评分指标的有力工具。然而，你的团队内部没有数据科学家或机器学习专家来实施这个解决方案。
你也不知道开发的算法能有多准确或多强大，因此你不想投入资源组建一个完整的团队，而是选择在乌干达的部分用户中运行一个小型试点项目。
作为一家拥有工程人员的资源丰富的公司，你可以选择让一些工程师使用现成的产品实施机器学习解决方案，或者与第三方公司合作实施信用评分解决方案。
让我们暂停一下这个案例研究，审视需要做出的决策的利弊。从机器学习实施者和组织双方的角度来考虑问题非常重要，以便理解开发解决方案过程中的想法和复杂性。
在没有训练有素的数据科学家的情况下内部实施，很可能涉及一个“黑箱”解决方案的实现。
虽然一个没有机器学习背景的人可以相当快地让解决方案运行起来，但设计中的一些细微差别可能会被忽视。
让第三方顾问实施你的解决方案可以解决许多这些问题，尽管你可能缺乏内部能力来理解模型的实施方式并进行后续维护。
公平性问题
让我们假设，无论如何，信用评分算法在构建时没有关注公平性设置，可能会出现几个问题。
首先，在分析历史数据时，你可能会发现某些人群的违约率与其他人群不同。
例如，女性的违约率可能低于男性。作为一家组织，你可能决定在贷款决策中希望保持公平和性别中立。
幻灯片展示了男性和女性不同贷款率的一个例子。
为了实现公平，一个天真的实施者可能会首先尝试使用“公平无意识”方法，这意味着在构建模型时简单地隐藏性别信息。
根据数据内部的相关性以及性别与违约率的相关程度，你的模型仍然可能在模型中预测出性别。
其次，由于你的数据显示了违约率的差异，你必须主动决定如何纠正这一点。在贷款案例中，实现公平的不同方法可能会与算法的准确性产生权衡。
第三，实施者使用的算法类型也可能存在权衡。有些算法可能速度更快，但牺牲了准确性；另一些算法可能更准确，但牺牲了可解释性或可理解性。
我不会更深入地讨论这些主题，因为我们将在未来的模块中进一步讨论。然而，我想强调几个重要概念。
第一，实施机器学习算法不是一个客观的过程。在你的实施中，你既在设计一项技术，也在做出决策，这两者都将你的偏见引入了系统。认为计算机产生的结果是客观的，这只是一种幻想。
第二，你与实施者之间就你作为组织的价值观以及他们正在做出的决策进行公开沟通至关重要。
第三，如果你想要一个公平的系统，你需要一种方法来审计你的数据和算法。
规模化部署
让我们继续，假设你能够与顾问合作，为你的算法构建一个令人满意的解决方案，并且你在乌干达西部的试点项目中取得了显著成功。
你现在希望将你的模型推广到乌干达其他地区和东非。在这一点上，关注数据的代表性非常重要。
你在乌干达西部和东部的用户类型是否存在巨大差异？乌干达和坦桑尼亚的用户又如何？你需要确保在扩展解决方案时收集具有代表性的数据，这涉及大量的测试和审计。
此外，你需要确保人群内部的变化不会突然影响你的结果。例如，如果政府征收一项新的税收，你的模型是否就不再准确？你如何在组织内部建立支持，以确保能够应对变化？
感谢你花时间学习本课程。我们希望你能继续观看本系列的其他模块。
总结
本节课中，我们一起学习了如何通过一个太阳能照明公司的具体案例，审视机器学习项目从构思到规模化部署的全过程。我们看到了数据收集、模型构建方式选择（内部开发 vs. 第三方合作）、算法公平性挑战（如“公平无意识”的局限性），以及规模化时数据代表性的重要性。关键要点在于，机器学习决策并非完全客观，它融合了技术设计和组织价值观，因此持续的沟通、审计和对公平性的主动考量至关重要。
机器学习公平性探索：P05-05：公平性标准
在本节课中，我们将学习机器学习中的公平性标准。我们将介绍混淆矩阵的概念，并探讨三种流行的公平性标准：人口统计均等、机会均等和均等几率。
一些国家的法律保护特定人群免受基于某些属性的歧视。正如我们在之前的视频中讨论过的，这些属性被称为受保护属性。幻灯片上列出了一些例子。无论法律环境如何，机器学习都有可能对特定人群产生不公平的结果。作为算法设计者，应该对公平性标准做出明确选择。接下来的几张幻灯片将回顾一些标准。
上一节我们讨论了公平无视，即从模型中排除受保护属性。我们也解释了为什么这不是一个好的选择。具体来说，你可能会引入其他与受保护属性相关的属性，从而仍然可能无意中造成歧视。
为了深入探讨其他公平性标准，我们需要讨论一些额外的概念。
混淆矩阵
考虑一个二元分类器。例如，你正在处理是否雇佣或是否批准贷款的决定。如果我们查看一个二元分类模型的预测结果，我们可以将预测值分为四类：
-
真阳性：被正确分类为阳性的值。
-
真阴性：被正确分类为阴性的值。
-
假阳性：被算法错误分类为阳性的值。
-
假阴性：被算法错误分类为阴性的值。
如果我们把真阳性和真阴性相加，然后除以所有四类之和，就会得到模型的准确率。在这个例子中，准确率的公式是：
准确率 = (真阳性 + 真阴性) / (真阳性 + 真阴性 + 假阳性 + 假阴性)
准确率为0.5等同于随机分类。
现在我们需要仔细审视准确率，它并没有告诉我们关于阴性预测的任何信息。如果两个类别不平衡，它可能会误导我们。例如，如果样本中90%是阳性，10%是阴性。为此，我们有其他更深入的评估标准，如MCC分数和AUC分数。
真阳性、真阴性、假阳性、假阴性通常以2x2矩阵的形式呈现，称为混淆矩阵。这为我们观察分类器的行为提供了一种更简便的展示方式。
人口统计均等
第一个著名的公平性标准称为人口统计均等。这是一个群体层面公平的标准。该标准规定，结果（此处记为 Y_hat）应与受保护属性 A 独立。例如，被雇佣的概率应与性别无关。
人口统计均等存在多个问题。首先，如果我们有同时属于多个受保护群体的个体，我们刚刚讨论的定义可能不成立。通过强制一个属性的群体层面公平，我们可能仍然会违反其他属性或属性组合（如人口子群）的群体公平。
此外，在强制群体层面公平时，例如，为女性和男性设定相同的雇佣比例，这对个体而言可能仍然不公平。它可能迫使算法放弃原本合格的个体，仅仅是为了实现结果与属性的独立性。
群体层面的公平可能在个体层面不公平。例如，如果我们有很高的假阳性率，我们可能会有很低的假阴性率。这仍然可能对个体不公平，因为我们可能雇佣了不合格的人，而损害了其他本应被雇佣的合格个体的利益。
理想的情况是低假阴性和低假阳性，这可能对个体和群体层面都公平。我们也可能陷入最坏的情况，即低准确率、对个体不公平，但可能对群体公平，此时假阴性和假阳性都很高。
机会均等与均等几率
更严格的标准是均等几率，这意味着对于受保护属性的不同取值，需要匹配其真阳性率和假阳性率。这比人口统计均等更难实现，但属于算法公平性的更高层次。在这种情况下，与人口统计均等要求在受保护社会属性的子群中预测相同的平均风险不同，均等几率更严格，它只强制在达到相似结果的个体之间实现平等。
在我们之前视频讨论的雇佣例子中，这意味着合格申请人被雇佣的概率，以及不合格申请人被错误雇佣的概率，应在不同性别间相同。
均等几率的一个较温和版本是机会均等，我们只关心公平对待那些被确定为值得接受（即因变量 Y 等于1）的个体，例如值得被雇佣、值得被录取的人等。机会均等不关心在不同受保护群体中公平地拒绝人。
可以说，假阳性率和真阳性率不需要在受保护类别间都相等；我们只需要真阳性率在受保护类别间相等。在某种程度上，机会均等比均等几率干预性更小，根据你的具体情况和实施挑战，可能更容易实现。
在雇佣的例子中，我们只关心那些值得被雇佣的个体，即实际合格的申请人。而在被拒绝的申请人中，我们有时可能不公平地拒绝了人。
回顾与总结
以下是关于最后两个视频的一些思考问题：
-
什么是人口统计均等？
-
什么是公平无视？
-
群体层面的公平总是最好的吗？
-
什么是混淆矩阵？
-
什么是均等几率标准？你何时可能想使用它？
本节课由美国国际开发署通过MIT数字学习实验室资助。这是与我的教师同事——波士顿学院的Lily Mor和Gerald Kane，以及MIT数字学习实验室的研究助理Yaziita Wat——合作完成的。
如果你想了解更多，请查阅以下参考文献。
非常感谢观看本视频，希望你觉得它有用，并继续观看本课程的其他部分。
图表说明
-
图1：混淆矩阵：展示了二元分类中真阳性、假阳性、真阴性、假阴性的分布。
-
图2：公平性权衡空间：一个二维坐标图，横轴是“对个体公平”，纵轴是“对群体公平”。图中标注了四个象限可能对应的公平性情况，例如“高个体公平，高群体公平”（理想情况）、“低个体公平，高群体公平”（可能由强制群体配额导致）等，直观展示了不同公平性标准可能带来的权衡。
006：受保护属性与“通过无意识实现公平”
在本节课中，我们将要学习机器学习中的受保护属性概念，以及一种基础的公平性处理方法——“通过无意识实现公平”。我们将探讨法律如何定义受保护属性，并通过实例了解机器学习模型如何无意中引入偏见。
机器学习既带来机遇，也带来风险。它可以自动化重复性任务以降低成本，但也可能引入偏见。某些个人属性通常被标记为受保护属性，因为它们可能是社会偏见的来源。这些属性包括种族、宗教、国籍、性别、婚姻状况、年龄和社会经济地位。
在美国，基于这些受保护属性在住房、贷款和就业方面的歧视是非法的。以下是一些相关法律供参考：
-
《民权法案》第七章
-
《公平住房法案》
-
《平等信贷机会法案》
-
《就业年龄歧视法案》
然而，无论法律框架如何，机器学习仍有可能无意中引入偏见。本节课我们将看几个例子。下一讲将探讨一些减轻这种无意偏见的方法。
即使是大公司也可能存在歧视。例如，亚马逊曾使用机器学习算法筛选简历，后来发现该算法歧视女性申请人。在另一个来自刑事司法系统的例子中，机器学习被用于评估再犯风险。该系统在多项研究中受到质疑，特别是关于种族和性别这两个受保护属性。还有一个例子涉及大型组织使用机器学习展示广告，Facebook曾因涉嫌违反《公平住房法案》而被起诉。
因此，即使是亚马逊和Facebook这样的大型组织，也发现机器学习公平性具有挑战性。我们希望本课程能帮助软件工程师更好地应对机器学习公平性问题。
一般来说，在实现机器学习算法之前，你需要收集数据来训练算法。这个数据集包含结果变量 y（例如，决定雇佣或不雇佣）以及所有预测变量（例如，从简历中收集的特征）。这个完整的数据集随后需要被分割为训练集（模型在此学习）和测试集（我们在此评估模型性能）。还有其他细节如交叉验证，此处不展开，但鼓励你进一步学习。
高质量的训练集是良好预测的基础。低质量数据通常会导致糟糕的预测。为数据打标签的个体（例如，将简历标记为“雇佣”或“不雇佣”的经理）可能带有偏见，这些偏见随后会被机器学习算法习得。训练数据可能对某些群体不具有代表性，这可能导致偏见。此外，输入数据中可能存在隐藏的相关性，例如一个受保护属性与另一个预测变量相关，这也可能导致偏见。为数据打标签的个体可能做出有偏见的判断，这种现象被称为选择性感知，其本身也可能成为偏见的来源。
机器学习中默认的公平性方法是“通过无意识实现公平”。它指的是在模型训练中排除受保护属性，如性别、种族和其他被视为敏感的特征。
人们曾认为这种方法可以消除不平等，但实际上发现它可能延续不平等。它可能通过以下方式做到这一点：数据中可能存在其他与受保护属性高度相关的属性，当我们忽略受保护属性时，这些相关属性仍会被包含在模型中。这实际上可能延续不平等。当种族、性别和其他敏感变量被保护时，其他变量如毕业院校、家乡或其他简历指标（这些可能不受保护）仍可能与这些受保护属性高度相关。因此，完全忽略受保护属性可能无法揭示数据中这些隐藏的相关性。这被称为代理编码。
在一个例子中，卡内基梅隆大学的研究发现，性别在谷歌的广告系统中引发了无意的变化，例如高收入工作的广告展示给男性的频率几乎是展示给女性的六倍。这可能是“通过无意识实现公平”的一个例子。
以下是关于本材料的一些思考问题：
-
在你工作的环境中，哪些是敏感属性？
-
你认为当前的受保护属性列表是详尽无遗的吗？
-
什么是“通过无意识实现公平”？
-
在你所在的国家，哪些变量可能导致机器学习招聘系统产生有偏见的预测？
-
一个组织选择“通过无意识实现公平”方法会面临哪些风险？
我要感谢我的合著者Li Morrisris、Gerald Kane和Yazida Wad，他们的一项研究帮助我整理了所有这些幻灯片。同时感谢USAID关于在发展中国家适当使用机器学习的资助，以及卡尔管理学院的研究经费。我还要感谢所有为这些视频及配套手稿提供反馈的人。
我想与你分享一些我在准备这些材料时发现有用的参考文献，希望你能进一步阅读。感谢你观看本视频的专注。非常感谢你观看本视频，希望你觉得它有用，并继续观看本课程的其他部分。
🎼好的。
本节课总结
本节课我们一起学习了机器学习公平性的核心概念。我们首先了解了受保护属性（如种族、性别）的法律定义及其作为偏见来源的重要性。接着，我们探讨了机器学习模型无意中引入偏见的风险，并通过亚马逊、刑事司法系统和Facebook的实例进行了说明。然后，我们详细介绍了基础的公平性处理方法——“通过无意识实现公平”，即从模型中排除受保护属性。然而，我们也认识到这种方法可能因代理编码（即其他变量与受保护属性高度相关）而失效，从而无意中延续不平等。最后，我们提出了一系列问题，引导大家思考如何在实际工作中识别和应对这些公平性挑战。
007：缓解 UCI 成人数据集中的性别偏见
概述
在本节课中，我们将通过一个具体案例，学习如何识别和缓解机器学习模型中的偏见。我们将以 UCI 成人数据集为例，重点探讨如何减轻模型在预测收入类别时存在的性别偏见。课程将涵盖从理解算法偏见到应用多种数据及模型层面的去偏技术的完整流程。
第一部分：算法偏见概述
在本节中，我们将理解算法偏见的定义、来源及其影响。
算法偏见（或模型偏见）指的是算法或模型中存在的系统性错误，这些错误可能导致不公平的结果。我们将通过查看模型在不同性别群体上的错误差异，来定性和定量地识别偏见。请注意，本课程中使用的“性别”一词指代出生时的生理性别。
算法偏见的潜在来源主要有两个：
-
数据收集阶段：收集的数据本身可能包含对某些群体的系统性偏见或刻板印象。当数据集中不同群体的代表性不均衡时，也会产生偏见。
-
模型训练过程：当我们的模型在训练过程中没有因存在偏见而受到惩罚时。
算法偏见之所以成为问题，是因为它会导致对某些个体或群体的不公平结果，并可能进一步传播偏见，形成偏见的恶性循环。
第二部分：探索 UCI 成人数据集
上一节我们介绍了算法偏见的概念，本节中我们来看看我们将要使用的数据集。
UCI 成人数据集是最流行的机器学习数据集之一，可从 UCI 机器学习资源库获取。该数据集包含超过 48，000 个数据点，提取自 1994 年美国人口普查数据库。每个数据点包含 15 个特征，包括年龄、工作类别、教育程度、关系、种族、性别、薪资等。
以下是数据集中的一些关键分布：
-
性别分布：约 16，000 人标识为女性，约 32，000 人标识为男性。
-
种族分布：略多于 40，000 人标识为白人，约 4，000 至 5，000 人标识为黑人，其余为其他少数族裔。
-
收入分布：约 37，000 人年收入小于或等于 50，000 美元，仅约 12，000 至 13，000 人年收入大于 50，000 美元。
观察不同性别群体的收入水平分布可以发现，男性中高收入（> $50K）者的比例约为三分之一，而在女性群体中，这一比例降至约 20%。一个重要的观察是，在高收入类别中，男性数据点的数量显著超过女性数据点，超出三倍多。因此，思考这种代表性差异如何影响基于此数据训练的模型的预测至关重要。
第三部分：数据预处理
在了解了数据集的基本情况后，我们需要将原始数据转换为适合机器学习任务的数值或分类表示。
以下是主要的转换步骤：
-
二值化：对于只有两个可能值的属性，如“性别”（sex）和“薪资”（salary），我们将其转换为二进制标签（例如，0 和 1）。对于“原籍国”（native-country），我们决定将其转换为是否来自美国的二值标签。
-
独热编码：对于具有两个以上可能值的分类属性，如“关系”（relationship），我们使用独热编码。独热编码比二值编码更强大，因为它可以编码任意大小的类别集合。
我们将相同的转换应用于所有其他分类属性。在大多数情况下，为了简单起见，我们选择了二值编码，但这通常需要根据具体应用情况逐案决定。需要注意的是，将“工作类别”（work-class）等特征转换为二值可能存在问题，因为如果来自不同类别的人收入水平存在系统性差异，信息会丢失。另一方面，如果不这样做，当某个类别数据点极少时，模型可能难以从中学习。
第四部分：识别性别偏见
数据准备就绪后，本节我们将应用标准的机器学习方法，并在预测收入类别的任务中评估模型存在的性别偏见。
我们首先将数据集拆分为训练集和测试集，然后在训练数据上拟合一个多层感知器分类器，并使用该模型在测试数据上进行预测。
在评估模型之前，我们先建立一些术语：
-
正类：指年收入大于 50，000 美元的群体（高收入类别）。
-
负类：指年收入小于或等于 50，000 美元的群体（低收入类别）。
现在，让我们查看之前训练的模型在不同性别群体上的各种误差指标：
-
准确率：男性群体的准确率约为 0.8，女性群体的准确率约为 0.9。
-
正类预测率与真正率：这两项指标在男性群体中均高于女性群体。
-
负类预测率与真负率：这两项指标在女性群体中均高于男性群体。
我们刚刚看到的指标表明，男性和女性群体之间的误差率存在一致的差异。这就是我们定义的性别偏见。在这种情况下，减轻性别偏见等同于使用不同的技术来最小化这种差异，这将是本课程剩余部分的重点。
第五部分：基于数据的去偏技术
我们已经识别出模型存在性别偏见，本节中我们将探索基于数据的去偏技术。具体来说，我们将研究如何重新校准或增强数据集，以使预测的偏见更小。
其背后的动机源于一个假设：性别偏见可能源于数据集中男性和女性群体代表性不均衡。因此，我们尝试重新校准或增强数据集，旨在平衡训练数据中的性别代表性。
以下是几种基于数据的去偏技术：
1. 通过无意识化去偏
在这种技术中，我们通过从训练属性中移除“性别”特征来减轻性别偏见。
# 示例代码：从特征中删除‘sex’列
X_train_debiased = X_train.drop(columns=[‘sex’])
X_test_debiased = X_test.drop(columns=[‘sex’])
观察结果：虽然准确率差距没有显著改善，但我们能够减少正类预测率、负类预测率、真正率和真负率等指标的差距。这说明了去偏技术可能无法在所有指标上都取得改进，但可能对我们关心的某个指标带来显著改善。
通过无意识化去偏可以在一定程度上减轻性别偏见，但研究表明，如果数据集中存在与我们所删除的受保护属性（如性别）相关的其他特征（称为代理变量），这种方法可能无效。
2. 均衡数据点数量
在这种方法中，我们将尝试通过使用每个性别类别中数据点的数量或比例来均衡代表性。
-
均衡每个性别类别的数据点数量：我们从数据中抽取一个样本，使得男性和女性群体的数据点数量相等。
-
均衡每个性别类别内各收入水平的数据点数量：这意味着在用于训练的样本中，男性和女性群体中高收入和低收入者的数量相同。
这种方法的缺点是，所得数据集的大小取决于最小群体的大小。如果最小群体的数据点非常少，最终得到的训练集将非常小。
3. 均衡数据点比例
在这种方法中，我们均衡每个性别类别内高收入与低收入数据点的比例。这通常会产生比均衡数量更大的样本量。
4. 反事实数据增强
在这种方法中，对于每个具有给定性别的数据点 Xi，我们生成一个新的数据点 Yi，Yi 仅在性别属性上与 Xi 不同，然后将 Yi 添加到我们的训练数据集中。
# 示例代码：反事实数据增强
# 假设 df 是原始 DataFrame，‘sex’ 是性别列
df_counterfactual = df.copy()
df_counterfactual[‘sex’] = 1 - df_counterfactual[‘sex’] # 翻转性别
augmented_df = pd.concat([df， df_counterfactual])
观察结果：通过反事实数据增强，男性和女性群体在所有观察指标上的差距几乎消失，这正是我们对一个公平的机器学习模型的期望。
技术对比
比较迄今为止所有方法的关键指标可以发现：
-
整体准确率：像“均衡每个性别数据点数量”或“反事实增强”这样的技术能带来更高的准确率，而像“无意识化”这样的技术并不总能保证更高的准确率。
-
跨性别准确率：“反事实增强”技术的男女准确率差距最小。
-
其他指标：“反事实增强”在正/负类预测率、真正/真负率上的跨性别差距也最小或接近最小。
第六部分：基于模型的去偏技术
除了处理数据，我们还可以从模型本身入手。本节我们将探索基于模型的去偏技术，具体来说，我们将查看不同的模型类型和架构，并检查它们在男性和女性群体上的表现。
我们首先检查单一模型架构，例如逻辑回归、支持向量机、随机森林、高斯朴素贝叶斯等。对于每个模型族，我们选择一个模型并在数据上进行训练。
接着，我们检查多模型集成架构。在这种方法中，我们在相同数据上训练一组不同的模型，然后基于共识做出最终预测。我们比较了两种共识类型：
-
硬投票：最终预测是所有模型中占多数的预测。
-
软投票：最终预测是所有模型预测的平均值。
评估与比较
现在，让我们评估和比较迄今为止训练的所有模型类型和架构的指标。
-
整体准确率：随机森林分类器的准确率最高（约94%），高斯朴素贝叶斯模型准确率较低（约72%）。
-
跨性别准确率：根据模型类型的不同，男性和女性群体之间的准确率差距存在不同水平，这表明不同模型天生具有不同水平的偏见。
-
正/负类预测率：对于所有观察的模型，男性群体的正类预测率始终高于女性群体。这在现实世界中部署模型时可能存在问题，因为会导致模型系统性地为男性群体预测更多的正类结果。
-
真正/真负率：男性个体的真正率始终高于女性个体，而女性个体的真负率始终高于男性个体。这尤其成问题，因为它表明模型学会了更好地分类高收入男性而非高收入女性，以及更好地分类低收入女性而非低收入男性，这可能扩大男女之间的差距。
为了考虑随机性，我们进行了多次实验以获取平均模型行为。通过比较多个训练阶段的指标，我们发现：
-
准确率差异：逻辑回归、硬投票或SVC等模型的准确率差异显著低于高斯朴素贝叶斯或随机森林。
-
正/负类预测率差异：逻辑回归、SVC或硬投票等模型的差异显著低于高斯朴素贝叶斯。
-
真正/真负率差异：逻辑回归或SVC等模型在真正率上表现出较高的差异和变异性，但在真负率上则表现出较低的差异和变异性。
因此，非常重要的是要看到这些模型在偏见方面具有不同的内在行为。
第七部分：总结与后续步骤
在本节课中，我们一起学习了如何通过UCI成人数据集的案例，识别和缓解机器学习中的性别偏见。我们探讨了算法偏见的来源，并实践了基于数据（如无意识化、均衡采样、反事实增强）和基于模型（选择不同算法和集成方法）的多种去偏技术。
为了深化理解和应用机器学习伦理，建议采取以下后续步骤：
-
查阅代码：访问本课程相关的GitHub仓库，以加深对实际工作的理解。
-
探索高级技术：鼓励探索更先进的去偏技术。
-
分享与讨论：在团队、组织或社区内分享和讨论这些发现。
-
付诸实践：最重要的是，将所学知识应用到日常工作中，积极构建偏见更少的机器学习应用。
通过持续学习和实践，我们可以共同努力，推动机器学习技术向更加公平、负责任的方向发展。
机器学习公平性探索：P08：肺健康案例研究 - 偏差探索
在本节课中，我们将通过一个肺健康诊断的案例研究，探讨机器学习模型中的偏差问题。我们将重点关注代表性数据对模型准确性的影响。
概述
肺病，包括哮喘、慢性阻塞性肺病、过敏性鼻炎等，如果未被发现，可能对健康造成重大损害。在医疗资源有限的偏远地区，这些疾病常常得不到诊断和治疗。本案例研究的动机是开发一个筛查工具，帮助社区卫生工作者判断出现肺病症状的患者是否真的患有肺病。
数据收集与构成
为开发此工具，研究人员于2015年至2018年间，在印度浦那的诊所收集了303名患者的数据。数据来源包括两项检查：由Fletcher博士团队开发的移动健康诊断套件，以及肺功能测试实验室的一组测量结果。医疗人员对患者进行了诊断，重点关注哮喘、过敏性鼻炎和慢性阻塞性肺病。
患者总体疾病分布如下图所示：数据包含175名肺病患者和87名健康患者。患者可能同时患有多重肺病，例如同时患有哮喘和慢性阻塞性肺病。
研究方法
本次关于偏差的研究在两个受保护变量上进行：性别和收入。收入考量中，患者被分为低收入或高收入两类。
总体研究方法是：将数据划分为一个较大的训练数据超集和一个测试数据集。使用带有L2正则化的逻辑回归模型进行疾病预测。
为了训练模型，从超集中随机抽取训练数据子集，这些子集在受保护变量上被有意引入了不平衡性。例如，在收入方面，训练数据子集的范围从50%高收入和50%低收入，到87.5%高收入和12.5%低收入。为了考虑随机误差，每个测试条件都运行了一千次。使用受试者工作特征曲线下的面积作为准确性指标。
性别偏差分析
首先，我们来看性别偏差分析。训练数据集和测试数据集的划分如下图所示。
训练数据中男性与女性的代表性比例从50:50变化到87.5:12.5。过敏性鼻炎、哮喘和慢性阻塞性肺病的预测准确性结果如下图所示。
数据显示，随着数据中性别不平衡的引入，算法准确性没有显著下降。考虑到我们在整个课程中一直强调数据的代表性原则，这个结果可能令人惊讶。然而，必须注意，受保护变量不一定影响结果变量，缺乏代表性并不总是会给模型带来偏差或不公平性。
观察结果，我们还注意到算法在预测女性慢性阻塞性肺病方面比男性更准确。为了进一步探索结果，我们查看了其他变量与性别的相关性。
在我们的数据集中，我们发现吸烟与性别高度相关。55%的男性报告不吸烟，而100%的女性报告不吸烟。因此，女性群体更加同质化，从而允许更高的预测准确性。
收入偏差分析
接下来，我们转向收入偏差分析。训练数据集和测试数据集的划分如下图所示。
与性别研究类似，训练数据集基于收入的代表性比例也进行了变化。过敏性鼻炎、哮喘和慢性阻塞性肺病的预测准确性结果如下图所示。
同样，我们看到随着样本内代表性的变化，准确性差异非常小。慢性阻塞性肺病对社会经济地位最为敏感，高收入和低收入人群的模型准确性存在4%的差异。哮喘和过敏性鼻炎的表现则没有差异。
总结
在本节课中，我们一起学习了通过印度肺病案例研究探索机器学习公平性。我们发现，对于这个特定的案例，在性别和收入这两个受保护变量上的代表性，对模型准确性并未起到很大作用。
作为构建机器学习模型的一部分，检查受保护属性可能对模型产生何种影响（如果有的话）始终非常重要。在现实世界中，不可能找到完全平衡的数据集，而像本案例描述的这类测试，可以用来检查数据在受保护变量上的代表性对模型准确性的实际影响。理解这些权衡至关重要，以便在构建模型时做出明智的决策。
009：识别并缓解自然语言处理中的非预期人口统计偏见
在本节课中，我们将学习一个关于自然语言处理（NLP）中公平性的具体案例研究。我们将探讨什么是非预期的人口统计偏见，它如何潜入机器学习流程，以及研究人员如何测量并尝试缓解这种偏见。
概述：人工智能、公平性与自然语言处理
人工智能有以多种方式影响社会的巨大潜力。例如，在银行业，许多公司试图利用机器学习，根据个人数据来预测其是否会贷款违约。由于机器学习被用于此类高风险应用，导致不公平的错误可能会引发歧视，阻止某些人口统计群体获得公平的贷款。这个问题在发展中国家尤为重要，那里可能没有成熟的信用体系，将越来越多地依赖机器学习模型（如替代性信用评分机制）来做这些高风险决策。
本项研究聚焦于机器学习在自然语言处理中的应用。研究NLP中的公平性很重要，因为它被广泛应用于从教育到营销等多个领域。此外，在标准的NLP流程中存在许多非预期人口统计偏见的来源。我们将NLP流程定义为从收集自然语言数据到基于NLP模型对结果数据的预测做出决策的一系列步骤组合。最后，NLP系统的数据比银行或医疗等领域的表格数据更容易获取。公司可能因隐私问题不愿分享数据，但NLP数据，尤其是英语、法语等广泛使用的语言数据，可以从社交媒体、正式或非正式出版物等多种来源获得，这使得研究如何使NLP系统更公平更为可行。
理解非预期人口统计偏见
现在我们来分解“非预期人口统计偏见”的含义。
-
“非预期” 意味着这种偏见是机器学习模型学习过程中产生的不良副作用。
-
“人口统计” 意味着这种偏见转化为人口统计群体间的某种不平等，可能导致下游机器学习模型产生歧视。
-
“偏见” 是NLP流程中导致这种不公平的人工产物。“偏见”是一个宽泛的术语，因此我们聚焦于导致典型机器学习应用不公平的特定形式偏见，例如基于性别的偏见。一个机器学习模型可能仅仅因为训练数据中的关联，就将特定类型的工作与特定性别联系起来。
在非预期人口统计偏见中，我们将重点关注NLP应用中的两种偏见类型：
-
情感分析偏见：分析词语或短语相关积极或消极情感的系统中的偏见。
-
毒性分析偏见：检测词语或短语中贬损或冒犯性术语的系统中的偏见。
情感偏见是导致情感分析系统不公平的机器学习流程人工产物。毒性偏见是导致从文本预测毒性的系统不公平的流程人工产物。在这两种情况下，重要的是我们的机器学习模型不应使用描述某人人口统计特征的敏感属性（如种族、国籍）来判定一个句子应具有积极/消极情感或毒性高低。
毒性分类用于多种应用，例如筛选过于有毒或冒犯的在线评论。不幸的是，这些算法可能非常不公平。例如，一个句子是否有毒的决定可能仅仅取决于句子中出现的人口身份术语（如“美国人”或“墨西哥人”）。这种不公平可能由NLP流程中的许多不同人工产物引起。例如，某些国籍和族裔群体在历史上更频繁地被边缘化，这反映在与他们相关的语言中。因此，在此类数据集上训练NLP算法可能导致某种形式的非预期人口统计偏见。
我们需要厘清非预期人口统计偏见与不公平之间的关系。非预期人口统计偏见可以从多种来源进入典型的机器学习流程，从语料库到词嵌入，再到数据集、算法，最后到用于决策的阈值。而可能的不公平或歧视发生在机器学习模型与社会接触并实际造成伤害的时刻。本项工作旨在NLP流程的每个阶段（从语料库到决策层面）识别和缓解非预期人口统计偏见。
我们的主要目标是找到方法来缓解文本语料库或用于构建NLP应用的数据表示类型中可能固有的偏见。在本模块中，我们将介绍测量词嵌入中的非预期人口统计偏见，以及使用对抗性学习来缓解词嵌入偏见。对应的论文走得更远，涵盖了在NLP流程其他阶段识别和缓解偏见的技术。
测量词嵌入偏见
上一节我们介绍了偏见可能潜入NLP流程的各个阶段。本节中，我们来看看如何具体测量词嵌入中的偏见。
词嵌入将文本编码到向量空间中，词之间的距离描述了某种语义含义。这使得我们可以完成类比，例如“男人”之于“女人”如同“国王”之于“王后”。不幸的是，研究人员发现，即使对于从谷歌新闻文章训练的词嵌入，词嵌入空间中也存在偏见，类比变成了“男人”之于“女人”如同“计算机程序员”之于“家庭主妇”（另一个词是“家庭妇女”）。考虑到词嵌入可能被用于实际预测某人是否应获得某份工作的NLP应用中，这令人担忧。然而，仅基于向量空间类比难以量化偏见。
在这项工作中，研究人员Sweeney和Najafian开发了一个系统，将词嵌入中的情感偏见测量为一个具体数字。他们的做法是：取有偏见的词嵌入，并用它们来初始化一个无偏见的词级情感数据集。他们在此数据集上训练一个逻辑回归分类器，并预测一组身份术语（例如，描述不同国籍的人口统计术语）的消极情感。他们分析每个身份术语的消极情感，并预测一个描述词嵌入偏见的分数。
这个分数是国籍身份术语的消极情感概率集合与均匀分布之间的差异。均匀分布描述了一个完全公平的情况，即每个人口统计群体在词嵌入模型中接收到相等的情感量。
缓解词嵌入偏见：对抗性学习
现在我们已经掌握了词嵌入偏见的概念，可以开始探索如何缓解这种偏见。在论文中，Sweeney和Najafian描述了如何使用对抗性学习来消除词嵌入中的偏见。
不同的身份术语可能与积极或消极情感子空间有或多或少的关联。例如，“美国人”、“墨西哥人”、“德国人”等词可能与消极情感子空间或积极情感子空间有更多关联，因为在所使用的数据集中，它们可能更频繁地与消极或积极情感同时出现。如果下游机器学习模型捕捉到这些关联，将令人担忧。理想情况下，我们希望这些身份术语在向量空间中的含义不被扭曲的前提下，在消极和积极情感子空间之间达到一个中立点，这样词嵌入模型仍然有用。
他们使用一种对抗性学习算法来实现这一目标。该算法的更多细节在对应的论文中描述。
评估缓解效果：公平性指标
现在我将展示他们评估对抗性学习算法如何消除词嵌入偏见，并使最终的NLP系统更公平的部分工作。
我们关注情感分析和毒性预测这两个现实系统。针对每个应用，Sweeney和Najafian定义了公平性指标，以告知我们有偏见的词嵌入是否真正起到了帮助作用。
这些公平性指标通常以模板化数据集的形式出现。研究人员创建这些数据集有时是为了揭示针对不同人口统计群体的不同偏见。例如，一个数据集旨在通过在相同句子中替换名字，来揭示非洲裔美国人名字与欧裔美国人名字之间的偏见。
类似的模板数据集也被创建用于毒性分类算法，在句子中替换不同的人口身份术语，并比较整体毒性预测的差异。
Sweeney和Najafian使用这些模板数据集来计算一个真实毒性分类器的公平性。下图展示了一个在毒性分类数据集上训练的卷积神经网络（CNN）的每术语AUC（曲线下面积）分布。X轴代表模板数据集中包含该身份术语的每个人口统计群体。每个点代表CNN的一次特定训练运行。Y轴描述了该模板数据集的AUC准确率。可以看到，不同人口统计群体之间的准确率存在很大差异。
理想情况下，我们希望不同训练运行间的变异被压缩，同时不同人口统计群体间AUC分数的差异更小。Sweeney和Najafian表明，使用他们消除偏见的词嵌入的毒性分类算法能产生更好的结果。
本幻灯片展示了CNN在不同去偏见处理下的每术语AUC分布结果。Sweeney和Najafian测量了他们的词嵌入去偏见方法与其他先进技术的比较。对这些图的进一步讨论和评估在对应的论文中呈现。
总结与关键要点
本节课中，我们一起学习了识别和缓解NLP中非预期人口统计偏见的案例。最后，我们来总结一下该项目的几个关键要点。
首先，没有万能的解决方案。在试图使NLP系统更公平时，存在许多不同类型的应用和各种需要纠正的偏见。
其次，偏见可能源自机器学习流程的任何阶段。因此，拥有在机器学习流程所有阶段识别和缓解偏见的工具至关重要。
最后，我们聚焦于在学术背景下解决NLP流程中的这个问题，但这不能完全在学术界解决。例如，数据集中（如文本语料库）的许多非预期偏见可能来自上游数据收集过程中的决策。此外，非预期偏见可能来自将模型部署到社会时的决策，当模型的使用方式与最初数据收集的初衷不符时，可能导致歧视。一个例子是，当从特定人口群体收集的数据被用于预测影响其他在数据收集中未被考虑的人口群体时。最后，为这些机器学习模型建立有效的反馈渠道非常重要。
本模块介绍的工作凸显了公平性为何是一个非常重要的概念。因此，对于数据科学家和工程师来说，不仅通过准确性，也通过公平性来衡量和理解他们的模型性能，是至关重要的。
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
0
0- 0
已为社区贡献525条内容
所有评论(0)