2019年10月，来自几所大学的一组研究人员发表了一项毁灭性的发现:卫生组织广泛使用的商业算法是错误的歧视黑人病人(在新窗口打开)．
该算法后来被确认是由健康服务公司Optum提供的，它帮助医疗机构确定哪些患者有资格获得额外护理。根据研究人员的发现，在治疗糖尿病和肾脏问题等复杂疾病时，算法会优先考虑白人患者。
这是最近几起涉及算法的偏见的倾向人工智能做出给某一群体或人口不公平的优势的决定。算法偏差可以体现在许多领域，但在医学领域，它可能是致命的。
你的数据有偏见
人工智能系统的大多数改进都是因为人工智能技术的进步机器学习和深度学习．传统的人工智能系统是基于手工制作的软件规则，与之不同的是，深度学习系统通过检查大量的例子来发展自己的行为。
例如，开发一个预测乳腺癌的深度学习系统在美国，人工智能工程师创建了一个基础算法，并向它输入带有患者结果注解的乳房x线照片——癌症或没有癌症。该算法处理了这些例子，并发现了癌性和非癌性幻灯片的共同特征。它利用这些信息对以前从未见过的乳房x线照片进行预测。
在放射学和医学影像分析等少数领域，人工智能算法已经超越了人类的表现。但深度学习算法存在一个基本问题:它们经常采用在训练数据中发现的不必要的偏差。如果数据仅限于某一特定人群，那么它对其他人口统计数据的准确性就会降低。
“在北美收集的数据集纯粹是反映性的，导致非洲和亚洲不同地区的表现较低，反之亦然，因为某些遗传条件在某些群体中比其他群体更常见，”DarwinAI的联合创始人兼首席科学家亚历山大·王(Alexander Wong)说。
例如,几项研究(在新窗口打开)发现皮肤癌检测算法在用于深皮肤患者时不太准确，部分原因是人工智能模型主要是根据浅皮肤患者的图像进行训练的。
如果可能，人工智能系统的工程师会采取措施减少和消除偏见。但机器学习算法经常发现间接代表有问题的偏见的数据点。
前面提到的健康管理系统的开发人员已经从人工智能用于决策的数据中删除了种族信息。但该算法选择了医疗保健支出作为决定其产出的因素之一。消费实际上成为了种族和弱势黑人患者的代表，因为出于社会经济原因，他们的医疗成本更低。
缺乏透明度
虽然大多数关于算法偏见的研究都集中在性别、种族和年龄等已知因素上，但一些研究表明，机器学习算法经常会发现隐藏的偏见，这些偏见很难识别，但同样具有破坏性。问题是机器学习模型经常是黑匣子提供的能见度非常低因此，即使是它们的创造者也很难找到并修复有问题的偏见。
例如，皮肤癌检测算法通常是根据恶性痣和健康皮肤的图像进行训练的。但是，皮肤癌的照片通常包含尺子来描绘痣的大小，而健康的皮肤照片不包含任何物体。根据这些图像训练的人工智能系统最终可能会倾向于检测尺子，而不是恶性鼹鼠。如果不了解算法的显著特征，就很难发现它是否调整到了正确的特征。
机器学习算法也会对健康数据中不相关的相关性变得敏感。在一种情况下，a再入院算法(在新窗口打开)给哮喘患者低风险评分。该项目被吹捧为优于专家医生，它会建议肺炎患者入院治疗，但如果同一个人同时患有肺炎和哮喘，则会让他出院。
Wong说:“人们必须理解如何以及为什么决策是由人工智能算法做出的，以便识别偏差并设计解决它们的策略。”Wong的公司专门创建可解释的人工智能模型。“可解释性还使我们能够建立对人工智能算法的信任，这是医疗保健系统的关键。”
它能被修复吗?
医疗保健人工智能公司Jvion的首席执行官兼联合创始人山塔努·尼加姆表示:“作为一个人工智能社区，我们需要团结起来，分享最佳实践、流程和工具，以确保公平性、包容性、可靠性和透明度，同时维护隐私，并推动开发和部署过程中的问责制。”
一些努力正在进行中，以解决基于人工智能的医疗系统中的偏见和公平问题。去年的NeurIPS会议举办了一个研讨会来解决这个问题机器学习在健康应用中的公平性(在新窗口打开)．研讨会包括了几篇论文，探讨了算法公平性的评估，发现代理，以及校准亚群体的算法。和医疗保健人工智能联盟(在新窗口打开)是一个成立于2018年12月的非营利组织，它汇集了开发人员、设备制造商、研究人员和其他专业人士，以促进人工智能在医学中的安全和公平使用。
一些组织已经开始在数据收集过程、培训和人工智能算法测试中加入包容性和公平性。例如，谷歌最近发布人工智能乳腺癌筛查工具(在新窗口打开)它一直在测试在不同地理区域的表现是否一样好。
IBM人工智能研究中心的首席研究人员兼经理库什·r·瓦尔什尼(Kush R. Varshney)认为，在开发和发布医疗保健人工智能系统的过程中，增加透明度和合作有助于提高公平性。他说:“医疗保健领域人工智能的最佳实践和治理应该包括发布包含公平测试结果的情况说明书，并应该让多方利益相关者参与验证整个人工智能生命周期，以及围绕人工智能系统的组织/人力流程。”
Varshney说:“我们知道，机器学习模型的本质是在统计上区分各种特征，以便推广到新的、未见过的患者。”我们只需要确保他们在其他方面不存在歧视。
针对Apple Card的性别偏见展开调查
