人工智能有偏见问题，这是我们的错

2016年，波士顿大学和微软的研究人员正在研究人工智能当他们发现我们每天使用的一些最受欢迎和最关键的服务背后的技术存在种族主义和性别歧视倾向时，算法。这一发现打破了传统观点，即人工智能不会像我们人类那样受到性别、种族和文化偏见的影响。

研究人员在研究中发现了这一点word-embedding算法这是一种人工智能，通过分析大量文本来发现不同单词之间的相关性和关联。例如，一个经过训练的词嵌入算法可以理解花的词与愉快的感觉密切相关。在更实际的层面上，词嵌入理解术语“计算机编程”与“c++”、“JavaScript”和“面向对象的分析与设计”密切相关。当集成到简历扫描应用程序中时，这个功能可以让雇主更轻松地找到合格的候选人。在搜索引擎中，它可以通过提供与搜索词语义相关的内容来提供更好的结果。

不过，波士顿大学和微软的研究人员发现，单词嵌入算法存在有问题的偏见，比如将“计算机程序员”与男性代词联系起来，将“家庭主妇”与女性代词联系起来。他们的研究结果发表在《科学》杂志上研究论文(在新窗口中打开)《男人之于计算机程序员就像女人之于家庭主妇?》是几篇揭穿人工智能中立神话并揭示算法偏见的报告之一。随着算法越来越多地参与我们的日常决策，这种现象正达到关键的程度。

算法偏见的起源

机器学习深度学习算法是大多数当代人工智能软件的基础。传统软件基于预定义和可验证的规则工作，与之相反，深度学习创建自己的规则(在新窗口中打开)并以身作则。

例如，为了创建一个基于深度学习的图像识别应用程序，程序员通过向算法提供标记数据来“训练”算法:在这种情况下，用照片标记它们包含的对象的名称。一旦算法获取了足够的样本，它就可以从类似标记的数据中收集到共同的模式，并使用该信息对未标记的样本进行分类。

这种机制使深度学习能够执行许多基于规则的软件几乎不可能完成的任务。但这也意味着深度学习软件可以继承隐性或显性的偏见。

“人工智能算法本身并没有偏见，”波士顿大学电气与计算机工程系教授文卡特什·萨里格拉马(Venkatesh Saligrama)说，他从事单词嵌入算法的研究。“它们具有确定性的功能，会捕捉到它们所训练的数据中已经存在的任何趋势。”

波士顿大学研究人员测试的词嵌入算法是在谷歌新闻(Google News)、维基百科(Wikipedia)和其他深深嵌入社会偏见的在线资源中对数十万篇文章进行的训练。举个例子，因为兄弟文化主导着科技产业(在新窗口中打开)在美国，男性名字更多地出现在与科技相关的工作中，这导致算法将男性与编程和软件工程等工作联系起来。

“算法在分辨是非方面没有人类思维的能力，”波士顿大学最后一年的博士生托尔加·博卢克巴斯补充道。人类可以判断自己行为的道德性，即使我们决定违反道德规范。但对于算法来说，数据才是最终的决定因素。

Saligrama和Bolukbasi并不是第一个对这种偏见提出警告的人。IBM、微软(Microsoft)和多伦多大学(University of Toronto)的研究人员强调，有必要防止人工智能中的算法歧视论文发表于2011年(在新窗口中打开)。当时，算法偏差是一个深奥的问题，深度学习还没有进入主流。然而，今天，算法偏见已经在我们所做的许多事情上留下了印记，比如阅读新闻、寻找朋友、网上购物和观看视频网飞公司和YouTube。

算法偏见的影响

2015年，谷歌不得不为其照片应用程序的算法问题道歉把两个黑人标记为大猩猩——也许是因为它的训练数据集没有足够的黑人照片。2016年，在44名获奖者中，有一名由人工智能评判的选美比赛(在新窗口中打开)在美国，几乎所有人都是白人，少数是亚洲人，只有一人皮肤黝黑。同样，原因是该算法主要是用白人的照片训练的。

谷歌照片，你们都搞砸了。我的朋友不是大猩猩。pic.twitter.com/SMkMCsNVX4(在新窗口中打开)

- jackyalcin在这里没有太多回应。DM (@jackyalcine)2015年6月29日(在新窗口中打开)

最近,这是对IBM和微软面部分析服务的测试(在新窗口中打开)发现这些公司的算法在检测浅肤色男性的性别方面几乎是完美无缺的，但在呈现深色皮肤女性的照片时却经常出错。

虽然这些事件可能造成的损害可以忽略不计，但在更关键的领域(如医疗保健、执法和招聘)，人工智能算法却并非如此。2016年，ProPublica的调查(在新窗口中打开)发现compass(人工智能驱动的软件，用于评估罪犯再犯的风险)对有色人种有偏见。这一发现尤其令人担忧，因为一些州的法官使用COMPAS来决定谁可以自由，谁可以留在监狱里。

在另一种情况下，a研究(在新窗口中打开)谷歌的广告平台(由深度学习算法驱动)发现，男性比女性更频繁地看到高薪工作的广告。另一项研究发现类似的问题(在新窗口中打开)领英的招聘广告。另一项研究表明，有偏见的招聘算法可能性增加50%(在新窗口中打开)发送面试邀请一个名字是欧洲裔美国人的人比一个名字是非裔美国人的人。

贷款审批、信用等级、奖学金等领域也面临着类似的威胁。

算法偏见更令人担忧，因为它可能会放大社会偏见。在人工智能是冷酷的、没有偏见或偏见的数学计算的错觉下，人类可能倾向于信任算法的判断，而不会质疑它。

在一个面试(在新窗口中打开)与《连线》杂志英国爱丁堡纳皮尔大学(Edinburgh Napier University)犯罪学讲师安德鲁•伍夫(Andrew Wooff)指出，“时间紧迫、资源密集”的警务领域可能导致执法人员过度依赖算法决策。他说:“我可以想象一种情况，警察可能会更多地依赖(人工智能驱动的)系统，而不是他们自己的决策过程。”“部分原因可能是，当出现问题时，你可以为自己的决定辩护。”

依赖有偏见的算法会产生一个反馈循环:我们做出的决定会产生更多有偏见的数据，然后算法会在未来对这些数据进行分析和训练。

这种事情已经在Facebook和Twitter等社交媒体网络上发生了。运行新闻提要的算法会创建“过滤泡沫(在新窗口中打开)，显示符合用户偏好和偏见的内容。这可能会使他们对对立的观点不那么宽容，也可能通过在政治和社会分歧中制造楔子，进一步使社会两极分化。

微软高级研究员詹恩•沃特曼•沃恩表示:“算法偏见可能会影响任何群体。”“数据中代表性不足的群体可能面临的风险尤其大。”

在已经以偏见著称的领域，比如科技行业的流行对妇女的歧视(在新窗口中打开)，人工智能算法可能会加剧这些偏见，导致那些没有得到很好代表的群体进一步边缘化。

沃特曼指出，健康是另一个关键领域。她说:“如果用于医学诊断的机器学习算法是在一个人群的数据上训练的，结果在其他人群中表现不佳，可能会导致严重的问题。”

偏见也可能以更微妙的方式造成伤害。沃特曼说:“去年我打算带女儿去理发，于是我在网上搜索了一些‘幼儿发型’的图片来寻找灵感。”但她注意到，返回的照片几乎都是白人儿童，主要是直发，更令人惊讶的是，主要是男孩。

专家称这种现象为“具象的伤害(在新窗口中打开):当技术强化了刻板印象或削弱了特定群体。“很难量化或衡量这种偏见的确切影响，但这并不意味着它不重要，”沃特曼说。

消除人工智能算法中的偏见

人工智能偏见日益严重的影响已经引起了一些组织和政府机构的注意，并且正在采取一些积极措施来解决围绕人工智能在不同领域使用的伦理和社会问题。

微软的产品严重依赖人工智能算法，该公司在三年前启动了一个名为“人工智能中的公平、问责、透明和道德”的研究项目。命运(在新窗口中打开))，旨在让用户在不受歧视和偏见的情况下，享受人工智能服务带来的更高洞察力和效率。

在某些情况下，比如人工智能评判的选美比赛，发现和修复人工智能算法偏见行为的来源可能就像检查和更改训练数据集中的照片一样简单。但在其他情况下，比如波士顿大学研究人员研究的词嵌入算法，偏见以更微妙的方式根植于训练数据中。

微软研究员亚当·卡莱(Adam Kalai)加入了波士顿大学的研究小组，他们开发了一种方法，根据性别分类对词嵌入进行分类，并识别出可能有偏见的类比。但他们并没有做出最终决定，而是由10个人在亚马逊的数据相关在线市场Mechanical Turk上管理每个可疑的关联，他们将决定是否应该删除该关联。

波士顿大学教授兼研究员Saligrama说:“我们不想把自己的偏见插入到这个过程中。”“我们只是提供了发现问题关联的工具。人类做了最后的决定。”

我们的编辑推荐

当人工智能模糊了现实与虚构之间的界限

在最近的一次纸(在新窗口中打开)， Kalai和其他研究人员建议使用单独的算法来对不同的人群进行分类，而不是对每个人都使用相同的方法。在现有数据已经偏向于特定群体的领域，这种方法可以证明是有效的。例如，评估应聘一份编程工作的女性求职者的算法，将使用最适合该群体的标准，而不是使用受现有偏见影响的更广泛的数据集。

微软的沃特曼认为，人工智能行业的包容性是对抗算法偏见的必要步骤。她说:“如果我们希望我们的人工智能系统对每个人都有用，而不仅仅是对特定人群有用，那么公司就需要雇佣不同的团队来研究人工智能。”

2006年，沃特曼帮助发现机器学习中的女性(在新窗口中打开)(WiML)每年举办一次研讨会，在人工智能行业学习和工作的女性可以在研讨会上与工业界和学术界的资深女性见面、交流、交流想法，并参加小组讨论。类似的努力是新的AI Workshop中的黑色(在新窗口中打开)该公司由微软另一位研究员蒂姆尼特•格布鲁(Timnit Gebru)创立，旨在培养更多元化的人工智能人才。

波士顿大学的Bolukbasi还建议改变人工智能算法解决问题的方式。“算法会选择一个最大化其目标的规则集。对于给定的输入输出对，可能有很多方法可以得出相同的结论。“以人类的多项选择题测试为例。一个人可以用错误的思维过程得出正确的答案，但仍然得到同样的分数。一个高质量的考试应该尽量减少这种影响，只允许真正了解主题的人得到正确的分数。让算法意识到社会约束可以看作是这个例子的类比(尽管不是一个精确的例子)，在这个例子中，学习错误的规则集是在目标中受到惩罚的。这是一个持续且具有挑战性的研究课题。”

AI的不透明性使公平性复杂化

另一个阻碍人工智能算法公平的挑战是的“黑匣子”现象(在新窗口中打开)。在许多情况下，公司都小心翼翼地保护着自己的算法:例如，犯罪预测软件COMPAS的制造商Northpointe Inc.就采取了这种做法拒绝透露(在新窗口中打开)它的专有算法。唯一了解COMPAS内部运作的人是它的程序员，而不是用它来做判决的法官。

除了企业保密之外，人工智能算法有时会变得非常复杂，以至于它们做出决定背后的原因和机制甚至连它们的创造者都不知道。在英国，达勒姆警方使用人工智能系统HART(在新窗口中打开)确定嫌疑人在两年内是否有进一步犯罪的低、中、高风险。但是2017年学术审查(在新窗口中打开)HART的首席执行官观察到，“不透明似乎很难避免。”这在一定程度上是因为该系统使用的数据数量庞大，种类繁多，因此很难分析其决策背后的原因。“这些细节可以向公众免费提供，但需要大量的时间和努力才能完全理解，”该报称。

几家公司和组织正在努力为人工智能带来透明度，包括谷歌，它已经推出了玻璃墙(在新窗口中打开)这是一项在不牺牲输出质量的情况下，使机器学习算法的行为更容易理解的倡议。美国国防高级研究计划局(DARPA)负责监督人工智能在军队中的应用，该机构也在资助一项使人工智能算法能够解释他们的决定(在新窗口中打开)。

在其他情况下，人类的判断将是处理偏见的关键。为了防止现有的种族和社会偏见潜入HART的算法，达勒姆警察局为其员工提供了关于无意识偏见的意识课程。警方还采取措施，消除种族特征等数据点，因为这些数据点可能会导致有偏见的决定。

人类的责任

从另一个角度来看，人工智能算法可以提供一个机会来反思我们自己的偏见和偏见。牛津大学数据伦理和算法研究员桑德拉·沃赫特(Sandra Wachter)表示:“世界是有偏见的，历史数据是有偏见的，因此我们得到有偏见的结果并不奇怪。《卫报》(在新窗口中打开)。

Wachter是伦敦艾伦图灵研究所(Alan Turing Institute)和牛津大学(University of Oxford)一个研究团队的成员，该团队发表了一篇论文，呼吁监管机构调查人工智能算法可能造成的歧视。

我也在谈论《卫报》，巴斯大学(University of Bath)的计算机科学家乔安娜·布莱森(Joanna Bryson)是一篇关于算法偏见的研究论文的合著者，她说:“很多人都说(算法偏见)表明人工智能有偏见。不。这表明我们有偏见，而人工智能正在学习它。”

2016年，微软推出了推特机器人Tay，旨在向人类学习并进行智能对话。但在Tay发布后的24小时内，微软不得不这么做关闭它因为它开始发表种族主义言论，这些言论是它从与推特用户的对话中发现的。也许这是一个提醒，我们人类承认自己在算法偏见现象的出现和传播中所扮演的角色，并采取集体措施消除其影响的时间已经过去了。

“这是一项非常复杂的任务，但这是我们作为一个社会不应该回避的责任，”Wachter说。

人工智能公司GumGum的创始人兼首席执行官Ophir Tanz谈到人工智能改变广告