算法在很大程度上决定了我们在线生活和工作的方式。它们决定了我们在网上看到的内容，并告诉我们将获得哪种类型的医疗保健。在这一集快进，迈克尔·卡恩斯，《伦理算法:伦理算法设计的科学(在新窗口中打开)，解释了人工智能如果我们以正确的方式设计系统，系统将使世界变得更好。
丹·科斯塔:你是宾夕法尼亚大学计算机和信息科学的教授，你写了一本书叫做伦理算法:具有社会意识的算法设计科学与同样来自宾夕法尼亚大学的亚伦·罗斯合作。它确实为我们提供了一个框架，告诉我们如何建造道德机器，这些机器实际上会遵守我们所渴望的道德准则。让我们从为什么算法很重要开始，当我们在人工智能中说算法时，我们的意思是什么，以及人们对算法本身没有意识到什么?
迈克尔·卡恩斯:首先，算法当然已经存在很长很长一段时间了，在电脑出现之前。人工智能和机器学习这也是非常古老的领域，但我认为在过去20年，尤其是最近10年，真正发生变化的是，人工智能和机器学习曾经被用于科学应用，因为在科学应用中有足够的数据来训练预测模型。消费互联网的兴起现在让我们所有人都产生了大量的数据，关于我们的活动、我们的位置、我们的偏好、我们的希望、我们的恐惧等等。现在有可能使用机器学习来个性化算法决策，有些决定是我们知道的，也希望算法为我们做出，有时甚至是我们没有意识到的决定。
人们可能没有意识到哪些决定?
在我们书中的许多例子中，决策对个人有很大的影响，他们甚至可能没有意识到算法正在被使用或被用来帮助决策过程。比如消费者贷款，当你申请贷款或信用卡时，你是否得到了贷款，大学录取决定，雇佣决定人力资源部门，甚至是非常重要的事情，比如医疗保健;还有，你会受到什么样的刑事判决，或者如果你被监禁了，你是否会得到假释。
快进:道德算法和邪恶人工智能大多数人没有意识到这在私营企业和政府中都在发生。理想情况下，引入这些东西是为了使决策过程更好、更明智、更少偏见。为什么这种情况没有发生?
我不认为大多数算法决策的主要目标是减少偏见，它通常是为了提高效率，并利用我们拥有大量数据的事实，可以用来建立预测模型。所以比起直接由人类来做决定，这往往是缓慢的，而且在很多方面是有偏见的，更容易和方便的方法是利用你拥有的数据来训练一个模型。这实际上是一种自我编程，对吧?而不是由计算机程序员根据贷款申请中输入的属性来决定谁应该获得贷款，谁不应该获得贷款，你只需要获得一堆关于你贷款给的人的历史数据，谁偿还了，谁没有偿还，然后你试着学习一个模型，将有信用的人与没有信用的人区分开来。我认为，在商业和其他领域，主要驱动力是效率，我们的书实际上是关于追求效率可能带来的附带损害。
我们来谈谈这些例子。几周前，有个关于医院的研究(在新窗口中打开)那就是使用一种算法来帮助确定向谁提供医疗服务以及提供多少医疗服务。有一些分析，确定该算法系统地对非裔美国患者服务不足，因此对白人患者服务过多。
是的，我认为实际上不是一家医院，而是很多医院都在使用一些第三方算法，出现了你描述的问题。它突出了种族、性别和其他因素的几种方式之一偏见会渗透到算法中。在那个特殊的案例中，问题并不在于算法，这通常是偏见或歧视的来源，也不在于数据本身，而是公司用来训练模型的目标。这个模型的目的是试图评估病人的健康状况，以决定他们需要什么样的医疗保健水平，或者通过某种治疗进行干预。但实际上，衡量一个人的健康状况是一件复杂的、多方面的事情。换句话说，很难收集到正确的数据来为这个目标进行训练。
这家公司所做的显然是说，“好吧，让我们用医疗成本来代表医疗。让我们假设在我们的历史数据集中，医疗费用较高的人病情较重，而医疗费用较低的人更健康。”问题是，它学会了歧视非裔美国人，因为他们总体上有较低的医疗成本，不是因为他们生病较少，而是因为他们获得医疗保健的机会较少。这是一个典型的例子，当你有一个目标时，很难实现这个目标，或者需要更昂贵的数据收集过程。然后他们使用这个代理，这个代理本质上使这种偏见延续到他们的模型中。
这很有趣，因为当你听到算法中的偏见时，你会想，当然，在某些情况下，你会问种族背景。这实际上是非常罕见的情况，它是那些次要的结果，那些你在第一次编程算法时可能不理解的相关性。
这是正确的。事实上，我认为近年来我们学到的一件事是，仅仅因为你在模型中没有包括种族或性别这样的变量，并不能保证你的模型最终不会受到种族和性别的歧视。这种情况发生的原因有很多，这很有趣，因为例如，在贷款和信贷方面，美国有长期存在的法律规定，“你不应该把种族作为你预测模型的输入因素。”在制定这些法律的时代，我认为其目的是保护少数民族免受模特歧视，但事实却如此。
发生这种情况的众多原因之一是，如今，尤其是当我们对自己了解得如此之多的时候，有太多关于我们的可用数据来源。像种族这样的事情有太多的代理。我的意思是，你不需要告诉我你是什么种族，我就能弄清楚，至少在统计学意义上，从其他数据来源。一个不幸的例子是，在美国，你的邮政编码已经是你种族的一个很好的指标。所以这是可能发生的事情。
我们来谈谈另一个被误解的算法的例子。你谈到了犯罪风险评估算法，其中包含了一种已经使用了近20年的算法。很多人都经历过这个系统，有一些报道说这个算法有缺陷，有公平性问题，但这个问题实际上是非常复杂和微妙的。
这又是一个相对较新的争议，我认为这有助于我们更好地理解算法公平性的挑战。一个校园建立了这个犯罪再犯预测模型，有点像少数派报告类型的模型，基于某人的犯罪历史，试图预测他们是否会再犯，或者在未来两年的某个时候再次犯下暴力犯罪。这些类型的风险评估模型经常在不同的司法管辖区被法官用来决定是否给予假释。所以这是非常非常重要的事情。非营利调查机构ProPublica仔细研究了这一模式，发现它存在系统性的种族偏见，歧视非裔美国人和其他少数族裔。
所以有争议，有来来回回(在新窗口中打开)在ProPublica和开发该模型的公司之间，ProPublica说:“你们的模式不公平。”然后NorthPointe公司，也就是开发它的公司，回来说，“不，我们故意意识到这些问题，我们确保我们的模型是公平的，但我们使用了另一种公平的定义。如果你深入研究这个问题，你会发现这两种关于公平的定义都是完全合理和可取的。事实上，你两个都想要。”然后研究人员开始挠头说:“好吧，谁在这里?”然后他们中的一些更倾向于理论的人坐下来思考，“在数学上是否有可能同时满足这两个公平定义?”然后他们证明了事实并非如此。这是特别有启发性的还是令人不安的取决于你的观点，因为它表明，公平的算法研究或公平的实现，将会有点混乱，你可能不得不，当你要求一种类型的公平时，你可能不得不放弃另一种。
我想我们已经很清楚了这很快就会变得多么复杂。在你的书中，你提供了一些关于如何从一开始就在这些算法中建立伦理的建议。我们该怎么做呢?
我们写这本书的主要目的是，我们是乐观主义者，我们是机器学习研究人员，但我们也意识到算法在过去五年里表现出的反社会行为，以及越来越多的公众对此的担忧。我们也有同样的担忧，我们觉得我们读过的大多数书，其中很多是我们非常喜欢的，都很善于指出问题所在;但当涉及到解决方案时，他们的答案是“我们需要更好的法律，我们需要更好的法规，我们需要监督团体，我们真的必须关注这些东西。”我们同意这一切，但我们认为，在这种情况下，监管或法律解决方案需要很长时间，对吧?
如果算法行为不当，我们可以首先考虑改进算法。如果我们担心一个犯罪累犯模型会显示出种族偏见，或者另一个算法会泄露私人数据，我们可以问问自己，我们是否可以从字面上改变这些算法中的代码，从而根除或至少减少这些问题。从我们的角度来看，好消息是在过去10年左右的时间里，这个领域越来越多的研究人员，包括我们自己，一直在研究如何做到这一点，以及这意味着什么。一般的食谱，如果你喜欢的话。我不认为我们已经到了可以称之为秘方的地步，但一般的过程是，首先你必须陈述你担心的是什么，比如隐私，泄露，或者公平，或者其他什么。
然后你需要，任何时候你要向计算机解释一些东西，任何时候你要把一些东西放进算法，你必须非常精确。你不能挥舞着手臂说，“嘿，试着更公平一点，”对吧?你需要选择一个公平的定义你可以用数学方法写下来你需要编码它，把它嵌入到算法本身。举个具体的例子，机器学习的许多问题都源于这样一个事实，即它通常有一个非常明确的单一目标，即最小化误差。所以你拿一些历史训练数据，你有一个用向量X表示的贷款申请，你有一些你知道历史上发生过的结果比如，这个人偿还了贷款或者他没有偿还贷款。
你通常会做的是拿一大堆这样的数据，然后说，“好吧，我想用一些机器学习算法来找到一个模型，在这个历史数据集中，在预测再贷款偿还时尽可能少出错。”完全明智的原则。问题是，特别是当模型类非常丰富和复杂时，我在声明中没有提到任何关于公平性的内容。所以我没有说，例如，“确保黑人的错误拒绝率不会比白人高太多。”我只是说要使总体误差最小化。例如，如果黑人在我的数据集中是少数群体，或者如果模型空间的某个小角落，整体空气可以减少，即使是无限度地减少，以种族歧视为代价，标准的机器学习将会针对那个角落。
那么解决办法是什么呢?宽泛地说，解决办法是改变目标函数，说，“不要只是把错误最小化，要把错误最小化，要在黑人和白人的错误拒绝率不超过1%或5%或10%的约束下。”你可以说，“我想要完全公平，不同种族之间的差异为0%，虚假拒绝。”或者我可以稍微放松一点，当然，如果我一直转动旋钮，允许100%的差异和错误拒绝率，这就像正常的机器学习一样。就好像我根本没有要求任何公平。
我想这与大多数工程师的想法是相反的，因为你基本上要牺牲精度来适应其他一些更哲学的原则。
我不认为科学家和工程师在这方面有什么困难。首先，他们理解机器学习的基本原理，比如最小化误差。他们也很擅长解决约束优化问题。所以他们当然能理解这种考虑公平性的替代方案背后的数学原理。
是CEO。最难的部分是生意。
对，因为这真的意味着，正如你所说，准确性降低了，对吧?如果最准确的模型，忽视公平是种族歧视，那么消除这种歧视只会让空气上升。我认为我们正处在这样一个时刻，这种权衡的科学已经很好地掌握了。我的意思是，在像COMPAS犯罪累犯数据集这样的实际数据集上，你实际上可以从数字上找出你所面临的准确性和公平性之间的权衡。首先，我认为最难的部分是向不喜欢量化的人解释这条曲线的含义。一旦他们理解了，就像是对他们说，“好，你需要在这条曲线上选一个点。你必须决定准确性和公平性的相对重要性。”
记住，在很多应用中，准确性转化为利润，对吧?所以，如果你是b谷歌和Facebook，你正在使用机器学习，为你的用户做有针对性的广告，代表你的客户，当然，他们是你的广告商。如果你决定执行，假设你想确保技术职位的广告同样频繁地针对所有种族和性别群体的相关人员，现在这是一个约束，你可能最终得到一个不太准确的预测模型——这意味着你的广告定位准确性变得更差，对那些公司来说，这意味着盈利能力下降。我认为，在大型科技公司和刑事判决等其他领域，我们正处于这样的阶段，但现在还为时尚早。
这也让我觉得很复杂，因为b谷歌有什么动机让它的算法足够透明，让人们一开始就能理解它们是如何工作的?
非常好的问题。一个答案可能会在未来出现，但很快就会出现，那就是他们可能很快就会面临一个不同的监管环境，对他们提出更多的这种形式的要求。当然，另一个原因是市场压力。我认为，随着人们对机器学习和人工智能的用途和附带副作用越来越感到担忧，这些公司将被追究更多的责任，因此它们可能理所当然地走在监管审查和自己的用户要求之前，或者可能转移到在这些社交方面做得更好的潜在竞争对手那里。我确实认为，从广义上讲，大型科技公司有很多非常有价值的知识产权，他们有权利保护这些知识产权，但现在我认为他们隐藏的东西比他们需要的要多，对吧?
任何时候，关于b谷歌搜索引擎存在偏见的问题——我说的偏见，不仅仅指种族偏见，我指的是市场对广告显示或不显示的压力，他们的基本答案是打电话给我们，“嘿，我们是科学家和工程师，我们正在使用非常有原则的方法来开发这些预测模型。坏事不会发生，所以请相信我们。”我认为现在面纱已经揭开了，我们意识到实际上这些科学原理可能是许多问题的根源。我确实认为科技公司在不损害其知识产权的情况下保持透明度还有很大的空间。这只是给他们足够的压力，让他们觉得他们会这么做的问题。
生活中是否有一个特定的领域是由算法主导的，而你认为大多数人都没有意识到?
我收集的大部分信息都是通过看大众媒体，然后决定，如果他们认为……我的意思是，当你在这个领域工作时，在过去的十年里，特别有趣的一件事就是媒体似乎觉得有趣的事情。有时会有一篇文章在媒体上引起轩然大波，机器学习人工智能社区的每个人都会说，“我们已经知道这个20年了。这篇文章为什么会出现《纽约时报》但它是一个有价值的指标，说明普通人对人工智能感到惊讶、不安或担忧的是什么。
我认为，科技和科技产品的重度消费者在很大程度上意识到他们正在接受调查的事实。他们的行踪被跟踪了。我的意思是，你无法想象当你需要Uber来接你的时候，你的GPS没有告诉你在哪里。
是的，事实上，当它偏离半个街区时，你会很生气。
这是正确的。所以，我认为人们很清楚这些设备正在收集这些信息，他们可以做出这样的推断，“哦，如果这个设备能在我想要的时候做到这一点，它可能也能在我不需要的时候做到这一点。”我认为更让人惊讶的是这些更重要的应用，比如功能障碍，比如刑事判决，你得到的医疗保健水平，或者在个性化医疗中为你做的目标定位，或者招聘决定，或者大学录取决定。我认为，人们仍然更多地相信，那里的自动化程度较低，一定会有一些信贷员仔细考虑你的情况。我不认为人们意识到这些天有多少是完全自主的，根本没有人参与。
我刚刚做了一些关于大数据的演讲，人们总是在问答环节问，在这种情况下，个人可以做些什么来控制局面?我真的没有一个好的答案。
我也没有一个好的答案。我曾经为此感到内疚。比如，“哇，你在技术、计算机科学和人工智能领域，你应该这样做。”当一位著名的安全专家Bruce Schneier写了很多书，其中一本叫，数据和歌利亚(在新窗口中打开)。这是一本非常好的书，讲述了互联网广告行业与政府的结合如何从本质上把我们推向了类似于监控国家的境地。然后他在书的最后有一节他说，好吧，你能做些什么他承认最基本的答案是下线。停止使用科技产品，他承认自己做不到。
他试图遵循良好的做法，比如不要使用多个模糊的密码，他使用的每个服务都不同，这是一个很大的痛苦，但在一天结束时，他承认这些……它们在晚上不会给你带来太多安慰。我认为真正的问题是我们必须问这样一个问题，我们每个人作为个体能做些什么?我认为正确的答案必须是社会力量迫使这些公司改变他们的做法，因为目前的做法，我认为我们任何人都无能为力。
他们必须在操作方式和使用这些工具的目的方面开放。
这是正确的。我的意思是，我认为经济模式需要改变或调整。我的意思是，这是陈词滥调，但确实是这样的情况，在消费者互联网发展的过程中，我们都希望一切都是免费的，我们为此做的交易可能没有意识到，或者意识得太晚了，“好吧，我们会让一切都免费，但我们会把它建立在广告和其他使用你的数据的基础上。”包括有时非常侵入性的数据，我们可以利用这些数据为你的免费服务付费。这基本上就是我们集体达成的协议。我并不是说，“哦，互联网上不应该有广告，现在一切都应该是基于订阅的经济模式。”我也不认为这是正确的极端，但我们需要一些东西来推动我们摆脱目前的经济模式。
有没有什么地方你认为人工智能和算法应该被阻止，应该留在一个真正的人做决定的范围内?
是的，我的意思是，即使在某些领域如果你正确地实施它并采用我们在书中描述的一些解决方案。当然，在很多很多领域，即使作为技术、人工智能和机器学习的信徒，我也更希望有人类的监督。我不是要求，不要使用数据，不要使用技术，不要使用人工智能和机器学习。但当然，就像在我的医疗保健中一样，我更喜欢与训练有素的医生和其他专业人士交谈。我很高兴了解他们使用的技术，当他们使用它的时候，我总是很放心，他们清楚地理解它，也明白它的局限性。所以，我不希望这种事情被自动化。
我认为在其他非常重要的领域，比如刑事判决，所以要明确的是，这仍然不是自动化的，对吧?这些风险评估模型，是法官考虑其他因素的输入，我认为这很好。我认为我们不应该在没有人看材料的情况下做出这种影响的决定。更多关于道德方面的问题，我们会在书的最后一章讨论。我确实认为，在某些领域，即使算法能做出比人类更准确的决策，让算法做出决策也会从根本上改变决策的本质。
所以，我认为在自动化战争中，比如在有针对性的无人机袭击中的决定。我不知道它们在多大程度上是完全自动化或无人驾驶的，但即使你告诉我，“哦，我们可以比人类远程操纵无人机更准确地做到这一点。”我认为杀死另一个人的决定有很好的理由，我们希望一个人真正做出这个决定。只是因为人类有能力感受到这个决定的道德分量，而我不相信算法能做到。所以当你遇到这种极端情况时，我想，是的，我绝对……再次强调，我并不是说不要使用技术辅助，但对我来说，这就像是跨越了某种界限。
我要问你一些问题我也会问参加节目的每个人有没有一种技术趋势是你最关心的，让你夜不能寐的?
我觉得我们正在谈论他们。我认为我们的书就是关于他们的，艾伦和我，我的合著者，我们不是人工智能的危言耸听者，我们对像奇点这样的客厅游戏有点困惑。我们确实讨论了一些，也讨论了为什么我们不认为这是我们现在应该花很多时间担心的事情。但我更担心的是我们在书中谈到的那些事情，这些我们很多人都没有意识到的副作用。
即使是该领域的人在最近10年才意识到，“哦，是的，当您针对错误进行优化时，确实可能会在某些应用程序中发生相当糟糕的事情。”所以现在让人放心的是，我们觉得有起源至少有一个科学学科来仔细思考这些问题。但是现在，一旦你知道了这些问题，你就会想，“好吧，还有什么是我们没有考虑的?”所以用唐纳德·拉姆斯菲尔德的不朽名言来说，“我认为让我担心的是未知的未知。”
这是机器学习的本质，我们有一个回形针问题的例子，人工智能将被编程来制造回形针，并消灭人类和对回形针制造的追求。这显然有点夸张，但这是一个问题，如果机器被编程为做一件事而排除其他一切，有时它会排除公平和价值观
对，对，对，对，对。我认为好消息是，我们现在对这个问题有了足够的了解，可以科学地解决这个问题，而不是排他性地解决。再说一次，我完全赞成更好的法律、法规和一般的监督。但是，我认为这些附带的副作用是很难预测的。一个很好的例子是，我可以考虑确保不受性别或种族等因素的歧视。但这可能意味着，通过要求这些东西，我歧视了一些我没有考虑到的其他特质。这是可能的，也将会发生，我们需要更好的方法来快速发现并处理它。
是否有一种产品或服务是你每天都离不开的?
我是维基百科的忠实粉丝。我发现自己经常自学，感觉自己得到了相当准确的信息，或者至少当我不是来自维基百科时，它很清楚。
你编辑和投稿吗?
我没有。我没有。但我很钦佩这样做的人，尤其是那些把所有的空闲时间都花在纠正维基百科上的标点和语法上的人。我认为这是上帝的工作。
