最近一篇文章《卫报》(在新窗口打开)在社交媒体上激起了很多兴奋和一点恐惧。原因是:据报道，最初的草稿是由OpenAI的新文本生成器GPT-3编写的。
自beta版发布以来，GPT-3, an人工智能这个系统可以根据提示生成文本，已经吸引了科技界和媒体。开发人员和计算机科学家一直在用它来写文章、网站标记，甚至软件代码。一些企业家正在考虑在GPT-3上开发新产品。
而有缺陷的(在新窗口打开)从根本上讲，GPT-3仍然显示了我们的进步有多远自然语言处理已经来了。这是迄今为止最大、最连贯的文本生成算法。
但这也凸显了人工智能研究界面临的一些问题，包括对大型科技公司财富的日益依赖。这个问题可能会危及OpenAI和其他人工智能研究实验室的科学使命。
GPT-3的成本
GPT-3是一个巨大的深度学习模型。深度学习是一种通过经验发展其行为的人工智能系统。每个深度学习模型都由许多层参数组成，这些参数从随机值开始，随着模型在示例上的训练逐渐自我调整。
在深度学习之前，程序员和领域专家必须手动编写定义逻辑和规则的命令来解析和理解文本。通过深度学习，您可以提供一个具有大型文本语料库的模型(比如维基百科文章)，它可以调整其参数以捕获不同单词之间的关系。然后，您可以将该模型用于各种语言任务，例如回答问题、自动电子邮件回复建议和高级搜索。
过去几年的研究和发展表明，一般来说，深度学习模型的性能会随着给予它们更大数量的参数并在更大的数据集上进行训练而提高。
在这方面，GPT-3打破了所有记录:它由1750亿个参数组成，比它的前身大100多倍，GPT-2．用于训练人工智能的数据集至少比GPT-2的40gb训练语料库大10倍。尽管关于更大的神经网络是否能解决神经网络的基本问题还有很多争论理解语言语境(在新窗口打开)在美国，GPT-3在语言相关任务上的表现超过了所有的前辈。
但更大的神经网络带来的好处是有代价的。你给神经网络添加的参数和层越多，它的训练就会变得越昂贵。据深度学习硬件和云资源提供商Lambda的首席科学官李川(Chuan Li)估计，这可能需要高达355年460万美元(在新窗口打开)在V100显卡的服务器上训练GPT-3。
“我们使用V100 GPU的计算非常简化。在实践中，你不能在单个GPU上训练GPT-3，而是使用一个具有许多GPU的分布式系统，就像OpenAI使用的那样。”“由于设备到设备通信的开销，在大型分布式系统中永远无法实现完美的扩展。所以实际上，完成整个培训周期需要460多万美元。”
这个估计仍然是简化的。训练一个神经网络不是一个一次性的过程。这涉及大量的试验和错误，工程师必须经常更改设置并重新训练网络以获得最佳性能。
Latitude公司联合创始人、基于GPT-2的文本游戏《AI dungeon》的开发者尼克•沃尔顿表示:“当然还有幕后成本:参数调整、完成模型所需的原型制作、研究人员的成本，所以制作GPT-3的成本肯定很高。”
Walton表示，GPT-3背后的实际研究成本可能是最终模型训练成本的1.5到5倍，但他补充说:“在不了解他们内部流程的情况下，真的很难说。”
转向营利性模式
OpenAI成立于2015年底，是一家非营利研究实验室，其使命是开发人类的人工智能(在新窗口打开)为了全人类的利益。其创始人包括特斯拉首席执行官埃隆·马斯克和前Y Combinator总裁山姆·奥特曼，他们共同为实验室的研究捐赠了10亿美元。奥特曼后来成为OpenAI的首席执行官。
但考虑到训练深度学习模型和雇佣人工智能人才的巨大成本，10亿美元只够OpenAI几年的研究。从一开始就很明显，实验室在达到目标之前就会遇到资金问题。
该实验室在2019年更名时宣布:“我们需要在未来几年投资数十亿美元用于大规模云计算，吸引和留住人才，并构建人工智能超级计算机。OpenAI LP(在新窗口打开)并重组为“利润上限”公司。这一变化允许风险投资公司和大型科技公司投资OpenAI，回报率“上限”为初始投资的100倍。
消息公布后不久，微软向OpenAI投资了10亿美元(在新窗口打开)．现金的注入使该公司能够继续致力于GPT-3和其他昂贵的深度学习项目。但投资者的资金总是有附加条件的。
转向默默无闻
今年6月，在宣布GPT-3时，该公司没有像科学研究中的常态那样向公众发布其人工智能模型。相反，它发布了一个应用程序编程接口(API)，允许开发人员输入GPT-3并获得结果。在未来，该公司将通过出租API的访问权限来实现GPT-3的商业化。
OpenAI在一份声明中写道:“将技术商业化有助于我们为正在进行的人工智能研究、安全和政策工作支付费用。博客(在新窗口打开)宣布GPT-3 API。
但为了让GPT-3盈利，OpenAI必须确保其他公司无法复制GPT-3，这就是它不公开源代码和训练过的模型的原因。组织和个人可以请求访问GPT-3 api，但并非每个请求都得到批准。
没有获得GPT-3 API的人包括认知科学家和人工智能研究员Gary Marcus，以及纽约大学计算机科学教授Ernest Davis，他们对测试GPT-3的功能和限制感兴趣。
“到目前为止，OpenAI还不允许我们研究GPT-3，尽管该公司的名称和名称都是如此非营利性组织(在新窗口打开)监督机构。然而，OpenAI却不顾我们的反复请求，无限期地拖延——即使它向媒体提供了广泛的访问权限。文章发表于麻省理工科技评论(在新窗口打开)．“在我们看来，OpenAI明显缺乏开放性，这严重违背了科学伦理，也扭曲了相关非营利组织的目标。”
这两位科学家设法通过一位能够接触到API的同事进行了实验，但他们的研究仅限于少量的测试。马库斯一直直言不讳地批评围绕GPT-3前身的大肆宣传(在新窗口打开)．
推特(在新窗口打开)
人工智能研究能被拯救吗?
GPT-3显示了人工智能科学研究日益增长的挑战。专注于创建越来越大的神经网络正在增加研究成本。目前，能拿出这笔钱的只有谷歌、微软和软银等大型科技公司。
但这些公司感兴趣的是投资的短期回报，而不是造福全人类的长期目标。
OpenAI现在向微软和其他潜在投资者做出了承诺，它必须证明自己是一家盈利的公司，以确保未来的融资。与此同时，它希望实现创造有益的AGI(人工通用智能，本质上与人类相当的人工智能)的科学使命，这种智能没有短期回报，而且确实有回报至少几十年后(在新窗口打开)．
这两个目标在其他方面存在冲突。科学研究的基础是透明度和不同科学家群体之间的信息共享。相比之下，创造有利可图的产品需要隐藏研究和囤积公司机密，以保持对竞争对手的优势。
在非营利使命和盈利承诺之间找到正确的平衡将是极其困难的。OpenAI的情况并不是一个孤立的例子。总部位于英国的研究实验室DeepMind被认为是OpenAI的同行之一，面临类似的问题(在新窗口打开)2014年被谷歌收购。
许多科学家相信人工智能——如果能够实现——将是人类最具影响力的发明之一。如果这是真的，那么实现AGI将需要国际社会的共同努力和贡献，而不仅仅是那些主要关注底线的公司的雄厚财力。
一个很好的模型可能是大型强子对撞机项目，它获得了一个90亿美元预算(在新窗口打开)来自欧洲核子研究中心成员国和非成员国的资助机构。虽然各成员国最终将从CERN的工作成果中受益，但他们并不指望该组织在短期内实现盈利。
类似的举措可能会帮助OpenAI和其他研究实验室继续追逐人类水平的人工智能梦想，而不必担心投资者的资金回报。
