所有的人——甚至像费德里科·费里尼这样的著名电影导演——的寿命都是有限的。但他们的才能能否继续存在(并继续创造)人工智能？也许是这样。
金巴利红色日记:费里尼前进(在新窗口打开)这部短片和幕后纪录片将于9月7日在威尼斯电影节首映，并将在纽约电影节上放映，然后在部分市场按需上映。
虽然有三位人类导演——纪录片的扎卡里·卡内帕里和德莉亚·库珀，短片的马克西米利安·尼曼——这部电影的后人类创意力量是由创新制作工作室策划的人工智能UNIT9(在新窗口打开)．我们与UNIT9的生产总监Marc D’souza进行了交谈，以了解更多信息。
寻找费里尼的天赋
背后的问题金巴利红色日记:费里尼前进人工智能能否被训练成不只是模仿费里尼的全部作品，而是将其扩展到新的原创作品中。我们还没有看过这部电影或纪录片，因为它在首映前没有向媒体提供，但这部电影以罗马为背景，探索了费里尼的生活、工作和梦想，就像费里尼自己的天赋一样。附带的纪录片介绍了人工智能如何学会指挥它的背景故事。
“我们对费里尼过去的一些电影和剧本使用了人工智能算法，以提取丰富的数据集，并建立模式，以确定费里尼标志性的创作决策，”德索萨说。”自然语言处理为了提取数据，使用了计算机视觉和图像处理。我们分析了镜头类型、场景剪辑、镜头移动、每帧物体、面部表情、动作/对话语法和结构，以及场景和位置。”
费里尼的风格具有很高的辨识度，是寻找模式的智能的理想选择，导演也是多产的，所以有很多素材可供人工智能吸收。费里尼是二十世纪艺术电影的巨人，他在意大利战后法西斯主义的创伤下长大，并对潜意识、保持着迷梦想期刊(在新窗口打开)花了几十年的时间去了解是什么驱使着他，然后才把最奇怪最精彩的场景搬上银幕。
监督AI
为了确保对项目的“控制”，全球制作团队在弗朗西斯卡·法布里·费里尼(Francesca Fabbri Fellini)的监督下组建。她是费里尼的侄女，也是费里尼的杂志(在新窗口打开)为子孙后代保护他的遗产。费里尼最初的团队中幸存的成员也为这个项目提供了咨询，为人工智能提供了建议不)“Felliniesque。”
D 'Souza指出:“作为最了解导演精神的人，他们能够验证人工智能的愿景，这样最终的输出就会被认为是真正的费里尼式。”
牛津大学数学马库斯·杜·索托伊教授(在新窗口打开),艾米莉·l·斯普拉特博士(在新窗口打开)他是普林斯顿大学的艺术史学家和数据科学专家，被要求进行学术监督。但是制作团队是如何教人工智能像费里尼一样导演的呢?
“人工智能在这个过程中有两个主要角色，”德索萨说。首先是分析费里尼过去的电影和剧本，找出它们具有费里尼风格的地方。第二步是利用这些数据为这部充满费里尼风格的新短片的创作提供建议。研究了数百万帧。例如，为了研究相机运动，这只是众多元素中的一个，我们分析了近300万帧，花了近260个小时来提取数据。”
来见见合成编剧吧
但在虚拟罐头中捕捉任何帧之前，他们需要一个脚本。
UNIT9在OpenAI的基础上创建了一个自定义工具来处理原始脚本生成GPT-2(在新窗口打开)(他们本可以使用GPT-3，但在2019年项目开始开发时，GPT-3还没有问世)。这意味着人工智能会“阅读”费里尼写过的每一个剧本，将其分解为风格、上下文、命名法、概念并列、重复的主题/母题等等。
然后人工智能编写了一个全新的剧本，这真的很酷——除非你在好莱坞靠写剧本为生。
AI工具包内部
在技术装置的引擎盖下是什么?
第九单元部署了一些现有的现成算法构建工具(TensorFlow(在新窗口打开)，PyTorch(在新窗口打开))，但也从零开始创造了几个新的。第九单元决定使用监督学习方法，而不是部署生成对抗网络(GAN)，让两个相互竞争的神经网络为“正确”的输出而争斗。D’souza解释说，这让他们对过程有了更多的控制，并允许他们同时应对多个挑战。
“为了识别和分类不同的电影镜头类型，我们使用了Shot-Type-Classifier(在新窗口打开)ResNet-50网络模型面具R-CNN(在新窗口打开)对于目标检测，和YOLOv3和DeepSort(在新窗口打开)用于实时多人跟踪，”D’souza说。“我们也引进了Keras(在新窗口打开)的Python深度学习API，用于实时摄像头馈线中的情绪检测。
“我们开发了一个‘预可视化’的关键工具，”D’souza说，“它生成了一系列镜头拍摄和剪辑，然后在我们承诺拍摄之前，根据费里尼的视觉语言风格对它们进行评估。这个工具的核心AI模型，包括费里尼镜头预测模型，是我们在UNIT9公司从头开发的，然后作为插件集成到Epic的虚幻引擎中。”
在电影术语中，AI成为了第二单元的助理导演和电影摄影师。
去威尼斯电影节
最后，这部短片是否像伟大的费德里科·费里尼的作品?他的遗产保护者弗朗西斯卡·法布里·费里尼(Francesca Fabbri Fellini)已经祝福了他。
金巴利红色日记:费里尼前进现在将前往威尼斯电影节首映。UNIT9团队在拆卸服务器并开始下一个项目时，D’souza很满意，最终结果证明人工智能每天都在变得越来越聪明。
“我个人喜欢这个项目的原因是，它确实引发了关于电影未来以及人工智能将在其中扮演的角色的辩论，”D 'Souza告诉我们。“此外，使用人工智能的美妙之处在于，它有很多可能性——这些事情我们人类可能还没有想过。”
