2017年,超过8700万美国人出国旅游,这是一个创纪录的数字美国国家旅游和旅游办公室(在新窗口打开).如果你是他们中的一员,也许你参观过像巨石阵、泰姬陵、下龙湾或中国长城这样的目的地。你可能用手机拍过全景,甚至可能用手机旋转自己来拍摄超宽、360度的风景。
如果你成功了——也就是说没有出现错位的部分、晕渲或颜色偏移——那么你就体验了一个简单而有效的计算摄影例子。但在过去的几年里,计算摄影已经超越了这些狭窄的用途。它不仅能让我们从不同的角度看待摄影,还能改变我们看待世界的方式。
什么是计算摄影?
斯坦福大学计算机科学(荣誉退休)教授、谷歌的首席工程师Marc Levoy是这一新兴领域的先驱之一,他将计算摄影定义为各种“增强或扩展数字摄影功能的计算成像技术,其中输出的是一张普通照片,但却是传统相机无法拍摄的照片。”
Adobe首席产品经理Josh Haftel表示,在传统摄影中添加计算元素会带来新的机会,尤其是对成像和软件公司来说我对计算摄影的看法是,它让我们有机会做两件事年代。其中之一就是试图弥补移动摄像头存在的许多物理限制。”
得到一个智能手机模拟f的浅层深度ield (DOF)——专业图像的标志,因为它在视觉上将主体与背景分开——就是一个很好的例子.W帽子可以防止相机在非常薄的设备上,如手机,能够捕捉图像的浅景深是物理定律。
哈夫特尔说:“用非常小的传感器无法获得很浅的景深。”但是一个大的传感器需要一个大的镜头。由于大多数人都希望自己的手机超薄,所以一个大传感器配一个大而笨重的镜头并不是一个选择。相反,手机配备了小型定焦镜头和微型传感器,产生大景深,使远近所有对象都能清晰聚焦。
哈夫特尔说,智能手机和简单相机的制造商可以通过使用计算摄影来弥补这一点,“通过欺骗眼睛的方式来模拟效果。”因此,算法被用来确定什么被认为是背景,什么被认为是前景主题。然后是摄像机模拟西文一个浅景深通过模糊背景。
Haftel说,计算摄影的第二个用途是采用新的过程和技术来提供帮助摄影师做一些用传统工具做不到的事情。哈夫特尔指出HDR(高动态范围)举个例子。
“HDR是同时或快速连续拍摄多个镜头的能力,然后将它们合并在一起,以克服传感器的限制'S天生的能力。”实际上,HDR,特别是在移动设备上,可以扩大音域什么图像传感器可以自然捕捉,让您在最亮的高光和最暗的阴影中捕捉更多的细节。
计算摄影的不足
并非所有计算摄影的实现都是成功的。两次大胆的尝试是Lytro公司而且光L16相机:Lytro和Light L16并没有混合传统和计算摄影功能(像iphone、Android手机和一些独立相机那样),而是试图只专注于计算摄影。
2012年,第一款上市的Lytro光场相机可以让你在拍照后调整对焦。它通过记录进入相机的光的方向来做到这一点,这是传统相机做不到的。这项技术很吸引人,但摄像头存在一些问题,包括低分辨率和难以使用的界面。
它的用例也相当狭窄。戴夫·埃切尔斯,创始人,出版商,主编图像资源(在新窗口打开)他指出:“虽然事后对焦是一个很酷的功能,但相机的光圈太小了,除非有什么东西真的离相机很近,否则你无法真正分辨距离。”
例如,假设你正在当地棒球场射击一名棒球运动员。你可以在围栏附近拍张照片,也可以透过围栏捕捉到玩家,即使他在很远的地方。然后你就可以轻松地将焦点从围栏转移到玩家身上。但正如埃切尔斯所指出的那样,“你多久会拍一次这样的照片?”
最近一款旨在成为独立计算相机的设备是Light L16,它试图生产一款轻薄的便携式相机,图像质量和性能与高端相机相当单反或mirrorless相机。L16在一个相机机身上设计了16个不同的镜头和传感器模块。强大的机载软件将从各个模块构建一个图像。
埃切尔斯最初对轻型L16的概念印象深刻。但作为一款实际产品,他说,“它存在各种各样的问题。”
例如,制造Light L16的相机和摄影公司Light声称,来自所有这些小传感器的数据相当于拥有一个大传感器。埃切尔斯说:“他们还声称这将是单反的画质。”但在他们的实地测试中(在新窗口打开)影像资源公司发现事实并非如此。
还有其他问题,包括照片的某些区域噪音过大,“即使在图像的明亮区域……而且几乎没有动态范围:阴影马上就被遮住了,”埃切尔斯说,这意味着在某些部分的照片中——包括该公司用来宣传相机的样本照片——阴影中几乎没有任何细节。
埃切尔斯说:“在昏暗的光线下,这也是一场灾难。”“它就是不是一台很好的相机,就是这样。”
接下来是什么?
尽管存在这些不足,但许多公司都在推进计算摄影的新实现。在某些情况下,它们模糊了摄影与其他类型媒体(如视频和虚拟现实)之间的界限。
例如,谷歌将扩大谷歌图片应用程序使用AI(人工智能)来实现新功能,包括给黑白照片上色。微软正在利用人工智能沥青的应用(在新窗口打开)为iOS所以用户可以无缝添加名片到LinkedIn。Facebook将很快推出一个3D照片功能这是一种新的媒体类型,让人们可以用智能手机及时捕捉3D瞬间,并在Facebook上分享。和我n Adobe的Lightroom应用在美国,移动设备摄影师可以利用HDR功能而且capture图片的RAW文件格式。
虚拟现实与计算摄影
虽然移动设备甚至是独立相机都在以有趣的方式使用计算摄影,但更强大的用例来自扩展领域-现实平台,比如VR以及AR(增强现实)。詹姆斯·乔治,首席执行官兼联合创始人散射(在新窗口打开)在纽约的一家沉浸式媒体工作室(immersive media studio),计算摄影为艺术家们表达自己的视觉开辟了新途径。
“在Scatter,我们将计算摄影视为我们试图开拓的新创意学科的核心使能技术...然后,添加计算可以开始合成和模拟一些相同的事情,就像我们的眼睛对我们在大脑中看到的图像所做的事情一样,”乔治说。
从本质上讲,这取决于智力。我们用大脑思考和理解我们感知到的图像。
“计算机开始能够像我们一样观察世界、观察事物并理解它们,乔治说.所以计算摄影是"一个额外的综合和智能层,它不仅仅是单纯的捕捉照片,而是实际上开始模拟人类感知事物的经验。”
Scatter使用计算摄影的方法被称为体积摄影,哪一种是从不同角度记录主题的方法而且然后用软件对所有这些视点进行三维分析和重建。(照片和视频都可以显示为类似3d的全息影像,你可以带着它四处走动n虚拟现实或增强现实体验。)“我对重构事物的能力特别感兴趣,而不仅仅是二维的方式,”乔治说。“在我们的记忆中,如果我们走过一个空间,我们实际上可以回忆起事物之间的空间关系。”
乔治说那散射是能够提取和创造一个空间的表现形式,“完全可以自由导航,就像你可以在视频游戏或全息图中穿行一样。”这是一种诞生于电子游戏和电影制作之间的新媒体,计算摄影和体积电影制作可以实现。”
为了帮助其他人生产体积VR保护,Scatter开发了DepthKit(在新窗口打开),一个软件应用程序让电影制作人利用摄像机的深度传感器如微软Kinect作为高清摄像机的配件。在此过程中,DepthKit,一个CGI和视频-软件混合,产生逼真的3D形式”适合实时回放在虚拟世界乔治说。
《Scatter》创造了一些强大的VR体验DepthKit使用计算摄影和体积电影制作技术。2014年,乔治与乔纳森·米纳德合作创作了“云(在新窗口打开),这是一部探索代码艺术的纪录片那包括一个交互式组件。我2017年,《散射》根据电影改编了VR版0天,利用虚拟现实技术为观众提供了一个独特的视角,让他们进入看不见的网络战争世界——看到从视角超级工厂病毒病毒。
O最强大的深度之一K与it相关的项目是三号航站楼(在新窗口打开),由巴基斯坦艺术家阿萨德·马利克(Asad J. Malik)创作的增强现实体验,该片于今年早些时候在翠贝卡电影节上首映。的经验让你实际上是站在了美国边境巡逻官的立场上一个微软全息透镜和询问幽灵般的三维体积全息图一个看起来像穆斯林的人(有你总共可以采访6个角色)。
阿萨德是巴基斯坦人,他移民到美国上大学他有一些非常负面的经历被问及他的背景和他为什么在那里。他被这段经历震惊了,于是创作了《3号航站楼》。”
这种体验之所以如此吸引人,关键之一是马利克在他的增强现实工作室1RIC的团队使用DepthKit将视频转换为体积全息图,然后可以导入实时视频游戏引擎,如Unity,或3D图形工具,如Maya和Cinema 4D。通过将Kinect的深度传感器数据添加到D-SLR视频中,以便在AR虚拟空间中正确定位全息图,DepthKit软件将视频转换为计算视频。使用黑白棋盘将单反和Kinect校准在一起,然后这两个摄像头可以同时用于拍摄体积照片和视频。
由于使用DepthKit创建的这些增强现实体验类似于电子游戏的工作方式,因此像“3号航站楼”这样的体验可以产生强大的交互效果。例如,乔治说马利克允许全息影像会在你审问时改变形态:如果在的审讯时,你的问题会变成控诉,全息影像会消失而且出现更少的人。乔治说:“但当你开始引用这个人的传记、他们自己的经历和他们的价值观时,全息图实际上开始填补空缺,变得更加逼真。”
为了创造这种微妙的效果,他也就是说,你可以思考审讯者的看法以及他们如何看待一个人“只是一个象征,而不是一个具有真实身份和独特性的人”。“在某种程度上,它可以给用户一个更好的理解。“通过一系列的提示,你可以问一个或另一个问题,”乔治说,“你要面对自己的偏见,同时,这个个人的故事。”
像大多数新兴技术一样,计算摄影也经历着成功和失败。这意味着一些重要功能或整个技术的保质期可能很短。以Lytro为例:2017年,就在之前谷歌买下了这家公司在美国,Lytro关闭了如画lytro.com网站,这样你就不能再在网站或社交媒体上发布图片了。对于那些错过它的人来说,松下有一个类似lytro的对焦功能c艾尔文章重点(在新窗口打开)该技术已被用于各种高端无反光镜相机傻瓜.
到目前为止,我们所看到的计算摄影工具和功能只是一个开始。我认为这些工具将变得更强大、更动态、更直观,因为移动设备设计了更新、更多功能的摄像头和镜头、更强大的板载处理器和更广泛的蜂窝网络功能。在不久的将来,你可能会开始看到计算摄影的本来面目。