译者注:本文译自谷歌官方文档《Fused Video Stabilization on the Pixel 2 and Pixel 2 XL》。文章简要介绍了影响手机摄像成片质量的常见问题,以及混合防抖技术是如何尽可能规避这些问题。看完你会明白,在 dual camera 当道双摄时代,Pixel 是如何用一颗镜头成为称霸手摄的锐利异类。

当下智能手机最重要的一个使用部分,就是更容易的拍摄和分享视频。在最新的 Pixel 2 和 Pixel 2 XL 上,视频捕捉录制将比以往更加顺滑流畅,这得益于其采用了基于光学防抖(OIS)和电子防抖(EIS)的混合防抖技术。该技术仅需最不起眼的元器件,便能提供高度稳定的成片效果,而且 Pixel 2 目前领跑 DxO 的智能手机摄像排行(同时也拿下了该榜单的历史最高分)。那么,这项技术是如何运作的呢?

镜头运动的平顺与稳定,是摄像的一个关键性原则,一个成像稳定的视频可避免因画面抖动带来的观看干扰,于是观看者便可专注于他们感兴趣的内容。但是,智能手机摄像受限于诸多条件,这使得拍摄高质量视频成为一个不小的挑战:

镜头抖动

许多人都握持手机拍摄视频,拽出手机、录制视频、旋即分享。但是,所录视频会伴随手的抖动——它会抖动得更厉害。此外,如果你在走动或跑动时录制,那么运动的镜头会让视频很难达到可观看的程度:



运动模糊

如果拍摄设备或被拍物体在镜头曝光的过程中产生了移动,那么成片的照片或视频将会出现模糊。即便我们在连续拍摄时尽可能保持稳定,但在实际操作中,尤其是在移动设备上,定格于每一帧的运动模糊都是不易恢复的。由运动模糊引起的一个典型的视频画面问题就是清晰度不一致:画面可能在模糊和清晰之间快速交替,即使在画面总体很稳定,但也同样会让人分心:



果冻效应

CMOS 图像传感器在成像时,利用「扫描线」每次收集芯片上的一行像素,从顶扫描到底约需几十毫秒。因此,任何一点运动都会可能出现成像扭曲,这被称为「卷帘快门失真」,看起来就像画面成了果冻。于是在拍摄运动视频时,即使你的手非常稳,但细微的抖动仍会出现果冻效应:



用全局快门(左)和卷动快门(右)模拟渲染视频

风箱效应

当视频中出现不同距离的物体时,由于物体「跃入」画面前景,随之对焦视角则会发生显著的变化。于是,画面中所有物体便会缩小或扩大,就像下面的视频,我们形象的称其为「拉风箱」:



所以一个好的稳定系统应该解决所有这些问题:视频画面应该清晰锐利,运动场面应该自然平滑,果冻效应和风箱效应都应被纠正。

许多专业人士将相机安设在机械稳定装置上,以完全隔离手部的运动。这些装置会主动感应并补偿相机的移动,以抵消机身所有不必要的运动。但是,它们往往昂贵而繁琐,你不会想每天都带在身上。当然,也不乏手持式平衡底座。然而,它们通常都比手机还大,而且在开始录制之前还要先将手机放上去。这就要求你准备工作做的足够快,以免错失掉精彩瞬间。

光学防抖 OIS 是最为人熟知排除手部抖动影响的解决方案。通常,在配备了 OIS 的移动设备相机模组中,镜头构件被悬挂在模组中部,构件周围则由弹簧和电磁体包裹。相机模组会主动感应,并且以非常高的速度补偿手部握持时所产生的细微动作,因此可以极大抑制拍摄时因手部抖动带来的运动模糊。

然而,可校正的运动范围是相当有限的(通常只在 1~2 度左右),尚不足以规避连续视频帧之间,高频次移动产生的运动模糊。同样在「运动」上,OIS 并不能校正某些移动,譬如面对平面旋转时,OIS 甚至会给画面加入「果冻滤镜」:



视频由 Pixel 2 拍摄,仅启用了 OIS 。 你可以看到画面中心是稳定的,但边缘物体则像果冻一般。

电子防抖 EIS 是通过分析相机的运动,通过多帧合成过滤掉不必要的模糊部分,从而生成一个清晰的新视频。这项技术的实现质量,取决于当前阶段该技术的算法设计和优化程度。通常而言,基于软件的 EIS 会比 OIS 更加灵活,因此可以校正更多更繁的动作。

但是,EIS 同样有一些无法避免的局限性。首先,为了防止合成帧中的未定义区域受到非正常处理,则需要降低画框视野和分辨率。其次,相较于与 OIS 构件或手持式稳定器,EIS 这种倚靠软件计算的解决方案,需要损耗更多手机处理器有限的资源。

录制一个更好的视频:混合视频防抖

在混合防抖技术下,OIS 和 EIS 会在相机工作中同时启用,可解决上述所有问题。这项解决方案有三个处理阶段,如下图所示。

image1.png

第一个处理阶段,运动分析,通过提取陀螺仪信号、OIS 运动轨迹和手机上其他属性,从而精确估算出相机的运动轨迹。然后,在分析相机运动的过滤阶段,将通过机器学习和信号处理,来预测人们移动相机的意图。最后,在多帧合成阶段通过数字建模,来移除果冻效应和风箱效应。借助混合防抖技术,由 Pixel 2 带来的视频,会极大降低运动模糊出现的可能,使画面看起来平顺自然。同样,该解决方案也足以运用在 60fps 录制或 4K 高清录制下。

运动分析

在运动分析阶段,借助手机的高速陀螺仪来分解估算手部的运动(水平运动、垂直运动和圆周运动)。通过感测模组工作时 200 赫兹内的运动,记录下 CMOS 每条扫描线密集的运动矢量,这足以模拟卷帘快门失真时带来的果冻效应。

与此同时,我们还测量陀螺仪未检测到的镜头运动,高速调整包括 z 轴上的焦点运动以及 x 和 y 轴上的 OIS 记录的运动。由于需要极高的时间精度进行建模,所以我们仔细优化了系统,以确保 CMOS 与陀螺仪和镜头运动计数之间的完美时间校准。(只需仅仅几毫秒的时间错位,就会引入明显的抖动现象。)



左:包含 3 毫秒错误「运行」动作的稳定视频。注意偶尔的抖动。 右:带有正确时间戳的稳定视频。 右下角显示原始抖动的视频。

运动过滤

在运动过滤阶段,通过从运动分析中获取真实的相机运动,创建稳定的相机虚拟运动轨迹。需要注意的是,为了给模拟即将发生的相机运动轨迹腾出时间,我们是将当前传入帧进行延迟处理的,这使得机器学习能够准确预测用户的意图。先行过滤对于 OIS ,或任何机械稳定器来说是不可行的,因为它们都只能对先前或当下发生的运动做出反应,当然这也是我们接下来研讨的内容。

多帧合成

在最后阶段,我们根据真实记录和虚拟计算的相机运动,推导出运动画面每一帧的合成框架。为了规避卷帘快门失真,我们又对每一帧使用多重置换处理,并将合成框架分成网格,逐格处理:



左:网格叠加的视频。 右:扭曲框架,红色的矩形是最终的稳定输出。 请注意非刚性翘曲如何校正卷帘快门失真。

先行运动过滤

混合防抖技术中一个关键性特性,就是我们全新的「先行过滤算法」。它会计算分析用户即将发生的运动,并创建一个平滑的相机虚拟运动轨迹。先行过滤并加以画面处理的多阶段增量化,改进每一帧所模拟的虚拟运动。在轨迹建模中,对已发生和将发生的真实相机运动,应用高斯滤波处理得到平滑的运动轨迹:



左:不稳定的视频。 右:高斯滤波后的平滑结果。

你也许会注意到,视频依然不是很稳定。为了进一步提升防抖质量,我们设计了一个模型,从嘈杂的真实相机运动中提取实质性的轨迹,然后我们用额外的滤波器给予所预测的运动。例如,如果我们预测相机水平摇摄,算法便会拒绝更多的垂直运动。 结果如下所示。



左:高斯滤波结果。 右:前瞻性预测结果。 我们预测用户正在平移,并抑制更多的垂直运动。

实际上,上述过程并不能保证完全避免未定义的「劣质画面」区域,当虚拟相机过于稳定,并且形变的帧落在原始视野之外时,这些区域就会出现。于是我们便会预测,接下来出现这个问题的可能性,并调整虚拟相机的运动,以获得最终结果。



左:我们的前瞻结果。 左下角的未定义区域以青色显示。 右:删除不良区域的最终结果。

正如我们前面提到的,即使启用了 OIS,有时运动幅度过大,也会导致细微的运动模糊。当进一步应用 EIS 进行平滑运动轨迹时,运动模糊会导致画面锐度分散的变化:



左:只开启 OIS 的 Pixel 2 。 右:Pixel 2 与混合防抖。 请注意,「Exit」标签周围的锐度变化。

这在 EIS 解决方案中是一个非常普遍的问题。为了解决这个问题,我们利用人类视觉系统中的「掩蔽」属性。运动模糊通常会使画面沿特定方向变模糊,但如果整个画面框架移动沿着该方向运动,人眼则很难注意到它。相反,我们的大脑将模糊视为动作的一个自然部分,并将其从我们的感知中屏蔽掉。

利用高频陀螺仪和 OIS 信号,可以准确地估计每帧的运动模糊。我们计算相机在曝光开始和结束时指向的位置,而中间的移动就是运动模糊的产生源。之后,我们应用一个机器学习算法(在一组有运动模糊和没有运动模糊的视频上进行训练),将过去和未来画面帧中的运动模糊,映射到我们想要保留的真实相机运动的矢量之上。正如你在以下视频看到的那样,通过运动模糊遮罩,分散的清晰度变化大大减少,摄像机运动仍然稳定。



左:开启混合防抖的 Pixel 2 。 右:带有运动模糊遮罩的全局融合视频防抖解决方案。

结尾

我们已经看到许多来自 Pixel 2 混合防抖技术下让人眼前一亮的视频。 这里有一些可供你查验:



两部 Pixel 2 手机同时拍摄的视频。 混合防抖在左边禁用。



两部 Pixel 2 手机同时拍摄的视频。  混合防抖在左边禁用。 请注意,拍摄者和被拍者是同时跳跃的。

混合防抖技术结合了 OIS 和 EIS 的优点,在平滑视频画面和减少运动模糊方面表现出色,并可最大限度校正果冻效应和风箱效应。借助 Pixel 2 和 Pixel 2 XL 上的混合防抖技术,你无需在录制之前仔细放置手机,在录制全程紧握手机,或者随身携带防抖万向架。所录视频必将稳定如一,锐利依旧,随时欣赏,随时分享。
0人已收藏

相关文章

评论列表(已有26条评论)

请先登录再评论...

登录

最新评论