手机摄像头技术进步不但没有降温,而且还在加速。和相机行业更多讨好专业用户喜好不同的是,手机摄像头领域着重解决的是如何让手机拍照变得更加简单,在2018年,相机和手机终于朝着明显两个不同的方向而去,相机行业的那点传家宝,对于手机厂商而言,已经并无太多价值。
Soomal 认为,2018年手机摄像头领域有三个技术关键词,它们分别是:AI、HDR、夜景。AI
贴个AI标签,是2018年的潮流趋势,例如AI智慧拍照、 AI 人像、AI美颜、AI摄影大湿、AI梦境虚化……不提就是不时髦。所以,这其中就有很多是假AI。
很多相机都具有场景识别功能,基于场景识别调用不同的拍摄参数,然后按套路办事,这样的处理流程,相机上不叫AI,而到了不少手机上,却叫做了AI。
我们认为的AI,是需要基于深度的图像识别,并作出细致的处理。现在大部分手机只能做简单的场景识别,例如 花卉,识别出花卉,对应的策略就是加饱和度,遇到色彩本身就很浓艳的花卉就会翻车。再例如人脸识别,识别出人脸就优先对焦到人脸并优先测光,结果远处树丛中被识别出人类,然后测光对焦全部不对。这种基于低级的图像识别技术的,只能做出粗暴的对应处理,所谓的AI更像人工智障,不但没提升效率,还提升了废片率。
但不可否认,AI是大方向,是未来手机成像必不可少的部分,现在弱智不等于未来不好。越来越多手机的“人像”就变得聪明,知道磨皮知道要区分男女要区分肤色,而早几年只会粉白化,男人磨成娘炮。
相信未来几年,AI是手机摄像头技术的重点,它将对测光、对焦、图像机内处理等等都会产生深刻的影响,迟早会达成质变。
HDR
HDR是最近三四年,手机摄像头摄像头的技术重点,历经多年发展,手机上的HDR获得了很大的进步,而此时的相机HDR还处于相对原始的技术状态下。
HDR基于多帧合成,它的难度不在多帧,而在于合成。多帧多采用包围曝光的方式,相对长时间曝光的帧主要负责记录暗部信息,短曝的负责记录高光信息,不同的帧之间明暗关系并不一样,所以合成为一帧时,明暗的变化难以变得平滑,于是会有灰团现象出现,影调变得不太自然,如何消除灰团,这是算法要解决的。再例如,拍摄的场景中有运动对象,或者手抖了,图片是无法完全对齐的,怎么办,必须有高级的合并算法,有些对不齐的部分必须去掉,但不是谁家都有好算法,所以有的手机逆光场景很容易出现重影。
HDR的好处不必多言了,但HDR的负面作用也是相当明显的。如何将HDR的负面作用降低,是HDR算法一直在改进的地方。
2018年上市的iPhone XS/XR系列手机,运用了新开发的Smart HDR技术,就解决了拍摄快速运动对象的问题,整体影调控制观感更为自然。vivo 在2018年度也发布了Super HDR,并首次运用到X23上,它实现了大力度HDR下暗部更好的细节表现。三星的Note9也引入了“暗光HDR”,能够在更多弱光场景下实现HDR,在之前,HDR和多帧降噪总是无法兼得。
HDR算法发展至今,只能说日趋成熟,离成熟还有不小距离,没有一种HDR能兼顾所有,按照目前的发展速度,至少还需要两年才能达到基本无明显负面作用的效果。未来两年,HDR仍将是所有手机厂商必须关注的技术重点。
夜景
华为P20 Pro带来了一个“夜景”功能,手持4秒拍摄弱光场景,可以说是轰动的,到2018年底,很多手机也加入了类似功能,可以说这个功能获得了同行的“致敬”。
假设我们现在所处的场景在普通模式下测光的结果是需要1/10秒@ISO800才能拍摄,这个时候我们切换到“夜景”模式,手持4秒拍了一张,成功。
那么,4秒是我们实际所需曝光时间的40倍。假设这4秒钟一直在不断持续的分帧采样,那么最后用到最终合成的采样样本,只有总样本的2.5%。假设4秒不断的分帧采样,并且使用的是ISO100感光度,那么最终被使用的采样样本只有总样本的20%。不管怎么算,都存在采样样本远远多于所需采样样本。而通行的多帧采样方法,是100%的样本都用于合成,没有冗余量可言。
华为这种方法是创新,这意味着,算法可以从中间筛选出足够优质的样本进行合成,例如去除移动物体造成的重影。这是用时间换优质帧,所以合成画质和成功率都能有保证。
关于这个功能,我们专门写过文章。欢迎阅读。
“夜景”功能仍不是最佳的状态,所以,华为也不断的挖潜,更新算法,只是不太幸运的是,新算法问题更多些。如果把目光放远点,“夜景”功能肯定会获得更大改善,迟早会融入到普通拍摄模式当中。
计算摄影
AI、HDR、夜景,加上模拟景深虚化、对焦逻辑优化等等,让手机拍摄的每一张照片都与相机有着流程上的很大差别。算法不但控制了成像质量,还控制了摄像头的行为。取景器开着的每一秒钟就在不停的计算,判断用户意图,寻找对焦对象,匹配场景参数等等等等,按下快门后,又会去对齐多帧的图像,降噪,甚至利用神经元网络模仿人脑判断对图像瑕疵进行美化等等等等。苹果官方有句宣传语“万亿次运算,成就每一个瞬间”,可能有夸大,但运算确实是无时不刻的。
这意味着主流手机都进入到了计算摄影[Computational Photography]时代,而相机在这些技术方面还非常初级。计算摄影时代,算法变得越来越重要,算法才是摄像头好坏的基本盘。
计算摄影和传统的成像方式差别在于,计算摄影贴近普通消费者,把一些操控技巧以及初级经验让系统来完成,做得比普通菜鸟更好。Soomal认为,计算摄影并不会降低摄影的乐趣,摄影的核心体验是捕捉和构图,而不是去摆弄机器。