2009-2012单摄像素的追求与3D内容双摄的尝试
早期单摄像头手机时代,手机在拍照方面还是以单纯的提高图像分辨率为主,在普通大众眼里,“手机像素越高,拍照效果越好”,手机图像传感器的分辨率从早期的30万像素一路飙升到千万像素以上,手机拍照也就逐渐取代了卡片相机,这一阶段随着2012年Nokia 推出高达4100万像素808 PureView手机而达到高潮。
由于手机本身追求轻薄化的外观,硬件的限制导致单纯提高分辨率并不能够有效提升拍摄质量,因为两千万的像素已经接近手机图像传感器成像的极限,故当前手机拍摄都锁定在800-2000万像素之间。
2011年,3D概念非常流行,比如3D电影、3D电视,当时在手机领域大红大紫的HTC想成为第一个吃螃蟹的厂商,推出了3D手机HTC EVO 3D,后置500万+500万像素彩色相机,主要用来拍摄3D照片和3D视频,实现裸眼3D效果。LG、夏普也随之推出类似功能。
不过,由于当时的3D效果不尽人意,并且实用性较差,3D视频分享也不方便,这类手机尝试也随着3D热潮退去。
2013-2016多元化需求点燃双摄走向成熟
2013年,智能手机拍摄已经向夜景/暗光拍摄、防抖拍摄、全景拍摄、HDR拍摄等多元化需求转变了。在这一年9月,iPhone 5S主打拍摄也进一步刺激了市场。
与此同时,HTC再次选择双摄想来打个翻身仗,2014年3月,HTC推出了用于背景虚化的双摄手机One M8,配备主摄400万+副摄200万后置彩色摄像头,目的是想在手机上用双摄获取景深以实现单反大光圈的拍摄效果。
遗憾的是,HTC虽然硬件设计能力很强,但是双摄配套软件,尤其是双摄核心算法方面还不成熟,其背景虚化效果在稍复杂的的场景便会出现明显破绽,加上副摄像头所能提供的细节信息太少,实用性不强,因此并没有被市场所认可。至此,HTC在双摄方面两次尝试都已失败告终。
回头看,全球第一款真正意义的双摄手机应该是铂顿(大观5),这是由酷派在2014年8月推出的。
该手机后置RGB+RGB双摄,拍摄人物主体锐利突出,背景虚化效果自然,该RGB+RGB双摄方案得到了用户和市场的认可,成为后来RGB+RGB的双摄主流方案。
另外,华为在那个年代,也开始在双摄方面布局,不过华为早期尝试的是另一种称之为“拼接双摄”的技术方案。2014年12月,华为推出了其第一款双摄手机荣耀6 Plus,后置800万+800万像素RGB+RGB配置。
这款双摄手机主打的是低像素合成高像素,也就是两个800万像素镜头拼接合成一张1300万像素照片,所以称之为“拼接双摄”。
不过因为成像效果落后于同时代手机,且背景虚化时前景物体边缘过度不自然,市场反应平平,因此华为也选择了淡化这款手机,不再推出其下一代产品。
2015年8月,奇酷360推出 RGB+Mono旗舰版双摄手机,也是全球首款采用RGB+Mono组合的手机。由于暗光成像效果出色,该双摄组合后来也成为主流的双摄配置,为后来该方案大规模普及奠定了基础。 随后,2016年4月华为也发布了采用RGB+Mono方案的双摄手机P9。
这款手机与徕卡合作开发,无论是光学水准、品控、镜头模组的打磨,还是后期软件算法的调校都比较出色,能够实现大光圈、黑白相片、徕卡德味的照片效果。市场反响不错,因此之后华为大部分旗舰手机都选择了RGB+Mono的双摄配置。
安卓厂商的创新也进一步刺激了苹果公司,2016年9月苹果推出广角+长焦(wide+tele)的iPhone 7 plus,该组合的目的是实现光学变焦。
这其实是一种非常朴素的变焦思路:用两个焦距不同的摄像头搭配,宽视角的广角镜头可以“看”的很广,但是“看”不清远处的物体,而窄视角的长焦镜头虽然“看”的范围不大,但是“看”的更远更清晰。
广角和长焦镜头组合搭配,在拍照时通过镜头切换和融合算法就能实现相对平滑的光学变焦。高像素的长焦镜头能保证广角镜头因变焦而损失的图像信息远低于单摄像头的数字变焦(假变焦),从而得到较好的光学变焦体验。此次iPhone 7 Plus的双摄像头升级是iPhone问世以来在摄像头方面最大的一次改变。
算法公司与模组厂商是成就双摄的主要功臣
算法公司对双摄的发展起了非常大的促进作用,对行业起到最大作用是Linx、ArcSoft虹软、Altek这三家公司。Linx因被苹果公司收购而出名,苹果双摄基本采用该公司的软硬件方案。
ArcSoft虹软则是2014年酷派RGB+RGB与2015年奇酷的RGB+MONO的背后双摄算法提供方,当前各安卓手机的Wide+Tele方案主要也是该公司提供的解决方案, Altek则主要是早期给华为提供双摄模组以及算法的供应商。
双摄模组厂商主要有三星电机(SEMCO)、LG Innotek、舜宇(Sunny)、欧菲光(O-Film)、丘钛(Q-Tech)、信利(Truly)、光宝(Liteon)。早期双摄市场不明朗的时候,观望徘徊是双摄市场的主流,很多安卓手机厂商密切关注苹果在双摄方面的动向。
保守的策略虽然暂时是安全的,但是也会错失行业的历史性机遇。这方面比较有进取心和定力的是大陆老牌模组厂舜宇光学(Sunny Optical),率先在双摄模组研发方面发力。
依靠深厚的技术积淀,舜宇在2015年自研成功了AA设备,为2017年双摄爆发积蓄好了技术和经验,最早在双摄模组领域站稳了脚跟,目前舜宇是大陆双摄产业链中最受益的模组厂商。
单摄像头手机时代,算法供应商与模组厂之间是独立运作,不需要交流,厂商直接采购镜头,算法公司则直接在手机生产尾期进入调试成像效果,算法供应商在产业链中的话语权并不高。
而在手机双摄时代,手机产业链格局发生很大变化,双摄算法供应商开始扮演重要的角色。
这是因为手机双摄软硬件技术门槛都很高,首先需要模组厂制造出高精度高一致性的双摄模组,和单摄相比制造难度成指数级上升,但是世界上没有两片完全相同的叶子,套用在双摄模组上也同样适用,由于制造工艺的误差,两颗摄像头不可避免会在镜头参数和组装精度有所不同,这就需要算法供应商的相机标定算法对误差进行测量并后期修正。
在双摄算法中,相机标定可以解决两个相机生产过程中由于制造误差产生的光轴不平行问题,同时校正由于广角镜头造成的图像畸变,是双摄算法的基石。
双摄模组标定的几个关键评价点是:1、标定精度高,这是双摄算法基础;2、标定速度快,对出货量极大的手机来说时间就是金钱;3、标定方案简单易用、可以快速部署;4、标定图案物体尺寸小,方便工作站使用;5、标定方案鲁棒性强,具有良好的容错性,即使出现的偏差也不会对结果有大影响;6、兼容性强,适用于多种双摄组合,可以重复利用。
2016-2018双摄全面爆发,产业链基本定格
双摄已进入标配期,产业链也基本定格。根据IHS Markit 提供的数据,2017年全球手机出货量市场份额如下。中国手机厂商华为、OPPO、vivo、小米的总市场份额约等于三星和苹果的市场份额之和。而双摄在中高端设备渗透率已超过50%。
目前,双摄算法主要分为以下几大阵营。
1、 苹果依靠收购的Linx公司和自身多年的图像处理技术的积累,在iOS系统上形成了闭环的生态系统。其推出的双摄手机均为后置Wide + Tele组合。
2、 安卓旗舰双摄手机市场,华为凭借内部算法团队和海思麒麟处理器形成了类似苹果的生态闭环。其推出的双摄手机几乎都是RGB + Mono组合。
3、 除了华为外的其他安卓手机阵营。
ArcSoft虹软是双摄算法供应商的引领者,主要面向中高端手机,估计其全球主流双摄手机出货量已超过80%。虹软提供Wide + Tele、RGB + Mono、RGB+RGB全部的双摄组合解决方案,并且和平台厂商有非常深入的合作,产品落地能力极强,行业口碑很好。
低端双摄手机方面,手机厂商为了节省成本,一般不会单独定制双摄算法,主要是使用平台厂或模组厂提供硬件时搭配的双摄算法,效果非常普通,但是价格便宜。
手机摄像头模组的核心零部件主要包括:图像传感器(CIS)、镜头(Lens)、音圈马达(VCM)、红外滤光片(IRCF)等。主要供应商都集中在亚洲的日本、韩国、中国大陆、中国台湾地区。
2018-2020手机摄像未来趋势:向多摄与深摄蔓延
2017年是双摄手机爆发的元年,如今各大手机厂商旗舰机不管是前置还是后置基本都是双摄配置,并且随着双摄成本的下降,双摄手机必然将下沉到千元机。
接下来,手机摄像头如何发展,是摆在业内人士的一个问题。对于行业来说未来有挑战更有机遇:
1、多摄像头手机方案
双摄的成功,自然会让人想到使用更多的摄像头的方案,第一个尝试该方案的是华为P20 pro,该机后置采用RGB+Mono+Tele的三摄像头配置。
从镜头的功能上来看,既可以利用RGB+Mono的组合实现超级夜景拍摄,也可以利用RGB+Tele实现光学变焦的能力。
通过三个镜头的视觉差也可以获取拍摄对象的景深,实现大光圈的效果。通过实际测试,华为P20 Pro三个摄像头并不能同时工作,只是根据不同的应用场景进行两两摄像头的组合,这种组合本质上是实现可变更组合的双摄。
将来可能出现三个及以上更多摄像头(多摄)的方案,将不同的多摄像头搭配可以组合出很多的玩法,将不同组合双摄的优点集中在同一款手机上,所以实用性很强。据悉,下一代苹果手机也很可能采用多摄像头的方案。
2、高倍光学变焦
光学变焦在拍照中是非常刚需实用的功能,但目前基于W+T的双摄手机一般实现的是2倍的光学变焦,和单反甚至带伸缩变焦镜头的卡片机(至少5倍以上的光学变焦)相比,仍然有较大差距。
因此,手机产业链对光学变焦非常重视,在未来的一两年内手机上很可能会有以下两种高倍光学变焦方案。
1) 多个(至少3个)定焦镜头组合实现高倍光学变焦。本质上和之前双摄的光学变焦原理类似,但是镜头的增加会提高硬件成本,对模组精度要求也较高,再考虑到光学防抖,对算法供应商来说也是一个很大的挑战。
2) 潜望式光学变焦。其原理是在手机机身内部放置一个和手机屏幕垂直的内驱光学变焦模组,然后利用折射镜接收外界光线,这相当于让复杂的光学变焦系统与机身实现了平行设计,不影响手机本身的厚度,而且和单反或伸缩式卡片机相比,可以更好的防尘防水。
不过,潜望式光学变焦也有很多缺点:一是复杂的 光学变焦系统对模组制造及手机装配有非常苛刻的要求,二是后期算法的调教也比较困难。对模组厂和算法 供应商来说都是很大的挑战。
3、搭配深度相机
1)结构光方案深度相机
去年苹果发布了具备前置结构光深度相机的重量级产品:iPhone X,其杀手级的应用就是携带了 三维人脸识别技术的Face ID。其中结构光方案采用伪随机散斑,该核心技术由苹果公司收购的PrimeSense公司提供。今年,小米、OPPO也推出了前置结构光深度相机的手机。
那么将来会不会前置结构光成为流行趋势呢?这里要打一个大大的问号。主要有以下几个考虑:
(1)苹果的结构光软硬件方案技术壁垒非常高,处于垄断地位。就全球手机产业链来说,目前能够提供足够精度的结构光方案只有苹果自己的供应链。除苹果外的第三方供应链目前精度还相差甚远,成本也居高不下。
(2)目前安卓手机前置结构光方案和苹果的技术方案 可能存在专利纠纷,一旦苹果打专利战,安卓阵营胜算不大。
(3)结构光方案深度相机应用场景比较单一,主要集中在Face ID、动画表情、人脸光效及人脸相关应用,未来可扩展应用空间有限。
(4)结构光方案深度相机需要发射器和接收器之间保持一定的距离(基线),模组占用空间较大,这对于空间非常有限的手机来说是很大的劣势。
总之,结构光方案短时间内仍然掌握在苹果手中,安卓阵营话语权不大。发展空间有限。
2)飞行时间方案深度相机
飞行时间(Time Of Fly,简称TOF)方案的深度相机在将来会有非常大的发展。和结构光方案相比,飞行时间方案有如下几点优势:
(1)TOF方案相对简单,产业链发展的比较成熟,如LG Innotek、Sunny optics、O-Film等一线模组厂都能够提供高质量模组。
(2)TOF方案不需要发射器和接收器之间保持一定的基线,甚至基线为零都可以,因此其模组体积可以做的非常小。非常适合对空间要求苛刻的手机。
(3)TOF方案可以通过发射功率控制使用范围,既适用于使用距离较近的前置三维人脸应用,也可以在使用距离较远的三维场景扫描、增强现实等领域使用,应用场景很丰富。
因此,未来一两年内TOF方案很可能会成为手机深度相机发展的主流趋势。
4、多功能摄像头技术和其他图像技术的融合
随着多摄像头与深度相机的使用,手机可获取到丰富的图像信息,通过将这些信息融合可以进一步提升暗光拍摄、逆光拍照、美颜、人像打光、HDR(高动态范围)等功能;另外,AI技术也将与其他技术一起整合,产生更好玩的拍摄功能,除了进一步提升AI解锁、AI场景识别、Animoji等功能,更多的人脸AR交互与体感交互将有可能是未来的主要方向。