vivo影像技术分享会——影像白皮书

原标题:vivo影像技术分享会——影像白皮书

目录

V1芯片 解锁影像的硬件级算法时代

  • 需求在变,vivo对专业芯片的思考一直未变
  • 定制化芯片V1,助力主芯片影像效果
  • V1芯片特性:专业影像芯片,与主芯片协作,效果体验兼容兼得
  • 将旗舰级桌面电脑吞吐能力搬到手机中
  • V1创新算法辅助并强化主芯片的夜景影像效果
  • 实时预览:能力越强,能耗越低

器件优化提升 “vivo蔡司联合影像实验室”的极致追求

  • 玻璃镜片——不仅是手机行业天花板,更是专业镜头的翘楚
  • 超高透玻璃镜片——高透光率、超低色散、热稳定强
  • AOA动态光学校准工艺——保证光学品质
  • 多重镀膜抑制眩光鬼影,与蔡司共同树立行业高标准
  • SWC镀膜技术——提升影像纯净度
  • ALD镀膜工艺——0.4纳米均匀分布膜层降低反射率
  • 色素旋涂工艺——有效滤除花瓣鬼影

算法 拓宽移动影像发展之路

  • 蔡司自然色彩,打造专业色彩表达
  • 蔡司人像风格,在手机上复刻经典
  • 还原镜头成像深度——3D-POP虚化效果
  • 还原口径蚀——建立像场分布模型
  • 还原每个光斑——建立滤波核生成技术模型
  • 更多功能,实现多维度影像体验

引领硬件级算法时代 不给场景设限、不给人设限、不给影像设限

  • 自研芯片引领手机影像行业下一个时代——“硬件级算法时代”
  • 手机影像为用户带来场景、人、影像的无界体验

V1芯片 解锁vivo影像的硬件级算法时代

  • 需求在变,vivo对专业芯片的思考一直未变

随着手机摄影向生产力工具的演变、消费者拍摄需求的增加,手机的计算能力面临运算量大和高能耗的问题。尤其是在复杂光源的夜景以及拍摄视频时,运算量呈指数级增长,对手机的算力提出了更高的要求。

传统的软件解决方案,并不能很好的满足这一需求。

同时,vivo在引入专业芯片升级用户体验上积累了大量经验:在vivo X1、X Play中,vivo就将定制Hi-Fi芯片放入手机,提升手机行业的音频体验。到2017年,vivo将定制的DSP图像芯片放入到X9 Plus中,提升整个手机行业的影像HDR表现。

最终定制化芯片,成为了最终的解决办法:通过自研影像芯片与主芯片软件算法协作,实现软硬结合,改善用户的影像体验。还原眼之所见、超越眼之所见。

  • 定制化芯片V1,助力主芯片影像效果

通过与手机SoC厂商深度合作,vivo完成了首颗自主研发的专业影像芯片:V1芯片。完整项目研发历时24个月,投入研发团队超300人,V1芯片自身也拥有高算力、低时延、低功耗的特性。

  • V1芯片特性:专业影像芯片,与主芯片协作,效果体验兼容兼得

V1是由vivo主导开发的,服务高速计算成像的专业影像芯片,是一颗全定制的特殊规格集成电路芯片。在整体影像系统设计中,V1可搭配不同主芯片和显示屏,起到扩充ISP高速成像算力,释放主芯片ISP负载的作用,同时服务用户拍照和录像的需求,兼容兼得。

在既定的业务下,V1既可以像CPU一样高速处理复杂运算,也可以像GPU和DSP一样,完成数据的并行处理。但不同的是,V1芯片在处理特定任务时具有高性能,低功耗的特点。面对大量的复杂运算,V1在能效比上相比DSP和CPU有指数级提升。

  • 将旗舰级桌面电脑吞吐能力搬到手机中

V1芯片具备超低能耗优势,为实现其同期处理能力最大化,vivo创新的优化了数据在芯片内部的储存架构和高速读写电路,实现等效32MB的超大缓存,全片上储存。超越了目前旗舰级桌面电脑处理器16MB到24MB的数量级,读写速度高达35.84Gbps,做到1080P 60FPS的实时降噪插帧能力。

  • V1创新算法辅助并强化主芯片的夜景影像效果

V1高速数据处理的针对性优化设计,让极其复杂的多个计算成像算法,在低功耗下并发实时处理变为可能。在夜景拍摄下,降低噪点,呈现清晰夜景

在V1的协助下,主芯片可以在低光录像时,以低功耗运行4K 30FPS的MEMC去噪和插帧,这极大的辅助并强化了主芯片在夜景下的影像效果,提升用户在夜景下的创作空间,配合主芯片ISP原有的降噪功能,实现二次提亮二次降噪。

  • 实时预览:能力越强,能耗越低

在主芯片ISP强大成像能力基础上,叠加V1内计算成像算法,得到1+1>2的成像效果。但提升效果并不意味着就要牺牲功耗,通过将软件算法转移至V1的专用硬件电路中,让复杂的计算成像功能不仅存在于成片中,在默认拍照和录像预览下即可开启。在高速处理同等计算成像算法时,相比软件实现的方式,V1的专用算法硬件电路功耗降低了50%,做到能力更强,能耗更低。

器件优化提升 “vivo蔡司联合影像实验室”的极致追求

  • 玻璃镜片——不仅是手机行业天花板,更是专业镜头的翘楚

人眼,是一个复杂的光学系统,而镜头作为手机的眼睛,同样也有着自己的复杂结构。vivo团队与蔡司团队根据双方在光学技术领域上的认知,把光学器件进行拆解,从光线第一个到达的保护镜片,到成像的镜头和滤光片,对每一个部件进行优化提升。

(GIF)

  • 超高透玻璃镜片——高透光率、超低色散、热稳定强

由于手机镜头高度集成化,过往行业内大部分都选择塑胶镜片,但目前,塑胶材料在光学设计优化方面已遇到瓶颈。vivo投入巨大研发成本,与蔡司团队经过多轮验证,最终选择高规格玻璃镜片,实现高透光率、超低色散、热稳定强的效果。

镜头0.9F以内,色差设计值比上代降低了70%以上,阿贝数达到了81.6,是目前手机行业中使用过的阿贝数最高的镜片,可明显改善高反差场景的紫边、伪色等效果问题。

备注:阿贝数是衡量色散能力的权威指标,阿贝数越高,色散越轻微,画面越纯净。

相比于塑胶,玻璃的制作工艺难度更大,工艺步骤比原先增加了11步,工序复杂,整体生产良率在前期较低,每100片中才能挑选60片良品,成本更高。vivo为使影像达到更高纯净度,将这块高规格玻璃镜片的中心透过率提高至95%,同时在70℃高温下,镜头后焦变化量从上一代纯塑镜头的66um减小到6um,降低了91%,热稳定性更强。在保持大光圈前提下,使镜头高度比上一代降低了2.5%,为手机节省更多空间,利于大靶面Sensor的相机模组应用。

(GIF)

  • AOA动态光学校准工艺——保证光学品质

为了让用户获得更高纯净度的影像,vivo采用超高透玻璃镜片,克服工序复杂,工艺步骤多的难点,同时采用行业先进的AOA动态光学校准工艺,通过动态调整镜头里的部件,通过实时补偿,调整镜片厚度误差和镜片偏心误差引起的清晰度降低问题。依靠这种动态调整与反馈机制,保证了最终镜头的光学品质。

(GIF)

  • 多重镀膜抑制眩光鬼影,与蔡司共同树立行业高标准
  • SWC镀膜——提升影像纯净度

vivo将SWC镀膜技术应用在保护玻璃上,从实际效果来看,未应用SWC镀膜前,反射率平均值为0.8%;应用SWC镀膜后,反射率最低降低到0.1%,下降幅度达90%,大幅改善拍照的炫光和鬼影问题,提升影像纯净度。

(GIF)

  • ALD镀膜——0.4纳米均匀分布膜层降低反射率

为了降低反射,做到蔡司T*镀膜要求,vivo采用了ALD镀膜工艺,即通过特殊化学反应,让原子一层层沉积,形成每层约0.4纳米均匀分布的膜层。

这是手机行业颠覆性镀膜技术,是vivo在业界的首发,到目前为止也是行业独家。这一技术让反射率直接降低50%,均值达到0.25%,中心边缘更一致,几乎无角度偏移,有效改善鬼影问题,对拍照性能有显性提升。

(GIF)

  • 色素旋涂——有效滤除花瓣鬼影

色素旋涂技术具备红光波段吸收效果,并解决色素与蓝玻璃的附着力问题。技术难点在于整个涂层厚度只有2um左右,只要有0.5um的凹坑就会出现成像不良,经过10次以上的不同工艺参数调试,降低色素由中心向边缘扩散的速度后,最终实现量产。

色素旋涂技术的应用,对花瓣鬼影的解决有明显效果,vivo也是国内第一家应用色素旋涂技术的厂商。

(GIF)

算法 拓宽移动影像发展之路

  • 蔡司自然色彩,打造专业色彩表达

历经3年10款机型的打磨,vivo形成了自己“鲜活”“明快”“有质感”的风格,“vivo色彩”也受到广大用户喜爱。

本次“vivo”色彩再次升级。通过大量调研,vivo联合蔡司共同研发了一款“蔡司自然色”,满足专业用户的色彩需求。

由于每个人对色彩的理解不尽相同,vivo选取色块更丰富的140色卡进行精细化的标准定义,选取了80个实拍场景进行实景效果验收。借助更精细的色彩调试算法支撑效果实现,经过粗调试和精细调整,最终使照片的色相准确度ΔE收敛了约15.5%,为业内领先,在较小的ΔE和仍然良好的饱和度中找到平衡。

  • 蔡司人像风格,在手机上复刻经典

回顾蔡司175年历史,为光学系统创造了很多经典,在世界优良的光学系统中占据最大比重。vivo选择以蔡司Biotar 58/2.0和Biotar75/1.5为代表的Biotar镜头,将旋转焦外成像特点为人像拍摄赋予绝佳的“氛围感”,配合vivo在人像领域的软硬件加持,在手机上重现蔡司经典人像风格。

  • 还原镜头成像深度——3D-POP虚化效果

通过深度计算获得图片的深度信息,并给予图像合理的虚化效果,实现镜头成像的深度还原。在计算摄影的理念之下,vivo采用了深度卷积网络,学习了28万张人像分割、10万张手势分割图片,保证焦内主体清晰,虚化过度自然

焦外物体虚化,前景到焦平面,焦平面到远景,每个镜头各不相同,都需要建立虚化模型。通过函数计算虚化程度和光斑大小,最终呈现出景深范围内清晰,景深范围外深度渐进的3D-POP虚化效果。

  • 还原口径蚀——建立像场分布模型

口径蚀是镜头无法避免的一种现象。位于画面边缘的光斑,在通过光圈时仅有一部分光路通过,点状光斑就会在口径蚀和光圈形状的共同影响下形成不同形状,营造出镜头特殊的氛围感。

根据蔡司专业镜头的焦外像场特性,建立像场分布式散焦模糊与光斑模型,通过智能光点检测与焦外旋转拉伸形变技术,实现焦外像场的口径蚀变化,每个光斑模型都经历超过500次模拟和超过200次实拍的考验,保证蔡司镜头原汁原味。

  • 还原每个光斑——建立滤波核生成技术模型

为了还原每一个镜头光斑的形状,vivo建立了滤波核生成技术模型,模拟所有镜头每一个光斑形状。vivo与蔡司团队将模拟效果与真实镜头效果进行对比,从细节处对模型进行调整和修正,最终在手机上准确还原出Biotar和Sonnar的镜头效果。

  • 更多功能,实现多维度影像体验
  • AI人脸增强算法:突破硬件限制,补充更多面部细节,提升人像基础画质。
  • 延时摄影功能:将行业普遍使用的视频抽帧方式改为照片序列方式,提升延时视频的动态范围、弱光拍摄能力及综合画质表现,实现一键拍摄日转夜、夜转日的惊艳效果。
  • Log模式:利用对数曲线,将画面内容压缩成“灰片”的视频记录格式,最大限度保存传感器的动态范围。
  • 超级夜景RAWHDR3.0算法:RAWHDR算法是将超级夜景算法从YUV域挪到RAW域,以获得更好的亮度和影调表现,全新RAWHDR3.0算法,让处理流程更合理,对色彩调整更细致。
  • SuperRAW:vivo的SuperRAW融合了自研的RAWHDR多帧算法,不论大光比逆光场景还是夜景环境,均能动态抓取最多10帧图像在RAW域进行超高位融合和降噪处理,输出14bit位深的超强RAW文件,显著提升信噪比和动态范围,充分发挥手机影像的潜能。

引领硬件级算法时代 不给场景设限、不给人设限、不给影像设限

  • 自研芯片引领手机影像行业下一个时代——“硬件级算法时代”

vivo将影像技术研发,看作系统性技术工程。就像人眼,每个人看到的画面,都是通过眼球的感光细胞将信号传输给视神经,经视神经最终传送到大脑视觉中心,经由大脑处理加工后的结果。手机也是如此,通过平台、器件、算法等各方面的共同协作,决定最后的成像品质,算法与硬件,缺一不可。通过V1芯片,引领手机影像行业的下一个时代——“硬件级算法时代”。

  • 手机影像为用户带来场景、人、影像的无界体验

vivo希望通过对手机影像不断的人文思考和技术探索,为用户带来场景、人、影像的无界体验。不给场景设限,何时何地想拍就拍;不给人设限,让所有人都能拍出更好的作品;不给影像设限,让手机影像的表达更加有力、直抵人心。vivo将在技术研发上不断突破想象,在光学设计上不停追求极致,在人性化的专业影像道路上不断前行。希望手机影像为人们的创作提供更大的可能性,让每个人有机会成为艺术的创作者。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2021-09-06
vivo影像技术分享会——影像白皮书
但提升效果并不意味着就要牺牲功耗,通过将软件算法转移至V1的专用硬件电路中,让复杂的计算成像功能不仅存在于成片中,在默认拍照和录像预览下即可开启。

长按扫码 阅读全文