运动捕捉技术是借助惯性、光学传感器，重建精确的人体三维模型信息的一种特效技术，通常在影视剧及游戏特效制作、运动员动作分析、患者康复评估等专业领域被广泛应用。相比高技术门槛、高成本的专业操作，腾讯微视近期在手机上实现了运动捕捉技术，国内首次在移动端实现人体3D Mesh重建，用户只需拿起手机拍摄或上传一张全身照，即可体验黄金圣斗士的铠甲实时贴合在人物身上。
(图：腾讯微视“圣斗士集结”效果展示)
一键变身黄金圣斗士，集结最强战队燃烧小宇宙
腾讯微视联动《圣斗士星矢(腾讯)》手游推出圣斗士系列玩法。通过黄金圣斗士铠甲换装的玩法，在腾讯微视APP内落地。用户可参与“圣斗士集结”活动，即可一键穿上圣斗士们的黄金圣衣。用户可通过搜索“圣斗士集结”关键词进入活动页面，或者点击首页底部+号进入拍摄界面，也能找到活动入口。
(图：腾讯微视“圣斗士集结”活动主界面)
用户可上传或拍摄一张正面照片，系统即可自动识别照片姿势，给人物全身换装黄金圣斗士铠甲。或者在拍摄页面选择圣斗士相关特效，全身入镜即可变身圣斗士，即使在拍摄过程中处于运动状态，黄金盔甲特效也会实时计算跟踪。在拍摄特效界面，可召唤多个星座的圣斗士，如黄金射手座、双子座撒加、处女座沙加等。
(图：腾讯微视“圣斗士集结”体验步骤)
动捕技术移动端首秀，微视自研手机3D Mesh算法
现如今短视频领域的诸多玩法，背后的技术能力主要分为四种：人脸2D关键点检测、人体2D关键点检测、人脸/头3D Mesh重建、人体3D关键点检测。但想要实现上传一张照片，或拍摄运动状态下的人物都穿上黄金圣斗士铠甲的效果，则需要实现从普通图像中重建出人体3D Mesh，才能将人体的身材用铠甲包裹住，并且保证能够在手机上实时运行。
(图：人体3D Mesh重建效果展示)
腾讯微视为了获取到高质量的3D人体Mesh重建数据，独立搭建了一套全新的动捕系统，并使用并基于这套系统开发了相应的Mesh重建算法，使其能更高效地进行训练数据的迭代，解决更多场景和姿态下的问题，增强模型的泛化性能。通过重建7千多个顶点和1.5万的面片，还原人体的基本动作，甚至预测出人体的高矮胖瘦。最终，渲染引擎根据这些信息给视频中的人物“穿上”盔甲。
在基础技术储备完成后，腾讯微视团队主要从数据集制作、算法流程改进、网络结构搜索、移动端工程优化以及算法细节打磨等几个方面对算法进行了优化。比如对上万个贴近手机端用户拍摄内容的视频数据进行采集、标注、清洗;对网络Backbone结构的设计与优化等。
(图：腾讯微视“圣斗士集结”效果演示)
算法渲染设计多部门协同配合，量身定制优化方案
从最开始的CV技术研发、到移动端的部署以及渲染，整个技术生产链条的打通离不开各部门团队间的多番协作。该项目调动了腾讯PCG内部多个技术团队，包括OVBU拍摄算法团队、应⽤研究中⼼、光流产品中⼼和MXD创意平台设计中⼼。技术是第一步，特效的渲染和设计打磨也是特效出街前的必然步骤。
在特效渲染层面，微视技术团队基于重建的人体3D Mesh量身定制了一套AttachToBody的渲染方案，确保高质量的渲染效果。此外，技术团队开发的自定义材质系统，也为玩法提供了更自由灵活的材质与光照解决方案。在性能方面，为了提升效果整体的覆盖率，在低端机上采取了Material Capture材质捕捉技术方案，用较小的计算成本拟合出近似PBR的真实感效果。同时在一些高频且量大的矩阵计算中启用了NEON加速方案，整体降低了数学计算耗时。
在视觉效果优化层面，设计团队通过对微视引擎的了解，设计出高标准且不超纲的设计，从研发、调整到打磨阶段都与技术团队强绑定，明确优化方向，给出优化建议;辅助优化引擎渲染能力，对特效的衣服贴合度与跟随性，身体比例协调性，衣服视效等方面进行了多轮打磨，最终达到较高标准的效果质量。
(图：腾讯微视“圣斗士集结”视觉优化过程)
一直以来，腾讯微视高度关注技术研发，未来也将持续围绕三维人体重建来进行创意特效设计与研发，不断提升3D重建精度，解决更多拍摄场景的需求。在人体形变、人体驱动虚拟角色等方面也将努力有进一步的突破，为用户提供更酷炫好玩的特效新体验。据了解，腾讯微视发布器团队正在大力招聘中，吸纳更多技术创新研发、创意视觉玩法等方面的专业人才进入，来发掘更优质的创意玩法，打造行业一流的短视频发布器一体化解决方案。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
