MRT为企业互联网+ 赋能

据8月16日消息，阿里云近日推出了一款名为Live Portait的数字人视频生成工具。它的功能就是当用户上传一张照片和一段文本或者语音，就可以生成一个口型与声音同步的数字人视频。

这项功能的应用场景可以说是非常广泛，可以用于视频直播、聊天机器人、企业营销等领域。目前，该工具已在魔搭社区创空间开放体验。

近年来，随着对生成式人工智能技术的研究不断深入，业界开始将注意力转向更多模态的应用领域，而AI视频生成便是其中备受关注的一个领域。通过将文本或音频等信息转化为面部运动信息，Live Portait能够生成逼真的照片人物形象动画，并有效降低了视频拍摄和制作的门槛。

Live Portait工具由运动模块和生成模块组成，并采用了阿里云自研的口型预测算法，相较于传统方法大幅提高了口型准确度。在训练阶段，还增加了姿态显式控制技术，使得无需底板视频即可生成任意动作的视频，进一步提升了数字人说话时的真实感，能够做出更加自然、逼真的动作。

此外，Live Portait还通过眼神主动控制技术，为眼球增加自然运动，使得生成结果更加接近真人效果。据介绍，Live Portait相关技术已被CVPR、ICCV等国际AI顶会收录。

根据魔搭社区上的信息显示，在使用Live Portait上传照片后，用户可以选择文本驱动或音频驱动两种方式。在文本驱动模式下，工具提供了普通话、英语、粤语和童声等28种声音可供选择。此外，Live Portait还提供了轻量模型选项，帮助用户更快速地生成视频。

该工具算法负责人张邦表示：“Live Portait集成了团队多项自研创新技术，例如仅需单张图片就能生成逼真的面部动画，突破了传统对抗生成网络的局限。随着技术的进一步迭代，图像生成视频有巨大的应用空间，并有望成为企业降低成本、提高效率的生产工具。”

据悉，该团队的研究方向涵盖数字人、3D模型AI生成、高真实感渲染和自然人机交互等领域，并且已经在国际顶级学术会议上发表了50多篇论文。