近年来,人们制作的动物和人物动画已经越来越逼真。尽管如此,由于需要将音频和视频相结合,角色说话时的动作仍然不够自然。
过去的研究发现,人们说话时的头部运动与其声音的音调和振幅之间有很强的关联性。这些发现启发了印度的一个计算机科学家团队。因此,他们基于一种机器学习算法——生成对抗网络(GAN)——的架构,创建了一个新模型,可以有效地为动画人物的脸部生成逼真的动画。
该模型可以识别说话者正在谈论的内容,以及他/她在特定时间的语音语调,随后使用这些信息来产生匹配的脸部运动。
研究人员补充说:“我们的工作离实现更逼真的动画迈进了一步。此外,该方法可以转化为多种现实应用,如数字助理、视频配音或远程呈现。”
该研究论文题为'Speech-driven facial animation using cascaded GANs for learning of motion and texture',已发表在European Conference on Computer Vision期刊上。
前瞻经济学人APP资讯组
本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系)