首页 > 企业 > 企业频道厂商稿> 正文

人像编辑GAN技术取得突破,字节跳动多篇论文入选顶会AAAI2023

zhangxinxin 责任编辑:houxianyong 发布于:2023-02-14 17:40

表情编辑技术在特效和修图场景有着广泛的应用。此前,剪映、醒图等app上的一键变笑脸模板一经上线就立刻成为出圈爆款;在抖音上,这一特效还引发了热烈的话题讨论,「笑得很好下次别笑了」一度登顶抖音话题热榜。

近日, 在AI领域的顶级会议AAAI2023上,来自字节跳动智能创作团队的3篇关于表情编辑GAN技术的论文入选,揭示了上述爆款特效背后的技术实现方法。据了解,AAAI2023共收到了 8,777 有效投稿,最终接受了 1,721 篇论文,总体接受率19.6% 。

图片1.png

ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing(https://arxiv.org/abs/2301.13402)

Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field(https://arxiv.org/abs/2302.01579)

CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation

(https://arxiv.org/abs/2302.01608)

“一键变笑脸”背后的技术方案:

第一阶段,团队利用预训练的3D人脸重建模型,提取3DMM表情系数并注入到StyleGAN的w空间。同时,渲染出3D shape用作约束条件,训练特定人脸表情的生成。第一阶段训练完成就可以生产大量的配对数据,训练服务端或移动端的pix2pix模型,从而实现特定表情的编辑。

图片4.png

StyleGAN作为应用最广泛的无条件 GAN 之一,能够实现高保真图像的生成,同时也便于在其隐空间内进行语义编辑。团队借助StyleGAN自研了人像属性编辑框架,可以轻易地实现如人像表情等属性的编辑效果。详细技术方案见:https://arxiv.org/abs/2109.10737

图片5.png

然而,基于StyleGAN生成的人脸(假图)和真实人脸图像还是有一定的差异,这体现在用假图训练好的pix2pix模型直接应用于自拍特效或者修图场景会不可避免的产生一些bad case,因此需要借助StyleGAN反演能力,生产真实人脸的配对数据用于模型训练。

图片6.png

过去,基于StyleGAN的重建和编辑存在trade-off问题,即提升真实图像的重建效果会影响属性的编辑效果。先前的方法针对性地优化了StyleGAN的重建和编辑任务,但没能从原理上解决上述问题。团队提出了ReGANIE,通过二阶段修复重建的误差的方法,在不影响StyleGAN本身编辑能力的同时,大幅地提升了图像重建的效果,从根本上解决了这个trade-off问题。

因此,团队利用ReGANIE和StyleGAN编辑模型可以生产真实人像的表情配对数据,还实验了如卡通肖像,动物肖像等场景扩展。

图片7.png

另外,团队探索了将神经辐射场(Nerf)技术和StyleGAN技术进行结合,结合人像分割能力提出了3D一致性的肖像合成与编辑技术Semantic3D,实现了肖像数据的姿态和局部可控性。

它借由视角v的输入可以灵活生成不同姿态的肖像图,从而可以扩充训练数据的姿态多样性。同时,基于组合式生成的思想,让StyleGAN的隐空间操纵聚焦于期待编辑的属性,如只编辑面部区域表情而不改变头发或背景。

图片8.png

据团队介绍,未来,基于GAN等生成技术对人像表情进行编辑将主要应用于短视频特效、修图拍摄和内容生成等应用场景。目前,相关功能可在抖音,剪影,醒图等APP体验,企业用户可登陆火山引擎官网(https://www.volcengine.com/product/emotion-edit)使用表情编辑服务。

智能创作团队是字节跳动AI&多媒体技术中台,通过建设领先的计算机视觉、音视频编辑、特效处理等技术,支持抖音、剪映、头条等公司内众多产品线;同时通过火山引擎为外部ToB合作伙伴提供业界前沿的智能创作能力与行业解决方案。

zhangxinxin

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部