大谷新作!AI还原「王之霸气」朱元璋,杜甫倾情献唱奥特曼主题曲

  • 时间: 2020-08-29 06:45:55

  来源:b站

  编辑:雅新、白峰

  AI 复活「历史人物系」来一波 !

  兵马俑、杜甫、朱元璋、林黛玉都来凑热闹了。

  还记得 AI 复原的 100 年前老北京和上海时装秀的原声录像吗?近日,B站 up 主 @大谷 Spitzer 再次用 AI「画笔」复原了尘封多年的历史。

  杜甫「天眼」一开,没有吟诗,而是唱起了奥特曼主题曲《奇迹再现》,还挺有节奏。

  杜甫抖起来,真没年轻人什么事了。

  黎明悄悄划过天边,就像阳光穿过黑夜。

  秦始皇兵马俑被誉为世界第八大奇迹。每个兵马俑的表情都是千奇百态,几千年过去了,我们很难想象出他们在秦朝的样子。

  今天,大谷让这些兵俑重新焕发了生机,穿越前年来和你对话。

  去过兵马俑后,大家都会对这些泥塑真人古迹的感到震撼。再看用 AI 复原后的兵马俑,竟变成了有血有肉的大叔。

  明朝开国皇帝朱元璋复原后这一傲娇的表情,我瞬间收藏了。

  网友表示,明太祖真是「英气逼人」。

  天生抑郁体制的林黛玉图像复原后,让人瞬间眼前一亮。柳叶眉,樱桃唇,鹅蛋脸,一颦一笑,让人心生欢喜。

  还有蒋兆和老先生的水墨画《老伴》,老爷爷和老奶奶的对话场景活灵活现。

  AI 复原《于阗歌舞图》,新疆的菇凉就是美!

  这些活灵活现的人物究竟是如何复活的?

  大谷很热心地分享了自己用到的 AI 模型,全是开源的 GitHub 项目。

  只要沉下心来研究大谷的教程,你也能让杜甫舞动起来。

  风格转换第一步

  ArtBreeder 的是一个在线工具,可以让用户使用生成对抗性网络(GAN)来操纵人物肖像和风景。要做的很简单,登录 ArtBreeder 网站,输入自己想要风格化的图像,使用滑块进行调整就能完成,十分方便。

  徐悲鸿经风格调整后的图像

  如果想要特定风格的,就需要 StyleGAN 了,StyleGAN2 是 StyleGAN 的升级版,可以更加精细的进行风格迁移。

  StyleGAN2 重新定义了无条件图像建模,无论是在现有的分布质量指标还是感知图像质量方面都达到了 SOTA。StyleGAN2 对上一代的 StyleGAN 方法进行了改进,并对模型结构和训练方法进行了调整,让图像的生成质量更好。

  StyleGAN2 训练的速度更快,新生成的图像受伪影的影响更小,多图像的混搭风格更好,插值更加平滑,因此看起来过渡比较平滑。

  First-Order-Model,让静态人物动起来

  得到特定风格的图片之后,如何让静态的人物动起来?

  大谷使用了一个基于 First-Order-Model 的动态转换模型,该模型只需要输入一个动态视频和杜甫的静态图片,就可以让杜甫模仿出视频中人物的动作。

  这个模型可以根据驱动视频的运动,对源图像中的对象进行动画处理,以生成视频序列,而无需使用任何注释或有关特定对象的先验信息。

  模型采用自监督的方法将外观和运动信息分离,使用了视频中对象的关键点及其局部仿射变换进行特征表示。

  First-Order-Model 模型由两个主要模块组成:运动估计模块和图像生成模块。运动估计模块的目的是预测密集的运动场。我们假设存在一个抽象的参考框架,然后独立地估计了两种转换:从参考到源以及从参考到驱动,这样的设计使模型能够独立处理源帧和驱动帧。

  视频不清晰不连贯?插帧、超分辨率一键搞定

  模型直接生成的视频可能在动作不够连贯,这时就需要一个视频插帧的步骤,让动态图像显得更自然,大谷同样采用了一个开源视频帧插值模型 DAIN。

  DAIN 的全称是深度感知视频帧插值,模型通过探索深度信息来显式地检测遮挡。该项目开发了一个深度感知流动投影层,优选取样更近的物体,以合成中间流插补视频帧。

  此前在另一个视频中,大谷还使用了一个超分辨率工具 ESRGAN。

  当 First-Order-Model 生成的视频分辨率低,而 DAIN 插值后效果又不好,就可以考虑使用 ESRGAN 加一个超分辨率的后处理。

  ESRGAN:ESRGAN 改进自 SRGAN ,主要用来做视频超分辨率。与 SRGAN 的深层模型越来越难以训练相反,更深层次的 ESRGAN 模型通过简单的训练就能达到卓越的性能,核心点在于平衡视觉质量和峰值信噪比的网络插值策略。

  大谷老师的B站粉丝数已经将近 9 万了,如果你也想成为一个超人气 AI 明星,赶紧捡起你的 Python 吧!