AI 画动漫

前段时间分享了 AI 画漫画，今天分享一个 AI画动漫。感觉可以串起来了。

可以做几件事情：

• Cartoon Interpolation 卡通动画中间帧

  

  

• Cartoon Sketch Interpolation 卡通素描中间帧

  

  

• Reference-based Sketch Colorization 基于参考的素描上色

  

  中间的素描动画

  

  最后结果
  

  

• Sparse Sketch Guidance 疏松素描指导

  

  疏松素描参考：
  

  

  最后结果
  

  

体验

在 Huggingface 上可以运行 Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter

技术细节

ToonCrafter 概述

给定两个动漫图像 ?¹ 和 ?^?，ToonCrafter 利用图像到视频生成扩散模型作为生成器，生成中间帧的潜变量 ?₀。这些潜变量随后通过提出的细节注入解码器解码到像素空间，并以 ?¹ 和 ?^?作为细节指导。可选地，可以通过稀疏素描指导来控制插值。

细节注入 3D 解码器的说明

给定帧潜变量 ? 作为输入，我们通过浅层的交叉注意力注入来自编码器 ℰ 的输入图像 ?¹ 和 ?^?的中间特征，同时通过残差学习，即在深层将 1 帧和 L 帧的特征相加。

示例

不同素描指导模式的示例：（顶部）二等分（n=1）和（底部）随机位置。

对比

ToonCrafter 与 AnimeInterp、EISAI、FILM、SEINE 的动漫插值结果的视觉对比。