LiveSketch

LiveSketch：基于文本到视频先验的草图动画生成应用

LiveSketch 是一项创新的AI应用，旨在通过文本提示，自动为单主体草图添加生动的运动效果，从而“赋予草图生命”。该技术由特拉维夫大学、NVIDIA和赖希曼大学的研究团队共同开发，相关论文已被CVPR 2024收录为Highlight论文。

核心功能与优势

1. 自动动画生成
用户只需提供一张草图和一个描述期望动作的文本提示（例如“海豚在游泳并跳跃”），LiveSketch即可自动生成一段短动画。其输出为矢量表示，便于后续编辑和修改。

2. 无需大量训练
该方法不依赖大规模训练数据，而是利用预训练的文本到视频扩散模型中的运动先验，通过分数蒸馏损失（Score-Distillation Loss）来指导笔触的位置变化。

3. 自然流畅的运动建模
为实现自然平滑的运动并保持草图外观，LiveSketch将学习到的运动分解为两个组件：
– 局部变形：控制小的局部变化，如弯曲手臂。
– 全局仿射变换：控制整体的平移、旋转或缩放，例如物体远离摄像机时缩小。

技术原理

表示方式
草图被表示为一组放置在白色背景上的笔画，每根笔画是一条二维贝塞尔曲线，包含四个控制点。该方法为每个控制点预测每一帧的偏移量，从而通过变形草图来产生运动效果。

网络架构
通过训练一个“神经位移场”（Neural Displacement Field）——一个小型MLP——来将初始草图的坐标映射到每帧的偏移量。网络包含两条路径：
– 局部路径：为每个点预测无约束的偏移。
– 全局路径：为每帧预测全局仿射变换矩阵的参数。

训练过程
利用预训练的文本到视频模型中的运动先验。首先预测每个控制点的偏移，调整草图以生成所有视频帧，并通过可微分光栅化器渲染。然后使用标准SDS损失从预训练扩散模型中提取信号。

主要应用场景

1. 创意设计与动画制作
设计师可以快速将静态草图转化为动态概念演示，例如让角色行走、跳跃或舞蹈，极大缩短传统逐帧动画的制作时间。

2. 教育演示
教师或讲解者可将手绘示意图（如动物、机械结构）赋予动态效果，使教学内容更直观、生动。

3. 个性化内容创作
普通用户无需专业技能，即可为自己的涂鸦添加个性化动作，用于社交媒体分享或趣味视频制作。

与其他方法的对比

与现有的图像到视频扩散模型（如ZeroScope、ModelScope、VideoCrafter）相比，LiveSketch能更好地保留草图的独特风格和抽象特征，避免生成伪影。与专门针对儿童人物画动画的方法（如Animated Drawings）相比，LiveSketch不受限于人体骨架，可处理各种非人物体（如鱼、花、飞船），并生成更丰富、自然的运动。

局限性与未来方向

– 草图表示依赖：当前超参数和网络设计基于特定草图表示，不同表示（如封闭线段、高控制点数量）可能影响效果。
– 单主体假设：该方法假设输入为单主体草图，多物体或场景草图可能导致运动不自然。
– 形状保持：在运动强度与草图保真度之间存在权衡，有时可能改变原始草图的宽高比。
– 视频模型先验限制：继承了底层文本到视频模型的偏见和局限性，但该方法与模型无关，未来可随更优模型升级而改进。

LiveSketch为草图动画领域提供了一种高效、直观且易于使用的解决方案，在创意工作流、教育和娱乐等领域具有广阔的应用前景。