Featured image of post 预训练模型助力,真实动画视频生成 | 开源专题 No.92

预训练模型助力,真实动画视频生成 | 开源专题 No.92

在这个数字化时代,将静态图像转化为栩栩如生的动态视频已成为现实。探索这些开源项目,一起揭开图像到视频动画合成的神秘面纱,感受技术的革新和创意的力量。

OpenTalker/SadTalker

Github Repo Stars License: Language:

demo-picture-of-SadTalker

SadTalker 是一个基于音频驱动的单幅图像对话头像动画生成项目。它可以将单幅人像图像与音频结合,生成逼真的视频对话头像。该项目的主要功能和核心优势包括:

  • 支持单幅图像加音频生成对话头像视频。
  • 通过 Discord 整合,用户可以免费使用,也可以通过发送文件或文本提示生成高质量视频。
  • 提供稳定的扩散 WebUI 扩展,支持全图模式。
  • 不断更新版本,增加新特性,修复 Bug,优化性能。
  • 提供了详细的安装教程和社区教程,覆盖多种操作系统。
  • 支持模型下载脚本,提供预训练模型,同时提供离线模型供用户选择。

Zejun-Yang/AniPortrait

Github Repo Stars License: Language:

demo-picture-of-AniPortrait

AniPortrait 是一个通过音频驱动合成逼真肖像动画的开源项目。

  • 提供高质量的由音频和参考肖像图像驱动的动画生成框架
  • 支持提供视频实现面部重现
  • 发布了 Gradio 演示,支持 HuggingFace Spaces 上的在线演示
  • 提供各种生成视频功能,包括自主驾驶、面部重现、音频驱动等

magic-research/magic-animate

Github Repo Stars License: Language:

demo-picture-of-magic-animate

这个项目是 MagicAnimate,它使用扩散模型实现了时间一致的人体图像动画。该项目提供了预训练基础模型和 MagicAnimate 检查点,并支持单 GPU 和多 GPU 推断。此外,还提供在线 Gradio 演示以及本地 Gradio 演示功能。

  • 提供预训练基础模型
  • 支持单 GPU 和多 GPU 推断
  • 在线/本地 Gradio 演示

HumanAIGC/AnimateAnyone

Github Repo Stars License: Language:

demo-picture-of-AnimateAnyone

AniamteAnyone 是一个用于角色动画的一致且可控的图像到视频合成工具。

  • 提供了一致和可控的图像到视频合成功能
  • 支持角色动画
  • 可以生成高质量的视频输出

OpenTalker/video-retalking

Github Repo Stars License: Language:

cover

VideoReTalking 是一个用于在野外环境中编辑真实人物头部视频的系统。其主要功能包括根据输入音频修改面部表情、生成与音频同步的嘴唇动作以及提高合成脸部图像逼真度等。该项目具有以下核心优势和特点:

  • 通过学习方法解决了三个任务,可以无需用户干预地按顺序处理所有模块。
  • 提供了预训练模型,并且支持快速推理,不需要手动对齐数据。
  • 可控制表情并改变上半脸的表达方式。
Licensed under CC BY-NC-SA 4.0