OpenTalker/SadTalker
SadTalker 是一个基于音频驱动的单幅图像对话头像动画生成项目。它可以将单幅人像图像与音频结合,生成逼真的视频对话头像。该项目的主要功能和核心优势包括:
- 支持单幅图像加音频生成对话头像视频。
- 通过 Discord 整合,用户可以免费使用,也可以通过发送文件或文本提示生成高质量视频。
- 提供稳定的扩散 WebUI 扩展,支持全图模式。
- 不断更新版本,增加新特性,修复 Bug,优化性能。
- 提供了详细的安装教程和社区教程,覆盖多种操作系统。
- 支持模型下载脚本,提供预训练模型,同时提供离线模型供用户选择。
Zejun-Yang/AniPortrait
AniPortrait 是一个通过音频驱动合成逼真肖像动画的开源项目。
- 提供高质量的由音频和参考肖像图像驱动的动画生成框架
- 支持提供视频实现面部重现
- 发布了 Gradio 演示,支持 HuggingFace Spaces 上的在线演示
- 提供各种生成视频功能,包括自主驾驶、面部重现、音频驱动等
magic-research/magic-animate
这个项目是 MagicAnimate,它使用扩散模型实现了时间一致的人体图像动画。该项目提供了预训练基础模型和 MagicAnimate 检查点,并支持单 GPU 和多 GPU 推断。此外,还提供在线 Gradio 演示以及本地 Gradio 演示功能。
- 提供预训练基础模型
- 支持单 GPU 和多 GPU 推断
- 在线/本地 Gradio 演示
HumanAIGC/AnimateAnyone
AniamteAnyone 是一个用于角色动画的一致且可控的图像到视频合成工具。
- 提供了一致和可控的图像到视频合成功能
- 支持角色动画
- 可以生成高质量的视频输出
OpenTalker/video-retalking
VideoReTalking 是一个用于在野外环境中编辑真实人物头部视频的系统。其主要功能包括根据输入音频修改面部表情、生成与音频同步的嘴唇动作以及提高合成脸部图像逼真度等。该项目具有以下核心优势和特点:
- 通过学习方法解决了三个任务,可以无需用户干预地按顺序处理所有模块。
- 提供了预训练模型,并且支持快速推理,不需要手动对齐数据。
- 可控制表情并改变上半脸的表达方式。