![图片[1]-FramePack :一款免费开源的AI视频生成工具,低配电脑春天来了!6GB显存就能生成高质量AI视频,完全免费,本地生成!](https://pic.turnfish.top/images/2025/04/23/FramePack-GitHubAI6GBAI.gif)
GitHub开发者 Lvmin Zhang 与斯坦福大学教授 Maneesh Agrawala 联合发布了一项颠覆性的AI视频生成技术——FramePack。该方法通过引入固定长度的时域上下文(Temporal Context),大幅降低显存与算力需求,使得普通硬件也能胜任高质量视频的生成任务。
在实测中,研究人员使用基于 FramePack 的 130 亿参数模型,仅借助一块6GB 显存的显卡,就成功生成了时长达 60 秒的视频,性能表现令人惊艳。
FramePack作为一种先进的神经网络架构,采用了多级优化策略,实现了本地AI视频的高效生成。值得注意的是,尽管其底层基于定制版的腾讯混元模型构建,但现有的预训练模型同样可以通过FramePack进行微调与适配,大大拓宽了其应用范围。
传统的视频扩散模型在生成视频时,需要逐步处理带有噪音的帧,并预测下一个噪音减少的帧。这一过程中,每生成一帧所需输入的帧数量,即时域上下文长度,会随着视频长度的增加而不断增加,对显存提出了极高的要求。通常而言,至少需要12GB的显存才能勉强应对,显存不足则会导致视频生成时间短、质量差、耗时长等问题。
相比之下,FramePack通过智能评估输入帧的重要性,对所有帧进行压缩处理,将其转化为固定的上下文长度,从而显著降低了对显存的需求。这一创新使得FramePack的视频生成计算消耗与图片扩散模型相当,更加高效节能。同时,每一帧画面生成后都会实时呈现,为用户提供了便捷的即时预览体验。
FramePack还有效缓解了视频生成中的“漂移”现象,即随着视频长度的增加,质量逐渐下降的问题。通过FramePack技术,可以在不显著牺牲视频质量的前提下,生成更长的视频内容,满足用户对高质量长视频的迫切需求。
在数据格式与硬件支持方面,FramePack表现出色。它支持FP16、BF16等数据格式,兼容RTX 50、RTX 40、RTX 30系列显卡(除RTX 3050 4GB外),几乎涵盖了所有近代显卡。然而,对于RTX 20系列及更老的显卡,以及AMD、Intel处理器的需求,FramePack尚未进行验证。
操作系统方面,FramePack支持Windows和Linux两大主流平台,为用户提供了灵活的选择空间。在性能方面,经过teacache优化的RTX 4090显卡,每秒可生成约0.6帧视频内容,展现了FramePack技术的强大实力。
系统要求:
6GB GPU 内存。
Nvidia GPU RTX 30XX、40XX、50XX 系列支持 fp16 和 bf16。GTX 10XX/20XX 未经测试。
Linux 或 Windows 操作系统。
本地部署:
1、Windows
![图片[2]-FramePack :一款免费开源的AI视频生成工具,低配电脑春天来了!6GB显存就能生成高质量AI视频,完全免费,本地生成!](https://pic.turnfish.top/images/2025/04/23/FramePack-GitHubAI6GBAI0.jpg)
下载后,您可以解压缩,使用 update.bat
进行更新,并使用 run.bat
运行。
请注意,运行 update.bat
很重要,否则您可能正在使用未修复潜在错误的早期版本。
请注意,模型将自动下载。您将从 HuggingFace 下载超过 30GB。
2、Linux :
我们建议使用独立的 Python 3.10。
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt
要启动 GUI,请运行:
python demo_gradio.py
请注意,它支持 --share
、--port
、--server
等。
该软件支持 PyTorch attention、xformers、flash-attn、sage-attention。默认情况下,它只会使用 PyTorch attention。如果你知道如何安装这些 attention 内核。
例如,要安装 sage-attention (linux):
pip install sageattention==1.0.6
但是,强烈建议您先尝试不使用 sage-attention,因为它会影响结果,尽管影响很小。
用户界面
![图片[1]-FramePack :一款免费开源的AI视频生成工具,低配电脑春天来了!6GB显存就能生成高质量AI视频,完全免费,本地生成!](https://pic.turnfish.top/images/2025/04/23/FramePack-GitHubAI6GBAI.gif)
在左侧,您上传图像并编写提示。
右侧是生成的视频和潜在预览。
因为这是一个 next-frame-section 预测模型,所以视频的生成时间会越来越长。
您将看到每个部分的进度条和下一部分的潜在预览。
请注意,初始进度可能比后期扩散慢,因为设备可能需要一些预热。
FramePack 的核心优势:
- 固定时域上下文:不同于传统视频扩散模型随着帧数增加而显存需求暴涨,FramePack 会自动分析输入帧的重要性,进行压缩处理,将输入统一转换为固定长度的上下文,有效控制资源占用。
- 显存占用低:计算量与图像扩散模型相当,大幅减少硬件门槛。
- 实时预览支持:每一帧生成后可立即显示,便于随时调整。
- 解决漂移问题:有效缓解视频长度增加后画面质量下降的“drifting”问题,实现更长、更稳、更清晰的本地视频生成。
技术架构与兼容性:
FramePack 本质上是一种多级优化的神经网络架构,目前底层采用的是定制化的腾讯混元模型。但更关键的是,它对市面上已有的预训练扩散模型也具备良好的兼容性与适配能力,便于进行迁移学习与个性化微调。
硬件与系统支持一览:
- 显卡要求:支持 FP16、BF16 精度,兼容 RTX 30、40、50 系列显卡(除 RTX 3050 4GB 外基本全覆盖)。RTX 20 系列及更早版本尚未验证,暂不支持 AMD 或 Intel GPU。
- 系统支持:兼容 Windows 与 Linux 系统,部署灵活。
- 性能表现:在 RTX 4090 上经 Teacache 优化后,生成速度可达每秒 0.6 帧,效率不俗。
这项技术的推出,或将彻底改变AI视频创作的门槛:不再需要高端工作站,仅凭一块入门显卡,人人都可以打造专属的AI视频。
请登录后查看评论内容