FramePack AI – 面向消费级 GPU 的下一帧视频生成

感觉像图像扩散的视频扩散

FramePack 利用下一帧预测神经网络结构，将输入上下文压缩到固定长度，实现连续视频生成，生成效率不受视频长度影响。

即使在笔记本 GPU 上也能处理大量帧
仅需 6GB 显存
可使用更大的批量大小进行训练
生成 1 分钟 30FPS 视频（1800 帧）

主要特性

最低内存需求

使用 13B 模型，仅需 6GB 显存即可生成 60秒 30FPS（1800 帧）视频，笔记本 GPU 也能轻松运行。

即时视觉反馈

作为下一帧预测模型，您将实时看到生成帧，在整个生成过程中获得丰富的视觉反馈。

压缩输入上下文

将输入上下文压缩到固定长度，使生成工作量与视频长度无关，支持超长视频生成。

独立桌面软件

提供功能完整的桌面应用，具有高效采样系统和内存管理。

精彩演示

动漫

anime.mp4

女孩2

girl2.mp4

男孩

boy.mp4

男孩2

boy2.mp4

女孩3

girl3.mp4

女孩4

girl4.mp4

粉色狐狸

foxpink.mp4

花之女孩

girlflower.mp4

女孩

girl.mp4

工作原理

安装与设置

从 GitHub 克隆 FramePack 并在您的环境中安装所有依赖。
定义初始帧

上传图片或根据文本提示生成图片，以开始视频序列。
创建运动提示

使用自然语言描述所需动作，引导视频生成。
生成与查看

FramePack 逐帧生成视频，具有出色的时间一致性。下载并分享您的成果。

无需信用卡，立即开始创作精彩视频。

快速开始

### Manual Installation on Windows

### Windows 平台手动安装

1. Create a folder and open Command Prompt
   git clone https://github.com/lllyasviel/FramePack.git
   cd FramePack

2. Create and activate a Python virtual environment (Python 3.10 recommended)
   python -m venv venv
   venv\Scripts\activate.bat

3. Upgrade pip and install dependencies
   python -m pip install --upgrade pip
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
   pip install -r requirements.txt

4. Install Triton and Sage Attention
   pip install triton-windows
   pip install https://github.com/woct0rdho/SageAttention/releases/download/v2.1.1-windows/sageattention-2.1.1+cu126torch2.6.0-cp312-cp312-win_amd64.whl
   ※Adjust the URL according to your CUDA or Python version

5. Optional: Install Flash Attention
   pip install packaging ninja
   set MAX_JOBS=4
   pip install flash-attn --no-build-isolation

6. Launch the Gradio UI
   python demo_gradio.py

# We recommend having an independent Python 3.10 environment
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt

# Start the GUI
python demo_gradio.py

### Online Run on Windows (GUI)

1. Clone the repository:
   git clone https://github.com/lllyasviel/FramePack.git
   cd FramePack

2. Create and activate a Python virtual environment:
   python -m venv venv
   venv\Scripts\activate.bat

3. Install dependencies:
   python -m pip install --upgrade pip
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
   pip install -r requirements.txt

4. Launch the Gradio GUI:
   python demo_gradio.py

5. Open in browser:
   http://localhost:7860

研究论文

在下一帧预测模型中打包输入帧上下文以用于视频生成

FramePack 是一项革命性的视频生成技术，将输入上下文压缩到固定长度，使生成工作量与视频长度无关。详细了解我们的方法、架构和实验结果。

下载 PDF 项目页面

FramePack

为视频生成打包输入帧上下文