FramePack

ビデオ生成のためのフレームコンテキストパッキング

固定長に圧縮された入力フレームコンテキストにより、ビデオ長に依存しない生成ワークロードを実現する革新的な次フレーム予測ニューラルネットワークアーキテクチャ。

デモを見る始める

画像拡散のように感じるビデオ拡散

FramePackは入力コンテキストを固定長に圧縮し、ビデオ長に依存しない生成を可能にする次フレーム予測ニューラルネットワーク構造を採用しています。

ノートパソコンGPUでも多数のフレームを処理可能
6GBのGPUメモリのみを必要とする
より大きなバッチサイズでのトレーニングが可能
1分間30fps（1800フレーム）のビデオを生成

主な特徴

最小限のメモリ要件

13Bモデルで60秒30fps（1800フレーム）のビデオを6GB VRAMのみで生成。ノートパソコンGPUでも容易に実行可能。

即時の視覚フィードバック

次フレーム予測モデルとして、生成されるフレームを直接確認でき、生成プロセス全体で豊富な視覚フィードバックを得られます。

圧縮された入力コンテキスト

入力コンテキストを一定長に圧縮し、生成ワークロードをビデオの長さに依存させず、超長時間ビデオ生成に対応します。

単独動作するデスクトップソフトウェア

スタンドアロンの高品質サンプリングシステムとメモリ管理機能を備えた機能完備のデスクトップアプリケーションを提供します。

驚異的なデモ

Anime

anime.mp4

Girl2

girl2.mp4

Boy

boy.mp4

Boy2

boy2.mp4

Girl3

girl3.mp4

Girl4

girl4.mp4

Foxpink

foxpink.mp4

Girlflower

girlflower.mp4

Girl

girl.mp4

How It Works

Installation & Setup

Clone FramePack from GitHub and install all dependencies in your environment.
Define Your Initial Frame

Upload an image or generate one from a text prompt to start your video sequence.
Create Motion Prompts

Describe the desired movement and action in natural language to guide the video generation.
Generate & Review

FramePack generates your video frame by frame with impressive temporal consistency. Download and share your results.

No credit card required. Start creating amazing videos today.

Get Started

### Manual Installation on Windows

1. Create a folder and open Command Prompt
   git clone https://github.com/lllyasviel/FramePack.git
   cd FramePack

2. Create and activate a Python virtual environment (Python 3.10 recommended)
   python -m venv venv
   venv\Scripts\activate.bat

3. Upgrade pip and install dependencies
   python -m pip install --upgrade pip
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
   pip install -r requirements.txt

4. Install Triton and Sage Attention
   pip install triton-windows
   pip install https://github.com/woct0rdho/SageAttention/releases/download/v2.1.1-windows/sageattention-2.1.1+cu126torch2.6.0-cp312-cp312-win_amd64.whl
   ※Adjust the URL according to your CUDA or Python version

5. Optional: Install Flash Attention
   pip install packaging ninja
   set MAX_JOBS=4
   pip install flash-attn --no-build-isolation

6. Launch the Gradio UI
   python demo_gradio.py

# We recommend having an independent Python 3.10 environment
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt

# Start the GUI
python demo_gradio.py

### Online Run on Windows (GUI)

1. Clone the repository:
   git clone https://github.com/lllyasviel/FramePack.git
   cd FramePack

2. Create and activate a Python virtual environment:
   python -m venv venv
   venv\Scripts\activate.bat

3. Install dependencies:
   python -m pip install --upgrade pip
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
   pip install -r requirements.txt

4. Launch the Gradio GUI:
   python demo_gradio.py

5. Open in browser:
   http://localhost:7860

Packing Input Frame Context in Next-Frame Prediction Models for Video Generation

FramePack is a revolutionary video generation technology that compresses input contexts to a constant length, making the generation workload invariant to video length. Learn about our methods, architecture, and experimental results in detail.

Download PDF Project Page