# VideoX-Fun 😊 ようこそ！ CogVideoX-Fun: [![Hugging Face Spaces](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-yellow)](https://huggingface.co/spaces/alibaba-pai/CogVideoX-Fun-5b) Wan-Fun: [![Hugging Face Spaces](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-yellow)](https://huggingface.co/spaces/alibaba-pai/Wan2.1-Fun-1.3B-InP) [English](./README.md) | [简体中文](./README_zh-CN.md) | 日本語 # 目次 - [一、紹介](#一紹介) - [二、クイックスタートと使用](#二クイックスタートと使用) - [1. 環境準備](#1-環境準備) - [2. 推論生成](#2-推論生成) - [3. モデルのトレーニング](#3-モデルのトレーニング) - [三、サポート済みモデル](#三サポート済みモデル) - [四、ビデオ作品](#四ビデオ作品) - [五、参考文献](#五参考文献) - [六、引用](#六引用) - [七、制限とリスク](#七制限とリスク) - [八、ライセンス](#八ライセンス) # 一、紹介 VideoX-Funはビデオ生成のパイプラインであり、AI画像やビデオの生成、Diffusion TransformerのベースラインモデルとLoraモデルのトレーニングに使用できます。我々は、すでに学習済みのベースラインモデルから直接予測を行い、異なる解像度、秒数、FPSのビデオを生成することをサポートしています。また、ユーザーが独自のベースラインモデルやLoraモデルをトレーニングし、特定のスタイル変換を行うこともサポートしています。 # 二、クイックスタートと使用 ## 1. 環境準備 ### 1.1 クラウド使用: AliyunDSW DSWには無料のGPU時間があり、ユーザーは一度申請でき、申請後3か月間有効です。 Aliyunは[Freetier](https://free.aliyun.com/?product=9602825&crowd=enterprise&spm=5176.28055625.J_5831864660.1.e939154aRgha4e&scm=20140722.M_9974135.P_110.MO_1806-ID_9974135-MID_9974135-CID_30683-ST_8512-V_1)で無料のGPU時間を提供しています。取得してAliyun PAI-DSWで使用し、5分以内にCogVideoX-Funを開始できます！ [![DSW Notebook](https://pai-aigc-photog.oss-cn-hangzhou.aliyuncs.com/easyanimate/asset/dsw.png)](https://gallery.pai-ml.com/#/preview/deepLearning/cv/cogvideox_fun) ### 1.2 ローカル依存のインストール 以下の環境でこのライブラリの実行を確認しています： Windowsの詳細： - OS: Windows 10 - python: python3.10 & python3.11 - pytorch: torch2.2.0 - CUDA: 11.8 & 12.1 - CUDNN: 8+ - GPU： Nvidia-3060 12G & Nvidia-3090 24G Linuxの詳細： - OS: Ubuntu 20.04, CentOS - python: python3.10 & python3.11 - pytorch: torch2.2.0 - CUDA: 11.8 & 12.1 - CUDNN: 8+ - GPU：Nvidia-V100 16G & Nvidia-A10 24G & Nvidia-A100 40G & Nvidia-A100 80G 重みを保存するために約60GBのディスクスペースが必要です。確認してください！ ### 1.3 Dockerの使用 Dockerを使用する場合、マシンにグラフィックスカードドライバとCUDA環境が正しくインストールされていることを確認してください。 次のコマンドをこの方法で実行します： ``` # イメージをプル docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun # イメージに入る docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun # コードをクローン git clone https://github.com/aigc-apps/VideoX-Fun.git # VideoX-Funのディレクトリに入る cd VideoX-Fun # 重みをダウンロード mkdir models/Diffusion_Transformer mkdir models/Personalized_Model # Please use the hugginface link or modelscope link to download the model. # CogVideoX-Fun # https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-5b-InP # https://modelscope.cn/models/PAI/CogVideoX-Fun-V1.1-5b-InP # Wan # https://huggingface.co/alibaba-pai/Wan2.1-Fun-V1.1-14B-InP # https://modelscope.cn/models/PAI/Wan2.1-Fun-V1.1-14B-InP ``` ### 1.4 重みの配置 [重み](#三サポート済みモデル)を指定されたパスに配置することをお勧めします： **ComfyUIを通じて**: モデルをComfyUIの重みフォルダ `ComfyUI/models/Fun_Models/` に入れます： ``` 📦 ComfyUI/ ├── 📂 models/ │ └── 📂 Fun_Models/ │ ├── 📂 CogVideoX-Fun-V1.1-2b-InP/ │ ├── 📂 CogVideoX-Fun-V1.1-5b-InP/ │ ├── 📂 Wan2.1-Fun-V1.1-14B-InP │ └── 📂 Wan2.1-Fun-V1.1-1.3B-InP/ ``` **独自のpythonファイルまたはUIインターフェースを実行**: ``` 📦 models/ ├── 📂 Diffusion_Transformer/ │ ├── 📂 CogVideoX-Fun-V1.1-2b-InP/ │ ├── 📂 CogVideoX-Fun-V1.1-5b-InP/ │ ├── 📂 Wan2.1-Fun-V1.1-14B-InP │ └── 📂 Wan2.1-Fun-V1.1-1.3B-InP/ ├── 📂 Personalized_Model/ │ └── あなたのトレーニング済みのトランスフォーマーモデル / あなたのトレーニング済みのLoraモデル（UIロード用） ``` ## 2. 推論生成 ビデオモデルと画像モデルの推論入口は完全に一致しており、`examples/{model_name}/`下のスクリプトまたはUIから実行します。 ### 2.1 入口の選択 | 使用入口 | 適用シーン | 設定粒度 | |--|--|--| | Pythonファイル | バッチ生成、スクリプト内でパラメータを調整 | 全パラメータ | | WebUI | 対話的な体験、モデルの迅速な切り替え | よく使うパラメータのみ | | ComfyUI | 既存のComfyUIワークフロー | ノードパラメータ | 表：推論入口の選択 ### 2.2 顕存節約方案 Wan2.1のパラメータが非常に大きいため、GPUメモリを節約し、コンシューマー向けGPUに適応させる必要があります。各予測ファイルには`GPU_memory_mode`を提供しており、`model_cpu_offload`、`model_cpu_offload_and_qfloat8`、`sequential_cpu_offload`の中から選択できます。この方法はCogVideoX-Funの生成にも適用されます。 - `model_cpu_offload`: モデル全体が使用後にCPUに移動し、一部のGPUメモリを節約します。 - `model_cpu_offload_and_qfloat8`: モデル全体が使用後にCPUに移動し、Transformerモデルに対してfloat8の量子化を行い、より多くのGPUメモリを節約します。 - `sequential_cpu_offload`: モデルの各層が使用後にCPUに移動します。速度は遅くなりますが、大量のGPUメモリを節約します。 `qfloat8`はモデルの性能を部分的に低下させる可能性がありますが、より多くのGPUメモリを節約できます。十分なGPUメモリがある場合は、`model_cpu_offload`の使用をお勧めします。 ### 2.3 Pythonファイルから ##### i. 単一GPUでの推論: - ステップ1: 対応する[重み](#三サポート済みモデル)をダウンロードし、`models`フォルダに配置します。 - ステップ2: 異なる重みと予測目標に基づいて、異なるファイルを使用して予測を行います。現在、このライブラリはCogVideoX-Fun、Wan2.1、およびWan2.1-Funをサポートしています。`examples`フォルダ内のフォルダ名で区別され、異なるモデルがサポートする機能が異なりますので、状況に応じて区別してください。以下はCogVideoX-Funを例として説明します。 - テキストからビデオ: - `examples/cogvideox_fun/predict_t2v.py`ファイルで`prompt`、`neg_prompt`、`guidance_scale`、`seed`を変更します。 - 次に、`examples/cogvideox_fun/predict_t2v.py`ファイルを実行し、結果が生成されるのを待ちます。結果は`samples/cogvideox-fun-videos`フォルダに保存されます。 - 画像からビデオ: - `examples/cogvideox_fun/predict_i2v.py`ファイルで`validation_image_start`、`validation_image_end`、`prompt`、`neg_prompt`、`guidance_scale`、`seed`を変更します。 - `validation_image_start`はビデオの開始画像、`validation_image_end`はビデオの終了画像です。 - 次に、`examples/cogvideox_fun/predict_i2v.py`ファイルを実行し、結果が生成されるのを待ちます。結果は`samples/cogvideox-fun-videos_i2v`フォルダに保存されます。 - ビデオからビデオ: - `examples/cogvideox_fun/predict_v2v.py`ファイルで`validation_video`、`validation_image_end`、`prompt`、`neg_prompt`、`guidance_scale`、`seed`を変更します。 - `validation_video`はビデオ生成のための参照ビデオです。以下のデモビデオを使用して実行できます：[デモビデオ](https://pai-aigc-photog.oss-cn-hangzhou.aliyuncs.com/cogvideox_fun/asset/v1/play_guitar.mp4) - 次に、`examples/cogvideox_fun/predict_v2v.py`ファイルを実行し、結果が生成されるのを待ちます。結果は`samples/cogvideox-fun-videos_v2v`フォルダに保存されます。 - 通常の制御付きビデオ生成（Canny、Pose、Depthなど）: - `examples/cogvideox_fun/predict_v2v_control.py`ファイルで`control_video`、`validation_image_end`、`prompt`、`neg_prompt`、`guidance_scale`、`seed`を変更します。 - `control_video`は、Canny、Pose、Depthなどの演算子で抽出された制御用ビデオです。以下のデモビデオを使用して実行できます：[デモビデオ](https://pai-aigc-photog.oss-cn-hangzhou.aliyuncs.com/cogvideox_fun/asset/v1.1/pose.mp4) - 次に、`examples/cogvideox_fun/predict_v2v_control.py`ファイルを実行し、結果が生成されるのを待ちます。結果は`samples/cogvideox-fun-videos_v2v_control`フォルダに保存されます。 - ステップ3: 自分でトレーニングした他のバックボーンやLoraを組み合わせたい場合は、必要に応じて`examples/{model_name}/predict_t2v.py`や`examples/{model_name}/predict_i2v.py`、`lora_path`を修正します。 ##### ii. 複数GPUでの推論: 多カードでの推論を行う際は、xfuserリポジトリのインストールに注意してください。xfuser==0.4.2 と yunchang==0.6.2 のインストールが推奨されます。 ``` pip install xfuser==0.4.2 --progress-bar off -i https://mirrors.aliyun.com/pypi/simple/ pip install yunchang==0.6.2 --progress-bar off -i https://mirrors.aliyun.com/pypi/simple/ ``` `ulysses_degree` と `ring_degree` の積が使用する GPU 数と一致することを確認してください。たとえば、8つのGPUを使用する場合、`ulysses_degree=2` と `ring_degree=4`、または `ulysses_degree=4` と `ring_degree=2` を設定することができます。 - `ulysses_degree` はヘッド（head）に分割した後の並列化を行います。 - `ring_degree` はシーケンスに分割した後の並列化を行います。 `ring_degree` は `ulysses_degree` よりも通信コストが高いため、これらのパラメータを設定する際には、シーケンス長とモデルのヘッド数を考慮する必要があります。 8GPUでの並列推論を例に挙げます： - **Wan2.1-Fun-V1.1-14B-InP** はヘッド数が40あります。この場合、`ulysses_degree` は40で割り切れる値（例：2, 4, 8など）に設定する必要があります。したがって、8GPUを使用して並列推論を行う場合、`ulysses_degree=8` と `ring_degree=1` を設定できます。 - **Wan2.1-Fun-V1.1-1.3B-InP** はヘッド数が12あります。この場合、`ulysses_degree` は12で割り切れる値（例：2, 4など）に設定する必要があります。したがって、8GPUを使用して並列推論を行う場合、`ulysses_degree=4` と `ring_degree=2` を設定できます。 パラメータの設定が完了したら、以下のコマンドで並列推論を実行してください： ```sh torchrun --nproc-per-node=8 examples/wan2.1_fun/predict_t2v.py ``` ### 2.4 UIインターフェースから WebUIは、テキストからビデオ、画像からビデオ、ビデオからビデオ、および通常の制御付きビデオ生成（Canny、Pose、Depthなど）をサポートします。現在、このライブラリはCogVideoX-Fun、Wan2.1、およびWan2.1-Funをサポートしており、`examples`フォルダ内のフォルダ名で区別されています。異なるモデルがサポートする機能が異なるため、状況に応じて区別してください。以下はCogVideoX-Funを例として説明します。 - ステップ1: 対応する[重み](#三サポート済みモデル)をダウンロードし、`models`フォルダに配置します。 - ステップ2: `examples/cogvideox_fun/app.py`ファイルを実行し、Gradioページに入ります。 - ステップ3: ページ上で生成モデルを選択し、`prompt`、`neg_prompt`、`guidance_scale`、`seed`などを入力し、「生成」をクリックして結果が生成されるのを待ちます。結果は`sample`フォルダに保存されます。 ### 2.5 ComfyUIから 詳細は[ComfyUI README](comfyui/README.md)をご覧ください。 ## 3. モデルのトレーニング 完全なモデルトレーニングパイプラインは、データ前処理とVideo DiTトレーニングで構成されます。 ### 3.1 データ前処理 各モデルの訓練ドキュメントは`scripts/{model_name}/`下に統一されています。詳細は[3.3 各モデルの訓練ドキュメント](#33-各モデルの訓練ドキュメント)を参照してください。 長いビデオのセグメンテーション、クリーニング、説明のための完全なデータ前処理リンクは、ビデオキャプションセクションの[README](videox_fun/video_caption/README.md)を参照してください。 テキストから画像およびビデオ生成モデルをトレーニングしたい場合。この形式でデータセットを配置する必要があります。 ``` 📦 project/ ├── 📂 datasets/ │ ├── 📂 internal_datasets/ │ ├── 📂 train/ │ │ ├── 📄 00000001.mp4 │ │ ├── 📄 00000002.jpg │ │ └── 📄 ..... │ └── 📄 json_of_internal_datasets.json ``` json_of_internal_datasets.jsonは標準のJSONファイルです。json内のfile_pathは相対パスとして設定できます。以下のように： ```json [ { "file_path": "train/00000001.mp4", "text": "スーツとサングラスを着た若い男性のグループが街の通りを歩いている。", "type": "video" }, { "file_path": "train/00000002.jpg", "text": "スーツとサングラスを着た若い男性のグループが街の通りを歩いている。", "type": "image" }, ..... ] ``` 次のように絶対パスとして設定することもできます： ```json [ { "file_path": "/mnt/data/videos/00000001.mp4", "text": "スーツとサングラスを着た若い男性のグループが街の通りを歩いている。", "type": "video" }, { "file_path": "/mnt/data/train/00000001.jpg", "text": "スーツとサングラスを着た若い男性のグループが街の通りを歩いている。", "type": "image" }, ..... ] ``` ### 3.2 Video DiTのトレーニング 各モデルの訓練スクリプトと起動shは`scripts/{model_name}/`下にあり、shの名称はタスクによって異なります（例：`train.sh`、`train_lora.sh`、`train_control.sh`、`train_control_distill.sh`など）。ディレクトリ内の実際のファイルを基準としてください。 データ前処理時にデータ形式が相対パスの場合、```scripts/{model_name}/train.sh```を次のように設定します。 ``` export DATASET_NAME="datasets/internal_datasets/" export DATASET_META_NAME="datasets/internal_datasets/json_of_internal_datasets.json" ``` データ形式が絶対パスの場合、同じスクリプトで次のように設定します（このとき`DATASET_NAME`は空にし、データセットディレクトリのプレフィックスを連結しません）。 ``` export DATASET_NAME="" export DATASET_META_NAME="/mnt/data/json_of_internal_datasets.json" ``` 最後に対応するスクリプトを実行します。 ```sh sh scripts/{model_name}/train.sh ``` ### 3.3 各モデルの訓練ドキュメント パラメータ設定の詳細について、各モデルの訓練ドキュメントは`scripts/{model_name}/`下に統一されています。 | モデル | ベーストレーニング | LoRAトレーニング | その他 | |--|--|--|--| | Wan2.1-Fun | [EN](scripts/wan2.1_fun/README_TRAIN.md) / [ZH](scripts/wan2.1_fun/README_TRAIN_zh-CN.md) | [EN](scripts/wan2.1_fun/README_TRAIN_LORA.md) / [ZH](scripts/wan2.1_fun/README_TRAIN_LORA_zh-CN.md) | [Control ZH](scripts/wan2.1_fun/README_TRAIN_CONTROL_zh-CN.md)、[Reward LoRA](scripts/wan2.1_fun/README_TRAIN_REWARD.md) | | Wan2.2 | [EN](scripts/wan2.2/README_TRAIN.md) / [ZH](scripts/wan2.2/README_TRAIN_zh-CN.md) | [EN](scripts/wan2.2/README_TRAIN_LORA.md) / [ZH](scripts/wan2.2/README_TRAIN_LORA_zh-CN.md) | [Distill ZH](scripts/wan2.2/README_TRAIN_DISTILL_zh-CN.md)、[S2V](scripts/wan2.2/README_TRAIN_S2V.md)、[Animate](scripts/wan2.2/README_TRAIN_ANIMATE.md) | | Wan2.2-Fun | [EN](scripts/wan2.2_fun/README_TRAIN.md) / [ZH](scripts/wan2.2_fun/README_TRAIN_zh-CN.md) | [EN](scripts/wan2.2_fun/README_TRAIN_LORA.md) / [ZH](scripts/wan2.2_fun/README_TRAIN_LORA_zh-CN.md) | [Control LoRA ZH](scripts/wan2.2_fun/README_TRAIN_CONTROL_LORA_zh-CN.md) | | CogVideoX-Fun | [EN](scripts/cogvideox_fun/README_TRAIN.md) / [ZH](scripts/cogvideox_fun/README_TRAIN_zh-CN.md) | [EN](scripts/cogvideox_fun/README_TRAIN_LORA.md) / [ZH](scripts/cogvideox_fun/README_TRAIN_LORA_zh-CN.md) | [Control ZH](scripts/cogvideox_fun/README_TRAIN_CONTROL_zh-CN.md)、[Reward LoRA](scripts/cogvideox_fun/README_TRAIN_REWARD.md) | | Qwen-Image | [EN](scripts/qwenimage/README_TRAIN.md) / [ZH](scripts/qwenimage/README_TRAIN_zh-CN.md) | [EN](scripts/qwenimage/README_TRAIN_LORA.md) / [ZH](scripts/qwenimage/README_TRAIN_LORA_zh-CN.md) | [Edit ZH](scripts/qwenimage/README_TRAIN_EDIT_zh-CN.md) | | Qwen-Image-2.1 | [EN](scripts/qwenimage21/README_TRAIN.md) / [ZH](scripts/qwenimage21/README_TRAIN_zh-CN.md) | - | [Control EN](scripts/qwenimage21_fun/README_TRAIN.md) / [ZH](scripts/qwenimage21_fun/README_TRAIN_zh-CN.md) | | Z-Image | [EN](scripts/z_image/README_TRAIN.md) / [ZH](scripts/z_image/README_TRAIN_zh-CN.md) | [EN](scripts/z_image/README_TRAIN_LORA.md) / [ZH](scripts/z_image/README_TRAIN_LORA_zh-CN.md) | [GRPO LoRA](scripts/z_image/README_TRAIN_GRPO_LORA.md) | その他のモデルも同様に、対応する`scripts/{model_name}/`下のREADMEを参照してください。 # 三、サポート済みモデル 下表は、現在サポートされているモデル系列と重みをまとめたものです。ビデオモデルと画像モデルは同じ推論・訓練インターフェースを共有しています。各行は1つのモデル系列を表し、第4列は4列のHTML埋め込みテーブル（重み、Hugging Face、ModelScope、説明）です。🤗 は Hugging Face、🤖 は ModelScope（中国国内ネットワーク向け）、`-` は該当チャネルに対応リポジトリがないか、ログイン認証が必要なことを示します。各モデルの訓練ドキュメントについては[3.3 各モデルの訓練ドキュメント](#33-各モデルの訓練ドキュメント)を参照してください。 | モデル系列 | モダリティ | サポートタスク | 重み / ダウンロード / 説明 | |--|--|--|--| | Wan2.2-Fun | ビデオ | 本プロジェクトがWan2.2で訓練した系列。テキスト/画像から動画、首尾画像、制御生成、カメラ制御をカバー |
Wan2.2-Fun-A14B-InP🤗🤖Wan2.2-Fun-14Bのテキスト・画像から動画を生成するモデルの重み。複数の解像度で学習されており、動画の最初と最後のフレームの予測をサポートしています。
Wan2.2-Fun-A14B-Control🤗🤖Wan2.2-Fun-14Bの動画制御用重み。Canny、Depth、Pose、MLSDなどのさまざまな制御条件に対応しており、軌跡制御もサポートしています。512、768、1024の複数解像度での動画生成が可能で、81フレーム、16fpsで学習されています。多言語対応の予測もサポートしています。
Wan2.2-Fun-A14B-Control-Camera🤗🤖14B Controlにカメラモーション制御を追加
Wan2.2-Fun-5B-InP🤗🤖Wan2.2-Fun-5B テキストから動画生成用の重み。121フレーム、24 FPSで学習され、先頭/末尾フレーム予測をサポート。
Wan2.2-Fun-5B-Control🤗🤖Wan2.2-Fun-5B 動画制御用重み。Canny、Depth、Pose、MLSDなどの制御条件や軌道制御をサポート。121フレーム、24 FPSで学習され、多言語予測に対応。
Wan2.2-Fun-5B-Control-Camera🤗🤖Wan2.2-Fun-5B カメラレンズ制御用重み。121フレーム、24 FPSで学習され、多言語予測に対応。
Wan2.2-Fun-Reward-LoRAs🤗🤖Wan2.2-Fun生成動画を報酬逆伝播で最適化するReward LoRA集合
| | Wan2.2-VACE-Fun | ビデオ | 本プロジェクトがVACE方式で訓練した系列。制御生成と主題参照をカバー |
Wan2.2-VACE-Fun-A14B🤗🤖VACE方式でトレーニングされたWan2.2の制御ウェイト（ベースモデルはWan2.2-T2V-A14B）。Canny、Depth、Pose、MLSD、軌道制御などの異なる制御条件をサポートします。対象を指定して動画生成が可能です。多解像度（512、768、1024）の動画予測をサポートし、81フレームで16FPSでトレーニングされています。多言語予測にも対応しています。
| | Wan2.2 | ビデオ | Wan公式重み。テキスト/画像から動画、音声駆動、キャラクターアニメーションをカバー。Wan2.2-Fun系列の訓練基線としても使用可能 |
Wan2.2-TI2V-5B🤗🤖Wan2.2-5B テキスト/画像から動画生成重み
Wan2.2-T2V-A14B🤗🤖Wan2.2-14B テキストから動画生成重み
Wan2.2-I2V-A14B🤗🤖Wan2.2-14B 画像から動画生成重み
Wan2.2-S2V-14B🤗🤖Wan2.2-14B 音声から動画生成重み、話者駆動デジタルヒューマン
Wan2.2-Animate-14B🤗🤖Wan2.2-14B キャラクター置換・モーション転移重み。リポジトリに複数精度ファイルを含む
| | Wan2.1-Fun V1.1 | ビデオ | 本プロジェクトがWan2.1で訓練したV1.1系列。マルチ解像度（512/768/1024）、81フレーム16fps、テキスト/画像から動画、首尾画像、制御生成、カメラ制御をカバー |
Wan2.1-Fun-V1.1-1.3B-InP🤗🤖Wan2.1-Fun-V1.1-1.3Bのテキスト・画像から動画生成の重み。マルチ解像度で訓練され、最初と最後の画像予測をサポートします。
Wan2.1-Fun-V1.1-14B-InP🤗🤖Wan2.1-Fun-V1.1-14Bのテキスト・画像から動画生成の重み。マルチ解像度で訓練され、最初と最後の画像予測をサポートします。
Wan2.1-Fun-V1.1-1.3B-Control🤗🤖Wan2.1-Fun-V1.1-1.3Bのビデオ制御重み。Canny、Depth、Pose、MLSDなどの異なる制御条件に対応し、参照画像＋制御条件を使用した制御や軌跡制御をサポートします。512、768、1024のマルチ解像度での動画予測をサポートし、81フレーム、毎秒16フレームで訓練されています。多言語予測に対応しています。
Wan2.1-Fun-V1.1-14B-Control🤗🤖Wan2.1-Fun-V1.1-14Bのビデオ制御重み。Canny、Depth、Pose、MLSDなどの異なる制御条件に対応し、参照画像＋制御条件を使用した制御や軌跡制御をサポートします。512、768、1024のマルチ解像度での動画予測をサポートし、81フレーム、毎秒16フレームで訓練されています。多言語予測に対応しています。
Wan2.1-Fun-V1.1-1.3B-Control-Camera🤗🤖Wan2.1-Fun-V1.1-1.3Bのカメラレンズ制御重み。512、768、1024のマルチ解像度での動画予測をサポートし、81フレーム、毎秒16フレームで訓練されています。多言語予測に対応しています。
Wan2.1-Fun-V1.1-14B-Control-Camera🤗🤖Wan2.1-Fun-V1.1-14Bのカメラレンズ制御重み。512、768、1024のマルチ解像度での動画予測をサポートし、81フレーム、毎秒16フレームで訓練されています。多言語予測に対応しています。
| | Wan2.1-Fun V1.0 | ビデオ | 本プロジェクトがWan2.1で訓練したV1.0系列。V1.1と同じ能力だがカメラ制御は非対応 |
Wan2.1-Fun-1.3B-InP🤗🤖Wan2.1-Fun-1.3Bのテキスト・画像から動画生成する重み。マルチ解像度で学習され、開始・終了画像予測をサポート。
Wan2.1-Fun-14B-InP🤗🤖Wan2.1-Fun-14Bのテキスト・画像から動画生成する重み。マルチ解像度で学習され、開始・終了画像予測をサポート。
Wan2.1-Fun-1.3B-Control🤗🤖Wan2.1-Fun-1.3Bのビデオ制御ウェイト。Canny、Depth、Pose、MLSDなどの異なる制御条件をサポートし、トラジェクトリ制御も利用可能。512、768、1024のマルチ解像度でのビデオ予測をサポートし、81フレーム（1秒間に16フレーム）でトレーニング済みで、多言語予測にも対応しています。
Wan2.1-Fun-14B-Control🤗🤖Wan2.1-Fun-14Bのビデオ制御ウェイト。Canny、Depth、Pose、MLSDなどの異なる制御条件をサポートし、トラジェクトリ制御も利用可能。512、768、1024のマルチ解像度でのビデオ予測をサポートし、81フレーム（1秒間に16フレーム）でトレーニング済みで、多言語予測にも対応しています。
Wan2.1-Fun-Reward-LoRAs🤗🤖報酬逆伝播で訓練された整列LoRA
| | Wan2.1 | ビデオ | Wan公式重み。テキスト/画像から動画、音声駆動、制御生成をカバー。Wan2.1-Fun系列の訓練基線としても使用可能 |
Wan2.1-T2V-1.3B🤗🤖1.3B文生视频
Wan2.1-T2V-14B🤗🤖14B文生视频
Wan2.1-I2V-14B-480P🤗🤖480P图生视频，是InfiniteTalk的基础模型
Wan2.1-I2V-14B-720P🤗🤖万象2.1-14B-720P 画像→動画モデルの重み
Wan2.1-VACE-1.3B🤗🤖1.3B VACE制御と主題参照
Wan2.1-VACE-14B🤗🤖14B VACE制御と主題参照
| | Self-Forcing / Causal-Forcing / Flex-Forcing | ビデオ | 自己回帰蒸留方案。ストリーミング生成、インタラクティブ生成、チャンク単位の注意をカバー |
Self-Forcing🤗🤖自己回帰蒸留重み、Wan2.1-T2Vと組み合わせて流式・インタラクティブ生成に対応；Flex-Forcing（チャンク単位の因果/双方向注意）の重みは`scripts/wan2.1_flex_forcing`で訓練して生成
| | TurboWan / TurboDiffusion | ビデオ | TurboDiffusion方案が公開した少ステップ蒸留重み |
TurboWan2.1-T2V-1.3B-480P🤗🤖1.3Bテキストから動画生成の蒸留重み。公式は.pth形式で公開、リポジトリに量子化版も含む
TurboWan2.2-I2V-A14B-720P🤗🤖14B画像から動画生成の蒸留重み。リポジトリにlow/highの2種類のノイズモデル（量子化版も含む）を含み、Personalized_Modelに配置しpredictファイルのtransformer_path/transformer_high_pathで指定
| | CogVideoX-Fun V1.5 | ビデオ | 公式CogVideoX-Fun V1.5重み。マルチ解像度（512/768/1024）、85フレーム8fps、画像から動画と報酬整列をカバー |
CogVideoX-Fun-V1.5-5b-InP🤗🤖公式のグラフ生成ビデオモデルは、複数の解像度（512、768、1024）でビデオを予測できます。85フレーム、8フレーム/秒でトレーニングされています。
CogVideoX-Fun-V1.5-Reward-LoRAs🤗🤖公式の報酬逆伝播技術モデルで、CogVideoX-Fun-V1.5が生成するビデオを最適化し、人間の嗜好によりよく合うようにする。
| | CogVideoX-Fun V1.1 | ビデオ | 公式CogVideoX-Fun V1.1重み。マルチ解像度（512/768/1024/1280）、49フレーム8fps、画像から動画、ポーズ制御、制御生成、報酬整列をカバー |
CogVideoX-Fun-V1.1-2b-InP🤗🤖公式のグラフ生成ビデオモデルは、複数の解像度（512、768、1024、1280）でビデオを予測できます。49フレーム、8フレーム/秒でトレーニングされています。参照画像にノイズが追加され、V1.0と比較して動きの幅が広がっています。
CogVideoX-Fun-V1.1-5b-InP🤗🤖公式のグラフ生成ビデオモデルは、複数の解像度（512、768、1024、1280）でビデオを予測できます。49フレーム、8フレーム/秒でトレーニングされています。参照画像にノイズが追加され、V1.0と比較して動きの幅が広がっています。
CogVideoX-Fun-V1.1-2b-Pose🤗🤖公式のポーズコントロールビデオモデルは、複数の解像度（512、768、1024、1280）でビデオを予測できます。49フレーム、8フレーム/秒でトレーニングされています。
CogVideoX-Fun-V1.1-5b-Pose🤗🤖公式のポーズコントロールビデオモデルは、複数の解像度（512、768、1024、1280）でビデオを予測できます。49フレーム、8フレーム/秒でトレーニングされています。
CogVideoX-Fun-V1.1-2b-Control🤗🤖公式のコントロールビデオモデルは、複数の解像度（512、768、1024、1280）でビデオを予測できます。49フレーム、8フレーム/秒でトレーニングされています。Canny、Depth、Pose、MLSDなどのさまざまなコントロール条件をサポートします。
CogVideoX-Fun-V1.1-5b-Control🤗🤖公式のコントロールビデオモデルは、複数の解像度（512、768、1024、1280）でビデオを予測できます。49フレーム、8フレーム/秒でトレーニングされています。Canny、Depth、Pose、MLSDなどのさまざまなコントロール条件をサポートします。
CogVideoX-Fun-V1.1-Reward-LoRAs🤗🤖公式の報酬逆伝播技術モデルで、CogVideoX-Fun-V1.1が生成するビデオを最適化し、人間の嗜好によりよく合うようにする。
| | CogVideoX-Fun V1.0 | ビデオ | 旧版重み。49フレーム8fpsで訓練。V1.1/V1.5に置き換え済み |
CogVideoX-Fun-2b-InP🤗🤖公式のグラフ生成ビデオモデルは、複数の解像度（512、768、1024、1280）でビデオを予測できます。49フレーム、8フレーム/秒でトレーニングされています。
CogVideoX-Fun-5b-InP🤗🤖公式のグラフ生成ビデオモデルは、複数の解像度（512、768、1024、1280）でビデオを予測できます。49フレーム、8フレーム/秒でトレーニングされています。
| | HunyuanVideo | ビデオ | 公式diffusers形式重み。本プロジェクトは推論とLoRA訓練を直接サポート |
HunyuanVideo🤗🤖文生视频
HunyuanVideo-I2V🤗🤖图生视频
| | MiniMax-H3 | ビデオ | 公式動画生成重みと本プロジェクトが訓練したControlNet |
MiniMax-H3🤗🤖MiniMax-H3公式T2V/I2V重み
MiniMax-H3-Fun-Controlnet-Union🤗🤖本プロジェクトが訓練したControlNet。複数制御条件と軌跡制御をサポート
MiniMax-H3-Fun-Controlnet-Union-2.0🤗🤖本プロジェクトが訓練したControlNet（2.0版）。複数制御条件、軌跡制御、inpaint重みをサポート
| | TaoMate-H3 | ビデオ+音声 | MiniMax-H3をベースにした公式ストリーミング音声・動画生成アダプタ |
TaoMate-H3-Adapter🤗🤖公式rank 128アダプタ（step-3000 EMA）。3ステップ蒸留サンプリングスケジュールを内蔵し、ストリーミング音声駆動生成に対応；MiniMax-H3基盤重みと組み合わせて使用
| | LTX-2 | ビデオ+音声 | 公式DiT音声・動画共同生成重み |
LTX-2🤗🤖音声・動画共同生成の公式重み。リポジトリに複数精度ファイルを含む
LTX-2.3-Diffusers🤗-v2.3はコミュニティ変換のdiffusers形式重みを使用。公式重みはLightricks/LTX-2.3を参照
| | LongCat-Video | ビデオ | 公式長尺動画生成重み。LoRA訓練をサポート |
LongCat-Video🤗🤖LongCat-Video公式T2V重み
LongCat-Video-Avatar🤗🤖LongCat-Video公式アバター/デジタルヒューマン重み
| | FantasyTalking | 音声駆動ビデオ | 音声条件付き増分重み。基盤ビデオ重みと音声エンコーダが必要 |
FantasyTalking🤗🤖需搭配Wan2.1-I2V-14B-720P使用
wav2vec2-base-960h🤗🤖音频编码器，放入基础权重目录并命名为audio_encoder
| | InfiniteTalk | 音声駆動ビデオ | 音声条件付き増分重み。基盤ビデオ重みと音声エンコーダが必要 |
InfiniteTalk🤗🤖InfiniteTalk公式オーディオ駆動重み
chinese-wav2vec2-base🤗🤖中国語音声エンコーダ
| | FlashHead | 音声駆動ビデオ | 公式高品質頭部動作デジタルヒューマン重み |
SoulX-FlashHead-1_3B🤗🤖SoulX FlashHead 1.3B 音声駆動頭部重み。wav2vec音声エンコーダが必要
| | MOVA | ビデオ+音声 | 公式MOVA重み |
MOVA-360p🤗🤖画像から動画と音声・動画共同生成
| | LingBot | ビデオ | カメラ制御可能なワールドモデル。ディレクトリ構造はWan2.2-I2V-A14Bと一致 |
lingbot-world-base-cam🤗🤖カメラ制御基線重み
lingbot-video-rewriter-lora🤗🤖rewriter LoRA。Qwen3.6-27Bで構造化キャプションを生成して使用
lingbot-video-dense-1.3b🤗🤖1.3B dense版動画生成重み。1〜2枚のGPUで訓練可能
lingbot-video-moe-30b-a3b🤗🤖30B MoE（3Bアクティブ）動画生成重み。訓練には8×80GB以上を推奨
lingbot-world-fast🤗🤖蒸留少ステップワールドモデル（transformerは16シャード）。VAE/T5はlingbot-world-base-camを再利用し、推論にはFlow_Unipcサンプラーを使用
| | Phantom | ビデオ | 複数主体参照による動画生成の増分重み。Wan2.1-T2Vベース |
Phantom-Wan-1.3B🤗-1.3B版。公式は.pth形式で公開。Personalized_Modelに配置しpredictファイルのtransformer_pathで指定
Phantom-Wan-14B🤗-14B版。公式は分割safetensors形式で公開
| | Qwen-Image | 画像 | 公式テキストから画像生成・画像編集重み。基線とLoRA訓練をサポート |
Qwen-Image🤗🤖文生图基础权重
Qwen-Image-2512🤗🤖テキストから画像生成の更新版
Qwen-Image-Edit🤗🤖图像编辑
Qwen-Image-Edit-2509🤗🤖图像编辑更新版本
Qwen-Image-Layered🤗🤖画像レイヤー分解重み。画像を複数の編集可能なRGBAレイヤーに分解可能
| | Qwen-Image-2.1 | 画像 | 公式次世代テキストから画像生成重み。シングルストリームblock-causal構造、プレフィックスKV cacheに対応 |
Qwen-Image-2.1🤗🤖シングルストリームblock-causal構造。全パラメータ訓練をサポート、プレフィックスKV cacheで推論を高速化
| | Qwen-Image ControlNet | 画像 | 画像制御生成。Canny、Depth、Pose、MLSD、Scribbleをサポート |
Qwen-Image-2512-Fun-Controlnet-Union🤗🤖Qwen-Image-2512のControlNet重み。Canny、Depth、Pose、MLSD、Scribbleなど、複数の制御条件をサポートします。
Qwen-Image-2.1-Fun-Controlnet-Union🤗🤖本プロジェクトがQwen-Image 2.1向けに訓練したControlNet-Union。Canny、Depth、Pose、MLSDなどの制御条件と画像補完（inpaint）をサポートします。
Qwen-Image-ControlNet-Union🤗🤖InstantX提供の同種ControlNet
| | Z-Image | 画像 | 公式テキストから画像生成重み |
Z-Image🤗🤖基础版
Z-Image-Turbo🤗🤖加速版
| | Z-Image-Fun | 画像 | 本プロジェクトがZ-Imageで訓練したControlNetと蒸留LoRA。Canny、Depth、Pose、MLSD、Scribble、Grayをサポート |
Z-Image-Fun-Controlnet-Union-2.1🤗🤖Z-ImageのControlNet重み、Canny、Depth、Pose、MLSD、ScribbleおよびGrayなど複数の制御条件に対応。
Z-Image-Turbo-Fun-Controlnet-Union🤗🤖Z-Image-Turbo用のControlNet重み。Canny、Depth、Pose、MLSDなど複数の制御条件をサポート。
Z-Image-Turbo-Fun-Controlnet-Union-2.1🤗🤖Z-Image-TurboのControlNet重み。第1版と比較して、より多くの層に追加され、より長時間トレーニングされています。Canny、Depth、Pose、MLSDなど、複数の制御条件をサポートしています。
Z-Image-Fun-Lora-Distill🤗🤖これはZ-Image用の蒸留LoRAで、ステップ数とCFGの両方を蒸留します。このモデルはCFGを必要とせず、推論には8ステップを使用します。
| | Flux | 画像 | 公式FLUX.1/FLUX.2重みと本プロジェクトが訓練したControlNet |
FLUX.1-dev🤗🤖文生图与图像编辑
FLUX.2-dev🤗🤖第二代官方权重
FLUX.2-dev-Fun-Controlnet-Union🤗🤖FLUX.2-dev用ControlNet重み
| | ERNIE-Image | 画像 | Baidu公式テキストから画像生成重み |
ERNIE-Image🤗🤖ERNIE-Image公式画像生成重み
| | Lens | 画像 | Microsoft公式カメラ制御重み |
Lens-🤖Lens公式カメラ制御重み
| | 補助モデル | - | 生成モデルではなく、報酬整列、データアノテーション、高速デコードに使用 |
HPSv3🤗🤖報酬逆伝播で使用されるスコアリングモデル
Qwen2-VL-7B-Instruct🤗🤖動画キャプション生成パイプラインで使用されるマルチモーダルエンコーダ
taew2_1 / taew2_2--Tiny AutoEncoder（約20MB）。Wan2.1/Wan2.2 VAEと同じlatent空間を共有し、デコード速度は完全なVAEの約100倍で、高速プレビューや低メモリ生成に使用；重みはmadebyollin/taehvより
| > 補足説明： > - 音声駆動・参照系モデル（FantasyTalking、InfiniteTalk、Phantom、TaoMate-H3）は増分重みであり、対応する基盤ビデオ重みと音声エンコーダを同時にダウンロードする必要があります。 > - TurboDiffusion方案はTurboWan系列の蒸留重みを公開済みです（上表参照）。Flex-Forcing、PDDなどその他の蒸留方案は公開重みがなく、`scripts/{model_name}/README_TRAIN*.md`で訓練後、`transformer_path`に指定して使用できます。 > - 重み名は`models/Diffusion_Transformer/`下のフォルダ名と一対一で対応します。同じ系列内の各重みは互換性がないため、推論タスクに応じて選択してください。ここに掲載されていない重みは、本プロジェクトの訓練成果物、または上流の公式リポジトリから取得する必要があります。 # 四、ビデオ作品 ### Wan2.1-Fun-V1.1-14B-InP && Wan2.1-Fun-V1.1-1.3B-InP
Wan2.1-Fun-V1.1-14B-Control && Wan2.1-Fun-V1.1-1.3B-Control 汎用制御動画 + 参照画像：
参照画像 制御動画 Wan2.1-Fun-V1.1-14B-Control Wan2.1-Fun-V1.1-1.3B-Control
汎用制御動画（Canny、Pose、Depth など）と軌跡制御：
Wan2.1-Fun-V1.1-14B-Control-Camera && Wan2.1-Fun-V1.1-1.3B-Control-Camera
Pan Up Pan Left Pan Right
Pan Down Pan Up + Pan Left Pan Up + Pan Right
CogVideoX-Fun-V1.1-5B 解像度-1024
解像度-768
解像度-512
CogVideoX-Fun-V1.1-5B-Control
美しい澄んだ目と金髪の若い女性が白い服を着て体をひねり、カメラは彼女の顔に焦点を合わせています。高品質、傑作、最高品質、高解像度、超微細、夢のような。 美しい澄んだ目と金髪の若い女性が白い服を着て体をひねり、カメラは彼女の顔に焦点を合わせています。高品質、傑作、最高品質、高解像度、超微細、夢のような。 若いクマ。
# 五、参考文献 - CogVideo: https://github.com/THUDM/CogVideo/ - EasyAnimate: https://github.com/aigc-apps/EasyAnimate - Wan2.1: https://github.com/Wan-Video/Wan2.1/ - Wan2.2: https://github.com/Wan-Video/Wan2.2/ - Diffusers: https://github.com/huggingface/diffusers - Qwen-Image: https://github.com/QwenLM/Qwen-Image - Self-Forcing: https://github.com/guandeh17/Self-Forcing - Flux: https://github.com/black-forest-labs/flux - Flux2: https://github.com/black-forest-labs/flux2 - HunyuanVideo: https://github.com/Tencent-Hunyuan/HunyuanVideo - ComfyUI-KJNodes: https://github.com/kijai/ComfyUI-KJNodes - ComfyUI-EasyAnimateWrapper: https://github.com/kijai/ComfyUI-EasyAnimateWrapper - ComfyUI-CameraCtrl-Wrapper: https://github.com/chaojie/ComfyUI-CameraCtrl-Wrapper - CameraCtrl: https://github.com/hehao13/CameraCtrl # 六、引用 研究やプロジェクトでVideoX-Funを使用する場合は、以下の形式で引用してください： ```bibtex @misc{aigc_apps_VideoX_Fun_2026, author = {aigc-apps}, title = {VideoX-Fun: A Video Generation Pipeline for Diffusion Transformer}, year = {2026}, publisher = {GitHub}, url = {https://github.com/aigc-apps/VideoX-Fun} } ``` # 七、制限とリスク - 生成された動画には、特に複雑なシーンでアーティファクトや品質の問題がある場合があります。 - モデルは、細かい詳細、テキストのレンダリング、または特定の芸術スタイルで苦労する場合があります。 - パフォーマンスは、入力プロンプトの品質、解像度、その他のパラメータによって異なります。 - この技術は、誤解を招くコンテンツ（例：ディープフェイク）を作成するために悪用される可能性があります。ユーザーは倫理的な使用に責任を持ちます。 - モデルは、トレーニングデータに存在するバイアスを反映する可能性があります。 - ユーザーは、実在の人物の画像や動画を使用する際、プライバシーと著作権を尊重する必要があります。 責任ある使用を推奨し、本番環境でのセーフガードの実装をお勧めします。 # 八、ライセンス このプロジェクトは[Apache License (Version 2.0)](https://github.com/modelscope/modelscope/blob/master/LICENSE)の下でライセンスされています。 CogVideoX-2Bモデル（対応するTransformersモジュール、VAEモジュールを含む）は、[Apache 2.0ライセンス](LICENSE)の下でリリースされています。 CogVideoX-5Bモデル（Transformersモジュール）は、[CogVideoXライセンス](https://huggingface.co/THUDM/CogVideoX-5b/blob/main/LICENSE)の下でリリースされています。