ComfyUI_RH_OminiControl

ComfyUI_RH_OminiControl 是一个基于 OminiControl 的 ComfyUI 插件。通过分拆 pipeline 加载，该插件能够在 NVIDIA RTX 4090 显卡上高效运行。同时，空间（spatial）及填充（fill）功能也通过 schnell 模型生成，减少采样步数，提高整体效率。

特性

• 优化性能：通过分拆 pipeline 加载，充分利用 RTX 4090 的计算能力。
• 高效生成：使用 schnell 模型生成 spatial 及 fill，减少采样步数，提升生成效率。
• 易于安装：依赖 ComfyUI 常用库，通常无需额外安装。
• 灵活配置：支持自定义模型路径，便于管理和更新模型。

安装指南

前置条件

• ComfyUI：确保已安装并配置好 ComfyUI。
• Python 依赖：通常不需要额外安装库，但建议安装 diffusers 版本 0.31.0 以支持 FluxPipeline。

下载插件

克隆本插件仓库到本地：

创建模型目录结构：

{comfyui_dir}/models/flux/ tree . ├── FLUX.1-schnell │   ├── ae.safetensors │   ├── model_index.json │   ├── README.md │   ├── scheduler │   │   └── scheduler_config.json │   ├── schnell_grid.jpeg │   ├── text_encoder │   │   ├── config.json │   │   └── model.safetensors │   ├── text_encoder_2 │   │   ├── config.json │   │   ├── model-00001-of-00002.safetensors │   │   ├── model-00002-of-00002.safetensors │   │   └── model.safetensors.index.json │   ├── tokenizer │   │   ├── merges.txt │   │   ├── special_tokens_map.json │   │   ├── tokenizer_config.json │   │   └── vocab.json │   ├── tokenizer_2 │   │   ├── special_tokens_map.json │   │   ├── spiece.model │   │   ├── tokenizer_config.json │   │   └── tokenizer.json │   ├── transformer │   │   ├── config.json │   │   ├── diffusion_pytorch_model-00001-of-00003.safetensors │   │   ├── diffusion_pytorch_model-00002-of-00003.safetensors │   │   ├── diffusion_pytorch_model-00003-of-00003.safetensors │   │   └── diffusion_pytorch_model.safetensors.index.json │   └── vae │   ├── config.json │   └── diffusion_pytorch_model.safetensors └── OminiControl ├── depth-anything-small-hf │   ├── config.json │   ├── model.safetensors │   ├── preprocessor_config.json │   └── README.md ├── experimental │   ├── canny.safetensors │   ├── coloring.safetensors │   ├── deblurring.safetensors │   ├── depth.safetensors │   ├── fill.safetensors │   └── subject.safetensors ├── omini │   ├── subject_1024_beta.safetensors │   └── subject_512.safetensors └── README.md

12 directories, 39 files

根据上面的目录机构下载并放置以下模型：

diffusers格式的flux模型， 下载地址：https://huggingface.co/black-forest-labs/FLUX.1-schnell depth-anything-small-hf/ （用于depth识别，下载地址：https://huggingface.co/LiheYoung/depth-anything-small-hf/tree/main） experimental/ （下载地址：https://huggingface.co/Yuanshi/OminiControl/tree/main/experimental） omini/ （下载地址：https://huggingface.co/Yuanshi/OminiControl/tree/main/omini）

##致谢 感谢 Yuanshi9815 及其 OminiControl 项目提供的基础支持。