ComfyUI_RH_OminiControl
ComfyUI_RH_OminiControl 是一个基于 OminiControl 的 ComfyUI 插件。通过分拆 pipeline 加载，该插件能够在 NVIDIA RTX 4090 显卡上高效运行。同时，空间（spatial）及填充（fill）功能也通过 schnell 模型生成，减少采样步数，提高整体效率。
特性
- 优化性能：通过分拆 pipeline 加载，充分利用 RTX 4090 的计算能力。
- 高效生成：使用 schnell 模型生成 spatial 及 fill，减少采样步数，提升生成效率。
- 易于安装：依赖 ComfyUI 常用库，通常无需额外安装。
- 灵活配置：支持自定义模型路径，便于管理和更新模型。
安装指南
前置条件
- ComfyUI：确保已安装并配置好 ComfyUI。
- Python 依赖：通常不需要额外安装库，但建议安装
diffusers版本 0.31.0 以支持 FluxPipeline。
下载插件
克隆本插件仓库到 custom_nodes：
git clone https://github.com/HM-RunningHub/ComfyUI_RH_OminiControl.git
模型目录结构：
/models/flux
tree
.
├── FLUX.1-schnell
│ ├── ae.safetensors
│ ├── model_index.json
│ ├── README.md
│ ├── scheduler
│ │ └── scheduler_config.json
│ ├── schnell_grid.jpeg
│ ├── text_encoder
│ │ ├── config.json
│ │ └── model.safetensors
│ ├── text_encoder_2
│ │ ├── config.json
│ │ ├── model-00001-of-00002.safetensors
│ │ ├── model-00002-of-00002.safetensors
│ │ └── model.safetensors.index.json
│ ├── tokenizer
│ │ ├── merges.txt
│ │ ├── special_tokens_map.json
│ │ ├── tokenizer_config.json
│ │ └── vocab.json
│ ├── tokenizer_2
│ │ ├── special_tokens_map.json
│ │ ├── spiece.model
│ │ ├── tokenizer_config.json
│ │ └── tokenizer.json
│ ├── transformer
│ │ ├── config.json
│ │ ├── diffusion_pytorch_model-00001-of-00003.safetensors
│ │ ├── diffusion_pytorch_model-00002-of-00003.safetensors
│ │ ├── diffusion_pytorch_model-00003-of-00003.safetensors
│ │ └── diffusion_pytorch_model.safetensors.index.json
│ └── vae
│ ├── config.json
│ └── diffusion_pytorch_model.safetensors
└── OminiControl
├── depth-anything-small-hf
│ ├── config.json
│ ├── model.safetensors
│ ├── preprocessor_config.json
│ └── README.md
├── experimental
│ ├── canny.safetensors
│ ├── coloring.safetensors
│ ├── deblurring.safetensors
│ ├── depth.safetensors
│ ├── fill.safetensors
│ └── subject.safetensors
├── omini
│ ├── subject_1024_beta.safetensors
│ └── subject_512.safetensors
└── README.md
12 directories, 39 files
根据上面的目录机构下载并放置以下模型：
diffusers格式的flux模型，下载地址：https://huggingface.co/black-forest-labs/FLUX.1-schnell
depth-anything-small-hf/ （用于depth识别，下载地址：https://huggingface.co/LiheYoung/depth-anything-small-hf/tree/main）
experimental/ （下载地址：https://huggingface.co/Yuanshi/OminiControl/tree/main/experimental）
omini/ （下载地址：https://huggingface.co/Yuanshi/OminiControl/tree/main/omini）
运行案例展示
运端一键运行： https://www.runninghub.cn/post/1865085524393500674
致谢
感谢 Yuanshi9815 及其 OminiControl 项目提供的基础支持。