Update README-CN.md

2024-09-15 19:57:29 +08:00
parent 7f2fb6ba96
commit 67ca9e5574
1 changed files with 94 additions and 34 deletions
@@ -3,23 +3,25 @@
 StoryDiffusion方法的地址: [StoryDiffusion](https://github.com/HVision-NKU/StoryDiffusion)  以及 MS-Diffusion的地址: [link](https://github.com/MS-Diffusion/MS-Diffusion)

 ## 更新:
-**2024/09/05**  
-*使用SDXL单体模型时，可能会报错，是因为runway 删除了他们的模型库，解决版本是升级到最新版的diffusers或者修改diffuser的代码内容，修改方法见链接：[link](https://github.com/huggingface/diffusers/commit/d8a16635f47ac455abd61879bcc6be32dfeaa561)
+**2024/09/15**  
+* 中秋节快乐！！
+* 加入flux pulid 支持，目前fp8，和fp16能正常出图，但是fp16需要30G以上显存，可以忽略，需要有flux的diffuser文件(在repo输入)，以及对应的模型，然后easy function 填入pilid,fp8,cpu就可以开启，如果你的显存大于16G可以试试取消cpu，这样会快一点。nf4也能跑通，但是量化的思路不同，无法正常出图
+* 加入kolor face id的支持，开启条件，在easyfunction里输入face，然后repo输入你的kolor diffuser模型的绝对路径地址。

 **既往更新**  
+* 加入diffuser尚未PR的图生图代码，fp8和fn4都能跑，还是nf4吧，快很多。图生图的噪声控制，由ip_adapter_strength的参数控制，越大噪声越多，当然图片不像原图，反之亦然。然后生成的实际步数是 你输入的步数*ip_adapter_strength的参数，也就是说，你输入50步，strength是0.8，实际只会跑40步。  
+* 双角色因为方法的原因无法使用非正方形图片，所以用了讨巧的方法，先裁切成方形，然后再裁切回来；
+* 高宽的全局变量名会导致一些啼笑皆非的错误，所以改成特别点的；
+* 现在如果只使用flux的repo模型，不再自动保存一个pt文件，除非你在easy function输入save；
+* 使用SDXL单体模型时，可能会报错，是因为runway 删除了他们的模型库，所以加入了内置的config文件，避免加载出错，这样的另一个好处，就是首次使用时，不用连外网了。
 * 加载nf4模型的速度比fp8快了许多倍，所以我推荐使用nf4模型来运行flux。我已经把nf4的工作流放入example，只需下载单体模型地址，[link](https://huggingface.co/sayakpaul/flux.1-dev-nf4/tree/main) ，当然flux的完整diffuser模型也是必须的。  
 * 加入easy function，便于调试新的功能，此次加入的是photomake V2对auraface的支持，你可以在easy function 输入auraface以测试该方法   
-
-* 修复bug，修改MS的一些代码，去掉flux模型加载节点，  
 * 如果单独运行flux的repo，会自动保存pt模型（fp8)的，你可以运行至模型保存后就中断，然后用repo+pt模型，或者repo+其他fp8模型，或者repo+重新命名的pt模型（不带transformer字眼即可）来使用flux，速度更快。单独加载repo很耗时。   
-* 特别更新：现在双角色同框的加载方式改成[A]...[B]...模式，原来的（A and B）模式已经摈弃！！！！  
-* 加入实验版的FLUX diffusers pippline流程,repo填写black-forest-labs/FLUX.1-dev或者X:/XXX/black-forest-labs/FLUX.1-dev 开启,需要高版本的diffusers和optimum-quanto,请谨慎测试.  
+* 特别更新：现在双角色同框的加载方式改成[A]...[B]...模式，原来的（A and B）模式已经摈弃摒弃！！！！   
 * 特别注意，因为可灵模型比较大，所以采用了CPU加载，所以首次加载需要很大的内存才行。   
 * 加入可灵kolor模型的支持，支持文生图和可灵ipadapter的图生图，需要的模型文件见下方；   
 * 加入photomakerV2的支持，由于V2版需要insight face ，所以不会装的谨慎尝试；     
-* 模型现在只有使用repo输入或者选择社区模型两种方式，修复了一些bug；  
 * controlnet现在使用单体模型；  
-* 调整MS的模型加载，速度更快了；  
 * 修复引入模块的错误，现在模型存放地址改至models/photomaker，重复利用模型，避免浪费硬盘空间(存储的pt模型也会在photomaker下)；   
 * 新增controlnet布局控制按钮，默认是否，为程序自动。   
 * 为双角色同图引入controlnet，并支持多图引入（MS还是保留吧，剔除了有些人又不想装2个插件。 ）  
@@ -33,7 +35,7 @@ StoryDiffusion方法的地址: [StoryDiffusion](https://github.com/HVision-NKU/S
  git clone https://github.com/smthemex/ComfyUI_StoryDiffusion.git
  
  ```
-或者用manage 安装。。   
+或者用manager 安装。。   
 
 2.需求文件   
 ----
@@ -55,7 +57,7 @@ repo模式 支持所有基于SDXL的扩散模型（如G161222/RealVisXL_V4.0，s
 单体模型支持SDXL,例如：Juggernaut-XL_v9_RunDiffusionPhoto_v2.safetensors ），    

 --(使用双角色功能时):       
-你用全局外网，会自动下载，但是一般是去C盘。  
+你用全局外网，会自动下载。  
 在comfyUI/models/photomaker目录下，确认是否有photomaker-v1.bin，如果没有会自己下载 [离线下载地址](https://huggingface.co/TencentARC/PhotoMaker/tree/main)  
 photomaker-v2.bin 虽然也能用，但是新代码没有更新，所以发挥不了其新特性 [离线下载地址](https://huggingface.co/TencentARC/PhotoMaker-V2/tree/main)  

@@ -74,6 +76,8 @@ photomaker-v2.bin 虽然也能用，但是新代码没有更新，所以发挥
 如果要使用kolor（可灵），下载链接如下：
 Kwai-Kolors    [link](https://huggingface.co/Kwai-Kolors/Kolors/tree/main)    
 Kolors-IP-Adapter-Plus  [link](https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus/tree/main)   
+Kolors-IP-Adapter-FaceID-Plus  [link](https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus)
+
 文件结构如下，注意是有层级的：
 ```
 ├── 你的本地任意地址/Kwai-Kolors/Kolors
@@ -113,6 +117,22 @@ Kolors-IP-Adapter-Plus  [link](https://huggingface.co/Kwai-Kolors/Kolors-IP-Adap
 |               ├──tokenizer.json
 |               ├──tokenizer_config.json
 |               ├──vocab.json
+|       ├── clip-vit-large-patch14-336  # if using Kolors-IP-Adapter-FaceID-Plus
+|          ├──config.json
+|          ├──merges.txt
+|          ├──preprocessor_config.json
+|          ├──pytorch_model.bin
+|          ├──special_tokens_map.json
+|          ├──tokenizer.json
+|          ├──tokenizer_config.json
+|          ├──vocab.json
+```
+如果使用kolor的face ip还需要:  
+自动下载的insightface模型 "DIAMONIK7777/antelopev2" insightface models....
+ipa-faceid-plus.bin 模型下载地址，放在如下目录  [link](https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus)
+```
+├── ComfyUI/models/photomaker/
+|             ├── ipa-faceid-plus.bin
 ```

 3.2 离线模式 
@@ -130,8 +150,59 @@ Kolors-IP-Adapter-Plus  [link](https://huggingface.co/Kwai-Kolors/Kolors-IP-Adap
 |     ├──xinsir/controlnet-tile-sdxl-1.0
   
 ```
+
 control_img图片的预处理，请使用其他节点   

+3.4 如果要使用 flux pulid  .   
+确保torch must > 0.24.0，并确保optimum-quanto为0.2.4以上版本   
+```
+pip install optimum-quanto==0.2.4  
+```
+EVA02_CLIP_L_336_psz14_s6B.pt 会自动下载....[link](https://huggingface.co/QuanSun/EVA-CLIP/tree/main) #迟点改成不自动下载      
+DIAMONIK7777/antelopev2 会自动下载，kolor也用这个....[https://huggingface.co/DIAMONIK7777/antelopev2/tree/main)    
+"pulid_flux_v0.9.0.safetensors" 下载至 [link](https://huggingface.co/guozinan/PuLID/tree/main)     
+fp8 using flux1-dev-fp8.safetensors  这个unt很多人应该有，放在checkpoints目录 [link](https://huggingface.co/Kijai/flux-fp8/tree/main)       
+```
+├── ComfyUI/models/photomaker/
+|             ├── pulid_flux_v0.9.0.safetensors
+```
+确保 ae.safetensors 在你的 FLUX.1-dev 目录下,以下是文件夹示例:  
+```
+├──any_path/black-forest-labs/FLUX.1-dev
+|      ├──model_index.json
+|      ├──ae.safetensors
+|      ├──vae
+|          ├── config.json
+|          ├── diffusion_pytorch_model.safetensors 
+|      ├──transformer
+|          ├── config.json
+|          ├──diffusion_pytorch_model-00001-of-00003.safetensors
+|          ├──diffusion_pytorch_model-00002-of-00003.safetensors
+|          ├──diffusion_pytorch_model-00003-of-00003.safetensors
+|          ├── diffusion_pytorch_model.safetensors.index.json
+|      ├──tokenizer
+|          ├── special_tokens_map.json
+|          ├── tokenizer_config.json
+|          ├── vocab.json
+|          ├── merges.txt
+|      ├──tokenizer_2
+|          ├── special_tokens_map.json
+|          ├── tokenizer_config.json
+|          ├── spiece.model
+|          ├── tokenizer.json
+|       ├── text_encoder
+|          ├── config.json
+|          ├── model.safetensors
+|       ├── text_encoder_2
+|          ├── config.json
+|          ├── model-00001-of-00002.safetensors
+|          ├── model-00002-of-00002.safetensors
+|          ├── model.safetensors.index.json
+|       ├── scheduler
+|          ├── scheduler_config.json
+```
+
+
 4 Example
 ----
 请看英文版的提示
@@ -198,30 +269,6 @@ control_img图片的预处理，请使用其他节点
 * 如果需要图片不出现角色，场景prompt前面加入[NC] ；     
 * 分段prompt，用#，例如 AAAA#BBBB,将生成AAAA内容，但是文字只显示BBBB   

-
-我的其他comfyUI插件：
-----
-1、ParlerTTS: （ParlerTTS英文的音频节点）:[ComfyUI_ParlerTTS](https://github.com/smthemex/ComfyUI_ParlerTTS)     
-2、Llama3_8B: 羊驼3的节点，也兼容了其他基于羊驼3的模型）:[ComfyUI_Llama3_8B](https://github.com/smthemex/ComfyUI_Llama3_8B)      
-3、HiDiffusion: （高清放大节点）：[ComfyUI_HiDiffusion_Pro](https://github.com/smthemex/ComfyUI_HiDiffusion_Pro)   
-4、ID_Animator: （零样本单图制作视频）： [ComfyUI_ID_Animator](https://github.com/smthemex/ComfyUI_ID_Animator)       
-5、StoryDiffusion:（故事绘本节点）：[ComfyUI_StoryDiffusion](https://github.com/smthemex/ComfyUI_StoryDiffusion)  
-6、Pops: （材质、融合类节点，基于pops方法）：[ComfyUI_Pops](https://github.com/smthemex/ComfyUI_Pops)   
-7、stable-audio-open-1.0: （SD官方的音频节点的简单实现） ：[ComfyUI_StableAudio_Open](https://github.com/smthemex/ComfyUI_StableAudio_Open)        
-8、GLM4: （基于智普AI的api节点，涵盖智普的本地大模型）：[ComfyUI_ChatGLM_API](https://github.com/smthemex/ComfyUI_ChatGLM_API)   
-9、CustomNet: （基于腾讯的CustomNet做的角度控制节点）：[ComfyUI_CustomNet](https://github.com/smthemex/ComfyUI_CustomNet)           
-10、Pipeline_Tool: （方便玩家调用镜像抱脸下载） :[ComfyUI_Pipeline_Tool](https://github.com/smthemex/ComfyUI_Pipeline_Tool)    
-11、Pic2Story: （基于模型的图像识别） :[ComfyUI_Pic2Story](https://github.com/smthemex/ComfyUI_Pic2Story)   
-12、ComfyUI_Streamv2v_Plus: （视频转绘，能用，未打磨）:[ComfyUI_Streamv2v_Plus](https://github.com/smthemex/ComfyUI_Streamv2v_Plus)   
-13、ComfyUI_MS_Diffusion: （基于MS-diffusion做的故事话本）:[ComfyUI_MS_Diffusion](https://github.com/smthemex/ComfyUI_MS_Diffusion)   
-14、ComfyUI_AnyDoor: (一键换衣插件): [ComfyUI_AnyDoor](https://github.com/smthemex/ComfyUI_AnyDoor)  
-15、ComfyUI_Stable_Makeup: (一键化妆): [ComfyUI_Stable_Makeup](https://github.com/smthemex/ComfyUI_Stable_Makeup)  
-16、ComfyUI_EchoMimic: (音频驱动动画):  [ComfyUI_EchoMimic](https://github.com/smthemex/ComfyUI_EchoMimic)   
-17、ComfyUI_FollowYourEmoji: (画面驱动表情包): [ComfyUI_FollowYourEmoji](https://github.com/smthemex/ComfyUI_FollowYourEmoji)   
-18、ComfyUI_Diffree : [超强的一致性的文生图内绘](https://github.com/smthemex/ComfyUI_Diffree)     
-19、ComfyUI_FoleyCrafter : [给视频配音的节点](https://github.com/smthemex/ComfyUI_FoleyCrafter)
-20、ComfyUI_MooERr node: [语音识别加翻译](https://github.com/smthemex/ComfyUI_MooER)
-
 Citation
 ------

@@ -272,3 +319,16 @@ kolors
  year={2024}
 }
 ```
+```
+PuLID
+```
+@article{guo2024pulid,
+  title={PuLID: Pure and Lightning ID Customization via Contrastive Alignment},
+  author={Guo, Zinan and Wu, Yanze and Chen, Zhuowei and Chen, Lang and He, Qian},
+  journal={arXiv preprint arXiv:2404.16022},
+  year={2024}
+}
+```
+
+FLUX
+![LICENSE](https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md)