From db392249dd8874c19f2724fa8ae0d08e96cb39af Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?=E7=A7=91=E6=9E=97=5FCyril=20Pilgrim?=
 <onepigge1999@gmail.com>
Date: Tue, 28 Jan 2025 17:12:10 +0800
Subject: [PATCH] push

---
 README_ZH.md                                  | 118 ------------------
 __pycache__/image_generation.cpython-312.pyc  | Bin 5745 -> 6211 bytes
 .../image_understanding.cpython-312.pyc       | Bin 3519 -> 4431 bytes
 image_generation.py                           |   2 +-
 image_understanding.py                        |   2 +-
 model_loader.py                               |   6 +-
 requirements.txt                              |   4 +-
 7 files changed, 8 insertions(+), 124 deletions(-)
 delete mode 100644 README_ZH.md

diff --git a/README_ZH.md b/README_ZH.md
deleted file mode 100644
index f6dad63..0000000
--- a/README_ZH.md
+++ /dev/null
@@ -1,118 +0,0 @@
-# ComfyUI DeepSeek Janus Pro 中文说明
-
-## 项目概述
-本自定义节点为ComfyUI提供了DeepSeek Janus Pro多模态AI模型的支持，包含以下主要功能：
-- 图像理解与分析
-- 文生图生成
-- 多模态处理能力
-
-## 主要特点
-- 支持本地和远程模型加载
-- 自动设备选择（CPU/GPU）
-- 批量图像生成
-- 灵活的参数配置
-- 完整的错误处理机制
-
-## 安装步骤
-
-### 前置条件
-- 已安装ComfyUI
-- Python 3.8+
-- CUDA支持的GPU（推荐）
-
-### 安装流程
-1. 克隆项目到ComfyUI的custom_nodes目录：
-```bash
-cd custom_nodes
-git clone https://github.com/yourusername/ComfyUI-DeepSeek_Janus.git
-```
-
-2. 安装依赖：
-```bash
-cd ComfyUI-DeepSeek_Janus
-pip install -r requirements.txt
-```
-
-3. 下载DeepSeek Janus Pro模型：
-- 将模型放置在`ComfyUI/models/deepseek_janus/`目录下
-
-4. 重启ComfyUI即可使用新节点
-
-## 节点说明
-
-### 1. DeepSeek 模型加载器
-- 加载DeepSeek Janus Pro模型
-- 支持本地和远程模型
-- 自动选择最佳精度（FP16/BF16）
-
-参数说明：
-- model_name: 模型名称
-- use_local: 是否使用本地模型
-
-### 2. 图像理解
-- 分析图像内容
-- 支持自定义问题
-- 多模态理解能力
-
-参数说明：
-- image: 输入图像
-- question: 提问内容
-- max_length: 最大输出长度
-
-### 3. 图像生成
-- 根据文本生成图像
-- 可配置生成参数
-- 支持批量生成
-
-参数说明：
-- prompt: 文本提示
-- batch_size: 批量大小
-- temperature: 采样温度
-- guidance_scale: 引导强度
-- max_length: 最大序列长度
-
-## 使用示例
-
-### 图像理解
-1. 加载模型
-2. 连接图像输入
-3. 输入问题
-4. 获取分析结果
-
-### 图像生成
-1. 加载模型
-2. 输入文本提示
-3. 配置生成参数
-4. 生成图像
-
-## 注意事项
-- 确保CUDA正确安装
-- 检查模型下载和放置位置
-- 验证依赖项是否正确安装
-
-## 常见问题
-Q: 模型加载失败怎么办？
-A: 
-1. 检查模型路径是否正确
-2. 确认requirements.txt中的依赖已安装
-3. 查看日志文件获取详细错误信息
-
-Q: 图像生成质量不佳？
-A:
-1. 调整temperature参数
-2. 修改guidance_scale值
-3. 尝试不同的prompt描述
-
-## 版本支持
-- Janus Pro 1B
-- Janus Pro 7B
-
-## 贡献指南
-欢迎提交PR或报告问题：
-- 请确保代码符合PEP8规范
-- 添加必要的单元测试
-- 更新相关文档
-
-## 致谢
-- DeepSeek AI团队
-- ComfyUI社区
\ No newline at end of file
diff --git a/__pycache__/image_generation.cpython-312.pyc b/__pycache__/image_generation.cpython-312.pyc
index b7df1fe4513d1251038282190c83a374fe3b5207..52bc6cbbbd7fb3a81fe18f3e6a387fae404e7f69 100644
GIT binary patch
delta 1201
zcmb_bT}TvB6ux)H+4<espV^((-Q0B7UA0|pH`ErA#LU{X9x93?q~D=jY13&+3B~HA
zf`Z}(DFk6pRuDxGLG)xns}i{sxbzS`^bkZfTY?W!bnloX_0mH#%$e^y_nhxL_cBwA
zKS{{bcDn%Zb^H3r;obiG@)nyYV@l)a>thCKwtdtfjb7Mlpos3<6eO{6Xh$u)Lc@%V
zimYOXq#b}EaZt>-aK?`=umMq7$O4e@kZLr+hGiZYztbu%4PWU~P!(69_!p~xzfm9O
zDH)_Pezcj3qEW64M$kj90#*?VDpO-QId}%HwC1YjWwCa#J5z@}8<y|{I>U!yEz0vj
z-y!!MYN2q*xn!Pt+~Pr>c^<B@q!l5CrJIGVf$~M!N}vzGzxDt_3j=WF|FR8#JS&Ak
z5*&y96a<|B;yX(Z(4C+kc7n_BVoyI<U}0dS&?TW1uC??Z3F?wVZ6dh`pM(#T)3seY
zsCA#z4wd)n$By<I58m6mAll+c*zATjVC+Rh4qvI<Vi<b&ffI(-rt8P_*W6((tLgg<
z4PABgAi?>Ze}fO@G%y=?p|{Sc7#rU>o|^I1zmgh|%XM?u6iV&tJFov**Oe}`w+IB6
zS_mdbwAo-XA50bjzd|keqb7~tZ$r^S<*GteLm?C&?;EQtglq3nW6gy~-E1V4kECWJ
zZTU#sAM~pWcV6B!Ph(-T9;ks?Z*|^VJ-+OvH+g<z0oA(i4tGO(xjZkE3gZ85P6eLO
z7a;vTSbRjgksZzc-?5Z=;%aUEyUAeJZ*yt%(VZSXhrf@r>mBWGFyX4&)MT4T(F8Yn
z(lU7BY!TBG{WQQ~@-*D)!z<64Y&hm9CM~i#mc<J>xvbqm=VC45=4NKHk;i1RnQ7<v
zsS+0BDUk?H$&g@&h24BdfSw98bf~mA?Sz<2t4v1#omEDi`|vz^2?^vc*0-UU=j3o7
zWJ0D5R8*R*1vwC@HhBvQAR0483re7-&a_)lCIt=)Itg@H&<$3uz8Ah#W-7mED@?;2
z^Fo@G^6PibSy??nY$Y5{m2J?p-W{6OgUY==aU02ZlCTH0dVeI2P%u;kB$~S!zyxPj
XG@3NEjG6(8DOr3S=0PeC{FdfV>fAN+

delta 805
zcmZ9K?@JSL9LK-kop-nUvF&c>xp~fQxA|i_S<cijB5?-J$R0>R2~nX#c46uiAB6qT
ze<0=aAlDPAM@BtRd{jh%22LV!5ICX-MGt*)L%|1O^u4np`og{M_5OT6zc_BQwcO%<
z?{e{ooX3kxqu--z?hB0IB9<c0{;LYeFgN&VJHbkVEv5;(pv-h*4<uO?OYnqOV2Bm5
zLP&!-wg#*4jSav{wvL}xts?6zPE^7XD?`euz%H-j0E{^s{Id=taD4x-8ey1op1@I9
zbLzO>Zd-H)n7h)fWW->NQK~)FB!5J@bqb-Je>(oB*k~a;DR7aC;5a0?5G-(RLX(8v
za3a}jnG5pI@o~D*VRv@%aU6p#egJpEL!laXSp(p;P$m4`-8gN<)=gp0;gJS2!<p<%
zW+a>)yE&R!-*aEX3~e*?NlEO4dy*ekB}4ekP2|RhGgDLJInd+}+*Joc50KfJ22*Yj
znqPFRH17D@K8Ytm_dd-Yh{)@ERJ&LUp)%rK-jWtus$Wjz6J^BJcuQ3glOpf0!AL0_
zFGZ83U~DCszg-G7t)%kzOM3IJ-d@z(clDm4-t(W`mr3OUdq|PCrUpsnt#<%Z0r#P3
z1*~B|4$i@RWqRN|`7-k<B`u>3wXv_8**N1Pys7jEX_|T$><tsQ)y)ts&~)0(7I@ZT
znd{f6g4WTmQrjL(cw43WHMpearR$_)uEG-Qf65KQkvfyT<DerZgY-I+wb6;{V<u-K
zj~e2pV55kd5~j;Wx0T?rQL<3B(TkefR-?~qP35=k#c5oiKZ@I8F?IQXMBz(SLKw6L
tU$JBeRNv3mNeV~G$Wqf_5gptKb()mJ=h#7t$=m)c@j*usX}MNX_6r~q(+mIr

diff --git a/__pycache__/image_understanding.cpython-312.pyc b/__pycache__/image_understanding.cpython-312.pyc
index 1cac1090d21ab9c6a848486dc4fbe94c6dbc0bf4..120d149ecd91ea2f6331852181cc7d0bddd304ef 100644
GIT binary patch
delta 1379
zcma)4O>7%Q6n?WmUa!4&o!So0I!+z0ojOUA#t|W*K}8WsoHhah5k*#1MIpO!Y|0vK
zmZU{%g18}7P_z;RH5IK?(L;JcL8ypB57c%L2ZB_@%BLQ3;$%0Gf@lxS*f?#1keJoZ
zeDn5w?|u8t+ztK`asTXcIRFpOwbiuO^Nsrl+DY~_es|6>=6yQemt{!8!EqI?QR}E4
zL!fhwuLhlEOb06pGWB*GK$A#d<218`+&t*cMp`y(ZZYD@03e{iK-oy+!;@8hCIbd{
z6Ui>wEgxB<ZlX_6-Y$E{vrg6X5ExXp`w6FkR_rp}f;aNf+ulZQo;Ub;GzAhQU=b}-
z2vR+`J%Y=Ti*yQ>kpz0QQ6LK18iIc-wh_e!GW%>k)u0R}4F;R8Nxa>(ZmYBNcEdi8
z=BUF`=cp7MXkY8D()I4@tB3lJVq5>yFKq4M@&Ei%g{S`ifPfUJ%rex)q~P*T4UA=-
z_@~#KfPIPP9r}Ln?8$w&4`iR=AlCz%?{Aoo%?8<%cYNTu)LdVeQKLa;U}MQPkHV4H
zl{qD|q{!jSJF{setSjnbP75z*^o8)^!tA@|AKcf$S2~$8w~$%XbJ``19G6C{&^qyC
zUa^mwzuEhPfwJvFE}d4iGLuo~b7hvWl`?%nQOyWH)x)W|nY1=5mtDGYQJ+aGs-n&6
zO4&W4>sscm_jF}U({h+Sw=k=lI$w%CkMG-uP!UHFKZ3S}qn}QGJh>&laOaJ?)89|u
zd3h^v_P#J_PCGVF3#~43+b@1`{<HJuOcmIsW~(i+s{G!T__Zxj1?E_@C3aM3ygoSI
zWkrtfa2Q@m?$J22a>_j8Y+u=Xkzhi7v@3uw@(_G3u|j#9#O;>0uR>pjt{$rb?<eeA
zT{pU{)|k~AwW1wXwCDP;)!l1#bXQy;_3QvAiK|@21MTtE_xHS*vPXEkWcsT@=0A6R
z5a@Ua+*7sBVAX!niu7HN-Riy3i#1E4)z*bIOX7oCb*z~b#+v=&9!ah-9#>dg=5Zy6
z)jryN4m>TU>g-zi7N5*VFAXM#;m1?HF)!S62gW%1UWc9F-T;mlICjj#6$B1P3SK@r
zL>EH7@fcM|1jhqxQQ$Ey`Vo#7n-R`02H5d-z8K<2JX(v#Ldkx%L<N!(R}y)GB{q4&
zS&DN*WOI_j<Wd3=+)oocK;c5AK|(GK(F70k6LETz5ho;iQ(`CL=7#fg^sISS=%-#o
uW?txZ_LGY?K&C<SJ7K^!Nnnpz6{gU%Ip&%;l169*RiU<2&e7(YOZpoCU_00V

delta 521
zcmX@Fv|pO<G%qg~0}u#Joss^Pdn4a&W^Q&Mml=pZ&tsZ=g;_&pHp5(|)r=rT3=E76
zC9Dt@149jS7TaVwRw<qorfdxch9YH<z~&&9GR71ph8o5!1(-qvog$XWP{Y22F@-mU
zFNJ>&(-Ou$##)XVrYvQI8W^jFBZXNK$Vm}cBe<FgB3jE?!<ohy%%IFrqB8jcyQHf+
zOf`Z|5vt(=IT@%=7^aVrA(A0Qq?W6Wt5Os~mot_#R4_*}lrw6IZ`R{TW8@PEN=;79
zEK5yM$jnVlpS*>0+2m3#7e>FyJGqRcMQ*X><fo^n7TsdW%uCC^#hjCxcZ;<+Be5WL
zG8=dB<aX|33K76CYGC*vrOWBa_=HEO-@DWMf|S+@(-rC$B#f@`7*8(ZIibeKAg($g
zb$Z^!ypIel;(RxR<UTM1=?C&kH>Bi0vjdqO?jQIjSMVyb{CL7IF*%V>OIiZxxh5AG
z7kP#w@|><b%tth&T-lkAva`DKOm^a*#%MhGCchD*)nr})J#Isw+9DGWVK&)Kz?97m
i#MGJGC=kpTHu<W62Y&z~qa))-1~By@gK4skpfUjaM0ZU9

diff --git a/image_generation.py b/image_generation.py
index e4e2a42..0a12ba7 100644
--- a/image_generation.py
+++ b/image_generation.py
@@ -125,7 +125,7 @@ class DeepSeekImageGeneration:
             try:
                 # Generate images
                 with torch.no_grad():
-                    outputs = model.text_generate(  # Changed from generate to text_generate
+                    outputs = model.generate_image(
                         **batch_inputs,
                         do_sample=True,
                         temperature=temperature,
diff --git a/image_understanding.py b/image_understanding.py
index 16e1036..699b0fa 100644
--- a/image_understanding.py
+++ b/image_understanding.py
@@ -75,7 +75,7 @@ class DeepSeekImageUnderstanding:
             try:
                 # 首先尝试使用 text_generate
                 with torch.no_grad():
-                    outputs = model.text_generate(
+                    outputs = model.generate(
                         **model_inputs,
                         max_new_tokens=512,
                         do_sample=False
diff --git a/model_loader.py b/model_loader.py
index bb8f514..19bcf67 100644
--- a/model_loader.py
+++ b/model_loader.py
@@ -1,8 +1,8 @@
 import os
 import torch
 from typing import Tuple
-from transformers import AutoModelForCausalLM, AutoTokenizer
-from janus.models import VLChatProcessor  # type: ignore
+from transformers import AutoTokenizer
+from janus.models import MultiModalityCausalLM, VLChatProcessor  # type: ignore
 import folder_paths
 
 class DeepSeekModelLoader:
@@ -97,7 +97,7 @@ class DeepSeekModelLoader:
             )
 
             # 加载模型
-            model = AutoModelForCausalLM.from_pretrained(
+            model = MultiModalityCausalLM.from_pretrained(
                 model_path,
                 trust_remote_code=True,
                 torch_dtype=dtype,
diff --git a/requirements.txt b/requirements.txt
index e790848..f2a302e 100644
--- a/requirements.txt
+++ b/requirements.txt
@@ -1 +1,3 @@
-git+https://github.com/deepseek-ai/Janus.git
\ No newline at end of file
+git+https://github.com/deepseek-ai/Janus.git
+ffmpeg-python
+json-repair
\ No newline at end of file