feat: add clip_quantized and lora_configs to LightX2VModularInference configuration; remove i2v_with_lora.json example and add new examples for wan_i2v_with_distill_lora and wan_t2v_with_distill_lora
This commit is contained in:
gaclove
@@ -1,322 +0,0 @@
|
||||
{
|
||||
"id": "8e32b654-fc07-4c42-9cf1-f18fcfe1539d",
|
||||
"revision": 0,
|
||||
"last_node_id": 19,
|
||||
"last_link_id": 22,
|
||||
"nodes": [
|
||||
{
|
||||
"id": 11,
|
||||
"type": "easy showAnything",
|
||||
"pos": [
|
||||
1853.2427978515625,
|
||||
-60.925323486328125
|
||||
],
|
||||
"size": [
|
||||
421.81817626953125,
|
||||
474.18182373046875
|
||||
],
|
||||
"flags": {},
|
||||
"order": 2,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "anything",
|
||||
"shape": 7,
|
||||
"type": "*",
|
||||
"link": 13
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "output",
|
||||
"type": "*",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "easy showAnything"
|
||||
},
|
||||
"widgets_values": [
|
||||
"{\"do_mm_calib\": false, \"cpu_offload\": false, \"parallel_attn_type\": null, \"parallel_vae\": false, \"max_area\": false, \"vae_stride\": [4, 8, 8], \"patch_size\": [1, 2, 2], \"feature_caching\": \"NoCaching\", \"teacache_thresh\": 0.26, \"use_ret_steps\": false, \"use_bfloat16\": true, \"lora_path\": null, \"strength_model\": 1.0, \"mm_config\": {}, \"use_prompt_enhancer\": false, \"model_cls\": \"wan2.1\", \"model_path\": \"/mnt/aigc/users/lijiaqi2/wan_model/Wan2.1-I2V-14B-480P\", \"task\": \"i2v\", \"mode\": \"infer\", \"infer_steps\": 20, \"target_video_length\": 17, \"target_height\": 640, \"target_width\": 640, \"self_attn_1_type\": \"flash_attn3\", \"cross_attn_1_type\": \"flash_attn3\", \"cross_attn_2_type\": \"flash_attn3\", \"seed\": 3707983098, \"sample_guide_scale\": 7.0, \"sample_shift\": 5, \"enable_cfg\": true, \"_class_name\": \"WanModel\", \"_diffusers_version\": \"0.30.0\", \"dim\": 5120, \"eps\": 1e-06, \"ffn_dim\": 13824, \"freq_dim\": 256, \"in_dim\": 36, \"model_type\": \"i2v\", \"num_heads\": 40, \"num_layers\": 40, \"out_dim\": 16, \"text_len\": 512}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 16,
|
||||
"type": "LoadImage",
|
||||
"pos": [
|
||||
1350.956298828125,
|
||||
533.7491455078125
|
||||
],
|
||||
"size": [
|
||||
274.080078125,
|
||||
314
|
||||
],
|
||||
"flags": {},
|
||||
"order": 0,
|
||||
"mode": 0,
|
||||
"inputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "IMAGE",
|
||||
"type": "IMAGE",
|
||||
"links": [
|
||||
19
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "MASK",
|
||||
"type": "MASK",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LoadImage"
|
||||
},
|
||||
"widgets_values": [
|
||||
"00.jpg",
|
||||
"image"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 14,
|
||||
"type": "LightX2VConfigBuilder",
|
||||
"pos": [
|
||||
1364.2938232421875,
|
||||
-5.740452289581299
|
||||
],
|
||||
"size": [
|
||||
400,
|
||||
484
|
||||
],
|
||||
"flags": {},
|
||||
"order": 1,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "quantization_config",
|
||||
"shape": 7,
|
||||
"type": "LIGHTX2V_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "attention_config",
|
||||
"shape": 7,
|
||||
"type": "LIGHTX2V_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "caching_config",
|
||||
"shape": 7,
|
||||
"type": "LIGHTX2V_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "distill_config",
|
||||
"shape": 7,
|
||||
"type": "LIGHTX2V_CONFIG",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "config",
|
||||
"type": "LIGHTX2V_CONFIG",
|
||||
"links": [
|
||||
13,
|
||||
20
|
||||
]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VConfigBuilder"
|
||||
},
|
||||
"widgets_values": [
|
||||
"wan2.1",
|
||||
"/mnt/aigc/users/lijiaqi2/wan_model/Wan2.1-I2V-14B-480P",
|
||||
"i2v",
|
||||
"wan_wan_i2v",
|
||||
20,
|
||||
7,
|
||||
1792230042,
|
||||
"randomize",
|
||||
640,
|
||||
640,
|
||||
17,
|
||||
5,
|
||||
"{}",
|
||||
"",
|
||||
1
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 19,
|
||||
"type": "VHS_VideoCombine",
|
||||
"pos": [
|
||||
2385.66748046875,
|
||||
197.88131713867188
|
||||
],
|
||||
"size": [
|
||||
220.5830078125,
|
||||
524.5830078125
|
||||
],
|
||||
"flags": {},
|
||||
"order": 4,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "images",
|
||||
"type": "IMAGE",
|
||||
"link": 22
|
||||
},
|
||||
{
|
||||
"name": "audio",
|
||||
"shape": 7,
|
||||
"type": "AUDIO",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "meta_batch",
|
||||
"shape": 7,
|
||||
"type": "VHS_BatchManager",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "vae",
|
||||
"shape": 7,
|
||||
"type": "VAE",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "Filenames",
|
||||
"type": "VHS_FILENAMES",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "VHS_VideoCombine"
|
||||
},
|
||||
"widgets_values": {
|
||||
"frame_rate": 16,
|
||||
"loop_count": 0,
|
||||
"filename_prefix": "AnimateDiff",
|
||||
"format": "video/h264-mp4",
|
||||
"pix_fmt": "yuv420p",
|
||||
"crf": 19,
|
||||
"save_metadata": true,
|
||||
"pingpong": false,
|
||||
"save_output": true,
|
||||
"videopreview": {
|
||||
"hidden": false,
|
||||
"paused": false,
|
||||
"params": {
|
||||
"filename": "AnimateDiff_00566.mp4",
|
||||
"subfolder": "",
|
||||
"type": "output",
|
||||
"format": "video/h264-mp4",
|
||||
"frame_rate": 16
|
||||
},
|
||||
"muted": false
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 17,
|
||||
"type": "LightX2VInference",
|
||||
"pos": [
|
||||
1857.4027099609375,
|
||||
484.1622619628906
|
||||
],
|
||||
"size": [
|
||||
400,
|
||||
200
|
||||
],
|
||||
"flags": {},
|
||||
"order": 3,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "config",
|
||||
"type": "LIGHTX2V_CONFIG",
|
||||
"link": 20
|
||||
},
|
||||
{
|
||||
"name": "image",
|
||||
"shape": 7,
|
||||
"type": "IMAGE",
|
||||
"link": 19
|
||||
},
|
||||
{
|
||||
"name": "audio",
|
||||
"shape": 7,
|
||||
"type": "AUDIO",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "images",
|
||||
"type": "IMAGE",
|
||||
"links": [
|
||||
22
|
||||
]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VInference"
|
||||
},
|
||||
"widgets_values": [
|
||||
"太空漫步",
|
||||
""
|
||||
]
|
||||
}
|
||||
],
|
||||
"links": [
|
||||
[
|
||||
13,
|
||||
14,
|
||||
0,
|
||||
11,
|
||||
0,
|
||||
"*"
|
||||
],
|
||||
[
|
||||
19,
|
||||
16,
|
||||
0,
|
||||
17,
|
||||
1,
|
||||
"IMAGE"
|
||||
],
|
||||
[
|
||||
20,
|
||||
14,
|
||||
0,
|
||||
17,
|
||||
0,
|
||||
"LIGHTX2V_CONFIG"
|
||||
],
|
||||
[
|
||||
22,
|
||||
17,
|
||||
0,
|
||||
19,
|
||||
0,
|
||||
"IMAGE"
|
||||
]
|
||||
],
|
||||
"groups": [],
|
||||
"config": {},
|
||||
"extra": {
|
||||
"ds": {
|
||||
"scale": 1.1,
|
||||
"offset": [
|
||||
-1037.5676946929361,
|
||||
200.53192711737387
|
||||
]
|
||||
},
|
||||
"frontendVersion": "1.19.9"
|
||||
},
|
||||
"version": 0.4
|
||||
}
|
||||
@@ -0,0 +1,313 @@
|
||||
{
|
||||
"id": "8e881096-4f7b-4633-b34b-6b9c0f8aa093",
|
||||
"revision": 0,
|
||||
"last_node_id": 112,
|
||||
"last_link_id": 82,
|
||||
"nodes": [
|
||||
{
|
||||
"id": 109,
|
||||
"type": "LightX2VConfigCombiner",
|
||||
"pos": [1531.4547119140625, -521.6442260742188],
|
||||
"size": [239.138671875, 126],
|
||||
"flags": {},
|
||||
"order": 3,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "inference_config",
|
||||
"type": "INFERENCE_CONFIG",
|
||||
"link": 76
|
||||
},
|
||||
{
|
||||
"name": "teacache_config",
|
||||
"shape": 7,
|
||||
"type": "TEACACHE_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "quantization_config",
|
||||
"shape": 7,
|
||||
"type": "QUANT_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "memory_config",
|
||||
"shape": 7,
|
||||
"type": "MEMORY_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "vae_config",
|
||||
"shape": 7,
|
||||
"type": "VAE_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "lora_chain",
|
||||
"shape": 7,
|
||||
"type": "LORA_CHAIN",
|
||||
"link": 82
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "combined_config",
|
||||
"type": "COMBINED_CONFIG",
|
||||
"links": [78, 80]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VConfigCombiner"
|
||||
},
|
||||
"widgets_values": []
|
||||
},
|
||||
{
|
||||
"id": 111,
|
||||
"type": "easy showAnything",
|
||||
"pos": [1839.9300537109375, -494.4144287109375],
|
||||
"size": [624.5454711914062, 358.7272644042969],
|
||||
"flags": {
|
||||
"collapsed": true
|
||||
},
|
||||
"order": 5,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "anything",
|
||||
"shape": 7,
|
||||
"type": "*",
|
||||
"link": 80
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "output",
|
||||
"type": "*",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "easy showAnything"
|
||||
},
|
||||
"widgets_values": [
|
||||
"{\"model_cls\": \"wan2.1\", \"model_path\": \"/mnt/aigc/users/lijiaqi2/ComfyUI/models/lightx2v/Wan2.1-I2V-14B-480P\", \"task\": \"i2v\", \"mode\": \"infer\", \"infer_steps\": 4, \"seed\": 1822974886, \"sample_guide_scale\": 1.0, \"sample_shift\": 8, \"enable_cfg\": false, \"prompt\": \"\", \"negative_prompt\": \"\", \"target_height\": 480, \"target_width\": 480, \"target_video_length\": 81, \"fps\": 16, \"vae_stride\": [4, 8, 8], \"patch_size\": [1, 2, 2], \"feature_caching\": \"NoCaching\", \"teacache_thresh\": 0.26, \"coefficients\": null, \"use_ret_steps\": false, \"dit_quant_scheme\": \"bf16\", \"t5_quant_scheme\": \"bf16\", \"clip_quant_scheme\": \"fp16\", \"quant_op\": \"vllm\", \"precision_mode\": \"fp32\", \"dit_quantized_ckpt\": null, \"t5_quantized_ckpt\": null, \"clip_quantized_ckpt\": null, \"mm_config\": {\"mm_type\": \"Default\"}, \"rotary_chunk\": false, \"rotary_chunk_size\": 100, \"clean_cuda_cache\": false, \"torch_compile\": false, \"attention_type\": \"flash_attn3\", \"self_attn_1_type\": \"flash_attn3\", \"cross_attn_1_type\": \"flash_attn3\", \"cross_attn_2_type\": \"flash_attn3\", \"cpu_offload\": false, \"offload_granularity\": \"phase\", \"offload_ratio\": 1.0, \"t5_cpu_offload\": false, \"t5_offload_granularity\": \"model\", \"lazy_load\": false, \"unload_modules\": false, \"use_tiny_vae\": false, \"tiny_vae\": false, \"tiny_vae_path\": null, \"use_tiling_vae\": false, \"lora_path\": null, \"strength_model\": 1.0, \"do_mm_calib\": false, \"parallel_attn_type\": null, \"parallel_vae\": false, \"max_area\": false, \"use_prompt_enhancer\": false, \"text_len\": 512, \"denoising_step_list\": [999, 750, 500, 250], \"_class_name\": \"WanModel\", \"_diffusers_version\": \"0.30.0\", \"dim\": 5120, \"eps\": 1e-06, \"ffn_dim\": 13824, \"freq_dim\": 256, \"in_dim\": 36, \"model_type\": \"i2v\", \"num_heads\": 40, \"num_layers\": 40, \"out_dim\": 16, \"lora_configs\": [{\"path\": \"/mnt/aigc/users/lijiaqi2/ComfyUI/models/lightx2v/loras/Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.safetensors\", \"strength\": 1.0}]}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 105,
|
||||
"type": "LightX2VInferenceConfig",
|
||||
"pos": [1073.62646484375, -580.9854125976562],
|
||||
"size": [270, 346],
|
||||
"flags": {},
|
||||
"order": 0,
|
||||
"mode": 0,
|
||||
"inputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "inference_config",
|
||||
"type": "INFERENCE_CONFIG",
|
||||
"links": [76]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VInferenceConfig"
|
||||
},
|
||||
"widgets_values": [
|
||||
"wan2.1",
|
||||
"Wan2.1-I2V-14B-480P",
|
||||
"i2v",
|
||||
4,
|
||||
1822974886,
|
||||
"fixed",
|
||||
1,
|
||||
8,
|
||||
480,
|
||||
480,
|
||||
81,
|
||||
16,
|
||||
"999, 750, 500, 250"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 112,
|
||||
"type": "LightX2VLoRALoader",
|
||||
"pos": [1083.3714599609375, -178.75082397460938],
|
||||
"size": [270, 82],
|
||||
"flags": {},
|
||||
"order": 1,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "lora_chain",
|
||||
"shape": 7,
|
||||
"type": "LORA_CHAIN",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "lora_chain",
|
||||
"type": "LORA_CHAIN",
|
||||
"links": [82]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VLoRALoader"
|
||||
},
|
||||
"widgets_values": [
|
||||
"Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.safetensors",
|
||||
1
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 107,
|
||||
"type": "LoadImage",
|
||||
"pos": [1082.250244140625, -34.84281921386719],
|
||||
"size": [274.080078125, 314.0000305175781],
|
||||
"flags": {},
|
||||
"order": 2,
|
||||
"mode": 0,
|
||||
"inputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "IMAGE",
|
||||
"type": "IMAGE",
|
||||
"links": [79]
|
||||
},
|
||||
{
|
||||
"name": "MASK",
|
||||
"type": "MASK",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LoadImage"
|
||||
},
|
||||
"widgets_values": ["00.jpg", "image"]
|
||||
},
|
||||
{
|
||||
"id": 110,
|
||||
"type": "LightX2VModularInference",
|
||||
"pos": [1479.8463134765625, -292.079345703125],
|
||||
"size": [400, 200],
|
||||
"flags": {},
|
||||
"order": 4,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "combined_config",
|
||||
"type": "COMBINED_CONFIG",
|
||||
"link": 78
|
||||
},
|
||||
{
|
||||
"name": "image",
|
||||
"shape": 7,
|
||||
"type": "IMAGE",
|
||||
"link": 79
|
||||
},
|
||||
{
|
||||
"name": "audio",
|
||||
"shape": 7,
|
||||
"type": "AUDIO",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "images",
|
||||
"type": "IMAGE",
|
||||
"links": [81]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VModularInference"
|
||||
},
|
||||
"widgets_values": ["太空漫步，往前跑。 ", ""]
|
||||
},
|
||||
{
|
||||
"id": 108,
|
||||
"type": "VHS_VideoCombine",
|
||||
"pos": [1940.93017578125, -293.4468688964844],
|
||||
"size": [220.5830078125, 524.5830078125],
|
||||
"flags": {},
|
||||
"order": 6,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "images",
|
||||
"type": "IMAGE",
|
||||
"link": 81
|
||||
},
|
||||
{
|
||||
"name": "audio",
|
||||
"shape": 7,
|
||||
"type": "AUDIO",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "meta_batch",
|
||||
"shape": 7,
|
||||
"type": "VHS_BatchManager",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "vae",
|
||||
"shape": 7,
|
||||
"type": "VAE",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "Filenames",
|
||||
"type": "VHS_FILENAMES",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "VHS_VideoCombine"
|
||||
},
|
||||
"widgets_values": {
|
||||
"frame_rate": 16,
|
||||
"loop_count": 0,
|
||||
"filename_prefix": "AnimateDiff",
|
||||
"format": "video/h264-mp4",
|
||||
"pix_fmt": "yuv420p",
|
||||
"crf": 19,
|
||||
"save_metadata": true,
|
||||
"pingpong": false,
|
||||
"save_output": true,
|
||||
"videopreview": {
|
||||
"hidden": false,
|
||||
"paused": false,
|
||||
"params": {
|
||||
"filename": "AnimateDiff_00585.mp4",
|
||||
"subfolder": "",
|
||||
"type": "output",
|
||||
"format": "video/h264-mp4",
|
||||
"frame_rate": 16
|
||||
},
|
||||
"muted": false
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"links": [
|
||||
[76, 105, 0, 109, 0, "INFERENCE_CONFIG"],
|
||||
[78, 109, 0, 110, 0, "COMBINED_CONFIG"],
|
||||
[79, 107, 0, 110, 1, "IMAGE"],
|
||||
[80, 109, 0, 111, 0, "*"],
|
||||
[81, 110, 0, 108, 0, "IMAGE"],
|
||||
[82, 112, 0, 109, 5, "LORA_CHAIN"]
|
||||
],
|
||||
"groups": [],
|
||||
"config": {},
|
||||
"extra": {
|
||||
"ds": {
|
||||
"scale": 0.7513148009015777,
|
||||
"offset": [-282.5313156431909, 675.8508927908888]
|
||||
},
|
||||
"frontendVersion": "1.19.9"
|
||||
},
|
||||
"version": 0.4
|
||||
}
|
||||
@@ -0,0 +1,313 @@
|
||||
{
|
||||
"id": "8e881096-4f7b-4633-b34b-6b9c0f8aa093",
|
||||
"revision": 0,
|
||||
"last_node_id": 112,
|
||||
"last_link_id": 82,
|
||||
"nodes": [
|
||||
{
|
||||
"id": 109,
|
||||
"type": "LightX2VConfigCombiner",
|
||||
"pos": [1531.4547119140625, -521.6442260742188],
|
||||
"size": [239.138671875, 126],
|
||||
"flags": {},
|
||||
"order": 3,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "inference_config",
|
||||
"type": "INFERENCE_CONFIG",
|
||||
"link": 76
|
||||
},
|
||||
{
|
||||
"name": "teacache_config",
|
||||
"shape": 7,
|
||||
"type": "TEACACHE_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "quantization_config",
|
||||
"shape": 7,
|
||||
"type": "QUANT_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "memory_config",
|
||||
"shape": 7,
|
||||
"type": "MEMORY_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "vae_config",
|
||||
"shape": 7,
|
||||
"type": "VAE_CONFIG",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "lora_chain",
|
||||
"shape": 7,
|
||||
"type": "LORA_CHAIN",
|
||||
"link": 82
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "combined_config",
|
||||
"type": "COMBINED_CONFIG",
|
||||
"links": [78, 80]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VConfigCombiner"
|
||||
},
|
||||
"widgets_values": []
|
||||
},
|
||||
{
|
||||
"id": 107,
|
||||
"type": "LoadImage",
|
||||
"pos": [1501.387939453125, 272.5443420410156],
|
||||
"size": [274.080078125, 314.0000305175781],
|
||||
"flags": {},
|
||||
"order": 0,
|
||||
"mode": 0,
|
||||
"inputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "IMAGE",
|
||||
"type": "IMAGE",
|
||||
"links": [79]
|
||||
},
|
||||
{
|
||||
"name": "MASK",
|
||||
"type": "MASK",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LoadImage"
|
||||
},
|
||||
"widgets_values": ["00.jpg", "image"]
|
||||
},
|
||||
{
|
||||
"id": 105,
|
||||
"type": "LightX2VInferenceConfig",
|
||||
"pos": [1073.62646484375, -580.9854125976562],
|
||||
"size": [270, 346],
|
||||
"flags": {},
|
||||
"order": 1,
|
||||
"mode": 0,
|
||||
"inputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "inference_config",
|
||||
"type": "INFERENCE_CONFIG",
|
||||
"links": [76]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VInferenceConfig"
|
||||
},
|
||||
"widgets_values": [
|
||||
"wan2.1",
|
||||
"Wan2.1-T2V-14B",
|
||||
"t2v",
|
||||
4,
|
||||
1822974886,
|
||||
"fixed",
|
||||
1,
|
||||
8,
|
||||
480,
|
||||
480,
|
||||
81,
|
||||
16,
|
||||
"999, 750, 500, 250"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 111,
|
||||
"type": "easy showAnything",
|
||||
"pos": [1839.9300537109375, -494.4144287109375],
|
||||
"size": [624.5454711914062, 358.7272644042969],
|
||||
"flags": {
|
||||
"collapsed": true
|
||||
},
|
||||
"order": 5,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "anything",
|
||||
"shape": 7,
|
||||
"type": "*",
|
||||
"link": 80
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "output",
|
||||
"type": "*",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "easy showAnything"
|
||||
},
|
||||
"widgets_values": [
|
||||
"{\"model_cls\": \"wan2.1\", \"model_path\": \"/mnt/aigc/users/lijiaqi2/ComfyUI/models/lightx2v/Wan2.1-T2V-14B\", \"task\": \"t2v\", \"mode\": \"infer\", \"infer_steps\": 4, \"seed\": 1822974886, \"sample_guide_scale\": 1.0, \"sample_shift\": 8, \"enable_cfg\": false, \"prompt\": \"\", \"negative_prompt\": \"\", \"target_height\": 480, \"target_width\": 480, \"target_video_length\": 81, \"fps\": 16, \"vae_stride\": [4, 8, 8], \"patch_size\": [1, 2, 2], \"feature_caching\": \"NoCaching\", \"teacache_thresh\": 0.26, \"coefficients\": null, \"use_ret_steps\": false, \"dit_quant_scheme\": \"bf16\", \"t5_quant_scheme\": \"bf16\", \"clip_quant_scheme\": \"fp16\", \"quant_op\": \"vllm\", \"precision_mode\": \"fp32\", \"dit_quantized_ckpt\": null, \"t5_quantized_ckpt\": null, \"clip_quantized_ckpt\": null, \"mm_config\": {\"mm_type\": \"Default\"}, \"rotary_chunk\": false, \"rotary_chunk_size\": 100, \"clean_cuda_cache\": false, \"torch_compile\": false, \"attention_type\": \"flash_attn3\", \"self_attn_1_type\": \"flash_attn3\", \"cross_attn_1_type\": \"flash_attn3\", \"cross_attn_2_type\": \"flash_attn3\", \"cpu_offload\": false, \"offload_granularity\": \"phase\", \"offload_ratio\": 1.0, \"t5_cpu_offload\": false, \"t5_offload_granularity\": \"model\", \"lazy_load\": false, \"unload_modules\": false, \"use_tiny_vae\": false, \"tiny_vae\": false, \"tiny_vae_path\": null, \"use_tiling_vae\": false, \"lora_path\": null, \"strength_model\": 1.0, \"do_mm_calib\": false, \"parallel_attn_type\": null, \"parallel_vae\": false, \"max_area\": false, \"use_prompt_enhancer\": false, \"text_len\": 512, \"denoising_step_list\": [999, 750, 500, 250], \"_class_name\": \"WanModel\", \"_diffusers_version\": \"0.30.0\", \"dim\": 5120, \"eps\": 1e-06, \"ffn_dim\": 13824, \"freq_dim\": 256, \"in_dim\": 16, \"model_type\": \"t2v\", \"num_heads\": 40, \"num_layers\": 40, \"out_dim\": 16, \"lora_configs\": [{\"path\": \"/mnt/aigc/users/lijiaqi2/ComfyUI/models/lightx2v/loras/Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.safetensors\", \"strength\": 1.0}]}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 110,
|
||||
"type": "LightX2VModularInference",
|
||||
"pos": [1496.8944091796875, -278.5135498046875],
|
||||
"size": [400, 200],
|
||||
"flags": {},
|
||||
"order": 4,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "combined_config",
|
||||
"type": "COMBINED_CONFIG",
|
||||
"link": 78
|
||||
},
|
||||
{
|
||||
"name": "image",
|
||||
"shape": 7,
|
||||
"type": "IMAGE",
|
||||
"link": 79
|
||||
},
|
||||
{
|
||||
"name": "audio",
|
||||
"shape": 7,
|
||||
"type": "AUDIO",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "images",
|
||||
"type": "IMAGE",
|
||||
"links": [81]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VModularInference"
|
||||
},
|
||||
"widgets_values": ["好奇的小兔子。 ", ""]
|
||||
},
|
||||
{
|
||||
"id": 108,
|
||||
"type": "VHS_VideoCombine",
|
||||
"pos": [1943.5921630859375, -272.15087890625],
|
||||
"size": [220.5830078125, 524.5830078125],
|
||||
"flags": {},
|
||||
"order": 6,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "images",
|
||||
"type": "IMAGE",
|
||||
"link": 81
|
||||
},
|
||||
{
|
||||
"name": "audio",
|
||||
"shape": 7,
|
||||
"type": "AUDIO",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "meta_batch",
|
||||
"shape": 7,
|
||||
"type": "VHS_BatchManager",
|
||||
"link": null
|
||||
},
|
||||
{
|
||||
"name": "vae",
|
||||
"shape": 7,
|
||||
"type": "VAE",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "Filenames",
|
||||
"type": "VHS_FILENAMES",
|
||||
"links": null
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "VHS_VideoCombine"
|
||||
},
|
||||
"widgets_values": {
|
||||
"frame_rate": 16,
|
||||
"loop_count": 0,
|
||||
"filename_prefix": "AnimateDiff",
|
||||
"format": "video/h264-mp4",
|
||||
"pix_fmt": "yuv420p",
|
||||
"crf": 19,
|
||||
"save_metadata": true,
|
||||
"pingpong": false,
|
||||
"save_output": true,
|
||||
"videopreview": {
|
||||
"hidden": false,
|
||||
"paused": false,
|
||||
"params": {
|
||||
"filename": "AnimateDiff_00585.mp4",
|
||||
"subfolder": "",
|
||||
"type": "output",
|
||||
"format": "video/h264-mp4",
|
||||
"frame_rate": 16
|
||||
},
|
||||
"muted": false
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 112,
|
||||
"type": "LightX2VLoRALoader",
|
||||
"pos": [1068.7301025390625, -174.75782775878906],
|
||||
"size": [270, 82],
|
||||
"flags": {},
|
||||
"order": 2,
|
||||
"mode": 0,
|
||||
"inputs": [
|
||||
{
|
||||
"name": "lora_chain",
|
||||
"shape": 7,
|
||||
"type": "LORA_CHAIN",
|
||||
"link": null
|
||||
}
|
||||
],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "lora_chain",
|
||||
"type": "LORA_CHAIN",
|
||||
"links": [82]
|
||||
}
|
||||
],
|
||||
"properties": {
|
||||
"Node name for S&R": "LightX2VLoRALoader"
|
||||
},
|
||||
"widgets_values": [
|
||||
"Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.safetensors",
|
||||
1
|
||||
]
|
||||
}
|
||||
],
|
||||
"links": [
|
||||
[76, 105, 0, 109, 0, "INFERENCE_CONFIG"],
|
||||
[78, 109, 0, 110, 0, "COMBINED_CONFIG"],
|
||||
[79, 107, 0, 110, 1, "IMAGE"],
|
||||
[80, 109, 0, 111, 0, "*"],
|
||||
[81, 110, 0, 108, 0, "IMAGE"],
|
||||
[82, 112, 0, 109, 5, "LORA_CHAIN"]
|
||||
],
|
||||
"groups": [],
|
||||
"config": {},
|
||||
"extra": {
|
||||
"ds": {
|
||||
"scale": 0.9090909090909091,
|
||||
"offset": [-335.01067565958357, 635.6502922171578]
|
||||
},
|
||||
"frontendVersion": "1.19.9"
|
||||
},
|
||||
"version": 0.4
|
||||
}
|
||||
@@ -377,6 +377,8 @@ class LightX2VModularInference:
|
||||
"model_path": getattr(config, "model_path", None),
|
||||
"dit_quantized": getattr(config, "dit_quantized", False),
|
||||
"t5_quantized": getattr(config, "t5_quantized", False),
|
||||
"clip_quantized": getattr(config, "clip_quantized", False),
|
||||
"lora_configs": getattr(config, "lora_configs", None),
|
||||
"lazy_load": getattr(config, "lazy_load", False),
|
||||
}
|
||||
|
||||
|
||||
Reference in New Issue
Block a user