add group offloading
This commit is contained in:
@@ -16,6 +16,9 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-base"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --use_cfg_zero_star \
|
||||
# --use_zero_init \
|
||||
# --zero_steps 1 \
|
||||
@@ -15,6 +15,9 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-base"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --use_cfg_zero_star \
|
||||
# --use_zero_init \
|
||||
# --zero_steps 1 \
|
||||
@@ -16,6 +16,9 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-base"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --use_cfg_zero_star \
|
||||
# --use_zero_init \
|
||||
# --zero_steps 1 \
|
||||
@@ -18,4 +18,7 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-distilled"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --pyramid_num_inference_steps_list 1 1 1 \
|
||||
@@ -17,4 +17,7 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-distilled"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --pyramid_num_inference_steps_list 1 1 1 \
|
||||
@@ -18,4 +18,7 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-distilled"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --pyramid_num_inference_steps_list 1 1 1 \
|
||||
@@ -20,4 +20,7 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-mid"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --pyramid_num_inference_steps_list 17 17 17 \
|
||||
@@ -19,4 +19,7 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-mid"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --pyramid_num_inference_steps_list 17 17 17 \
|
||||
@@ -20,4 +20,7 @@ CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
|
||||
--output_folder "./output_helios/helios-mid"
|
||||
|
||||
|
||||
# --enable_low_vram_mode \
|
||||
# --group_offloading_type "leaf_level" \ # ["leaf_level", "block_level"]
|
||||
# --num_blocks_per_group
|
||||
# --pyramid_num_inference_steps_list 17 17 17 \
|
||||
Reference in New Issue
Block a user