ok

fastvideo/dataset/latent_datasets.py

@@ -10,7 +10,7 @@ class LatentDataset(Dataset):
         json_path, 
         num_latent_t, 
         cfg_rate,
-        c="data/Encoder_Overfit_Data/uncond_prompt_embed_mask",
+        uncond_prompt_embed_mask_dir="data/Encoder_Overfit_Data/uncond_prompt_embed_mask",
         ):
         # data_merge_path: video_dir, latent_dir, prompt_embed_dir, json_path
         self.json_path = json_path

t2v_debug_multi.sh

@@ -11,7 +11,7 @@ torchrun --nnodes 4 --nproc_per_node 4\
     --seed 42\
     --pretrained_model_name_or_path data/mochi\
     --cache_dir "data/.cache"\
-    --data_json_path "data/Merge-30k-Data/video2caption.json"\
+    --data_json_path "data/General-Video/videos2caption.json"\
     --validation_prompt_dir "data/validation_embeddings/validation_prompt_embed_mask"\
     --uncond_prompt_dir "data/validation_embeddings/uncond_prompt_embed_mask"\
     --gradient_checkpointing\
@@ -25,7 +25,7 @@ torchrun --nnodes 4 --nproc_per_node 4\
     --learning_rate=1e-6\
     --mixed_precision="bf16"\
     --checkpointing_steps=500\
-    --validation_steps 250\
+    --validation_steps 125\
     --validation_sampling_steps 8 \
     --checkpoints_total_limit 3\
     --allow_tf32\
@@ -33,7 +33,7 @@ torchrun --nnodes 4 --nproc_per_node 4\
     --cfg 0.0\
     --ema_decay 0.999\
     --log_validation\
-    --output_dir="data/outputs/shift8_euler_50"\
+    --output_dir="data/outputs/shift8_euler_50_olddata"\
     --tracker_project_name PCM \
     --num_frames  163 \
     --shift 8.0 \