•ใช้เวลาอ่าน 2 นาที•reviews
Workflow แก้ปัญหา Motion วุ้น สำหรับ Video ที่เจนด้วยโมเดล Minimax H3
หลังจากที่ไปบรรยายงาน ComfyUI มาตั้งแต่ 12 กันยายน ที่ผ่านมา ผมก็ได้หยิบหัวข้อนึงที่ Minimax H3 มักจะเจอปัญหามาก ๆ เช่น
- ใช้ LoRA Turbo 4 steps, 8 steps แล้วเจนออกมาวุ้นมาก ๆ แบบ การเคลื่อนไหวเบลอ ๆ วุ้น ๆ แตก ๆ ดูไม่ออกเลยว่าเป็นอะไร
- พอไปลาก steps ยาว ๆ ก็ติดที่ใช้เวลานานอีก แล้วบางทีก็คือเจนออกมาเสียอีก ก็เจอได้เหมือนกัน
การแก้วุ้น หรือเรียกว่า Derope ช่วยอะไรได้บ้าง
- ทำให้ส่วนที่วุ้นนั้นหายไปเยอะมาก ๆ
- เพิ่ม detail ให้ตรงกับ reference มากขึ้น
หลักการทำงานของ Workflow Derope
- เมื่อได้ video ที่เจนจากช่วงแรกมาแล้ว มี AI มาวิเคราะว่า การเคลื่อนไหวส่วนไหน "มาก" หรือ "น้อย"
- เอาส่วนที่ การเคลื่อนไหวมากนั้นมาจับยืดออกมาให้เหมือน slow motion
- เอาไป process แบบ Video 2 Video ด้วยค่า denoise ที่ตั้งไว้ได้ เหมือนยุค IMG 2 IMG ด้วย Prompt เดียวกันกับเจนแรก
- เอาที่ยืดมาหดกลับให้จำนวน frame เท่าเดิม และทำการ save video
ข้อจำกัดที่เจอ / สิ่งที่ต้องแลก
- ใช้ VRAM มากขึ้น และเจนนานขึ้น เพราะว่าการยืด video = เพิ่มความยาวของ video ที่เอามาแก้วุ้น
- ภาพที่เคลื่อนไหวน้อย ๆ จะเห็นเหมือนคลิปกรอเร็ว
- การเคลื่อนไหวอาจจะเพี้ยนได้ในบางครั้ง
Video ที่ควรเอามา Derope
- ฉาก Action ต่าง ๆ ที่มีการเคลื่อนไหวมาก ๆ เช่น ฉากต่อสู้ ฉากวิ่ง เป็นต้น
- ภาพ background เคลื่อนไหวเยอะ ๆ
Workflow ที่แจกโพสต์นี้มีอะไรบ้าง
เป็น workflow เดียวที่จริง ๆ แยกเป็น 2 ส่วนได้คือ
- ส่วนเจน video ปกติ (W) โดยในที่นี้ใช้เป็น Ref2VA เป็นหลักเพราะว่านิยมกันมากกว่า
- ส่วนแก้วุ้น (Derope)
ภาพเปรียบเทียบ
Video ตัวอย่าง
Link ตัว Workflow
กด save รูปแล้วลากไปที่ ComfyUI ได้เลย
หรือกดลิ้งนี้ Workflow แก้วุ้น แล้วทำการ download
โมเดลที่ใช้เจน
- diffusion model : https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/diffusion_models/minimax_h3_ref2va_pruned_int8_convrot.safetensors
- text encoder : https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/text_encoders/qwen3vl_32b_minimax_h3_int8_convrot.safetensors
- video vae : https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/vae/minimax_h3_video_vae_fp16.safetensors
- audio vae : https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/vae/minimax_h3_audio_vae_fp32.safetensors
- lora : https://huggingface.co/silveroxides/MiniMax-H3_tests/resolve/main/experimental/minimax_h3_fl2v_lightx2v_turbo_4to8step_v0.1-v1.0_768p_v4_step600_dareties.safetensors (จะมีขึ้น error แต่ใช้งานได้ปกติ)
Custom Nodes ที่ใช้เป็นหลัก
Cloud GPU ที่ใช้ (Runpod, VastAI)
คู่มือการใช้งาน
ComfyUI Runpod Template URL
ComfyUI VastAI Template URL
เขียนโดยvjumpkung