Panduan Integrasi LoRA Video Hasil Fine-Tuning ke ComfyUI untuk Animasi Foto

Setelah berhasil melakukan fine-tuning model AI Image-to-Video di infrastruktur RunPod, Anda akan mendapatkan sebuah file adaptor berharga bernama lora_weights.safetensors. File ini menyimpan memori visual unik tentang bagaimana ekspresi wajah dan pose fisik dari video referensi Anda bekerja.

Langkah selanjutnya adalah menghidupkan model kustom tersebut ke dalam alur kerja visual. Platform terbaik untuk kebutuhan ini adalah ComfyUI, sebuah antarmuka berbasis node (*node-based GUI*) yang sangat fleksibel untuk Stable Diffusion dan Stable Video Diffusion (SVD). Artikel ini akan memandu Anda langkah demi langkah menyusun alur kerja (*workflow*) di ComfyUI agar foto statis Anda bisa bergerak mulus mengikuti detail ekspresi hasil latihan Anda.

Langkah 1: Menempatkan File LoRA ke Direktori ComfyUI

Sebelum membuka aplikasi, Anda harus meletakkan file bobot kustom safetensors yang diunduh dari RunPod ke folder instalasi ComfyUI yang tepat agar sistem dapat membacanya secara otomatis.

  1. Buka file manager di komputer Anda, lalu masuk ke direktori utama instalasi ComfyUI Anda.
  2. Navigasikan ke folder berikut: 
    ComfyUI/models/loras/
  3. Pindahkan atau salin file lora_weights.safetensors Anda ke dalam folder tersebut. Anda bisa mengubah namanya menjadi lebih spesifik, misalnya: my_custom_pose_video_lora.safetensors.
  4. Pastikan juga Anda sudah menaruh model dasar video resmi (seperti svd_xt.safetensors) di dalam folder: 
    ComfyUI/models/checkpoints/

Langkah 2: Membangun Arsitektur Node di ComfyUI

Buka terminal Anda, jalankan ComfyUI (python main.py), dan akses dasbornya melalui browser (biasanya di http://127.0.0.1:8188). Kita akan menyusun rangkaian node dari awal atau memodifikasi *workflow* SVD dasar Anda:

Nama Node Utama Fungsi & Jalur Koneksi Kabel (*Wiring*)
1. Load Checkpoint Pilih model dasar video Anda (misal: svd_xt.safetensors). Tarik kabel output MODEL dari node ini dan sambungkan ke input model pada node LoRA Loader.
2. Load LoRA Klik kanan di area kosong → pilih Add Node → loaders → Load LoRA. Pilih file my_custom_pose_video_lora.safetensors yang Anda masukkan di Langkah 1. Set nilai strength_model ke 1.0 (sesuaikan ke 0.7 - 0.9 jika gerakan terlalu patah). Hubungkan output MODEL dari node LoRA ini ke input model pada KSampler.
3. Load Image Unggah **Foto Target Statis** Anda (misalnya foto portrait wajah diam Anda). Hubungkan output IMAGE dari node ini ke node *VAE Encode* untuk diubah menjadi ruang laten visual.
4. KSampler (Video) Tempat AI memproses pergeseran piksel secara denoisasi. Hubungkan kabel *latent_image* dari VAE Encode ke sini. Set nilai *denoise* di kisaran 0.6 - 0.8 agar AI memiliki ruang untuk menggerakkan gambar diam Anda mengikuti data gerakan LoRA.
5. AnimateDiff / Video Combine Tarik output gambar akhir yang sudah didecode oleh VAE menuju node Video Combine. Set opsi format output ke video/h264-mp4 dengan frame rate 30 FPS.

Langkah 3: Mengeksekusi Generasi Video Hasil Kustomisasi

Setelah semua kabel dan arsitektur node terhubung secara logis, Anda siap memicu proses produksi video kustom Anda:

  1. Periksa kembali parameter pada node **KSampler**. Untuk generasi animasi berbasis video referensi kustom, penggunaan *sampler* euler_ancestral atau dpmpp_2m_sde dengan scheduler karras sering kali memberikan transisi gerakan antarpiksel yang paling mulus.
  2. Klik tombol Queue Prompt di panel kendali kanan ComfyUI.
  3. Sistem akan mulai memproses alur kerja secara bertahap. Anda bisa melihat kotak pembatas node akan menyala hijau satu per satu, menandakan proses komputasi lokal sedang aktif berjalan di GPU Anda.
  4. Setelah proses denoisasi di KSampler selesai, hasil animasi akan muncul di node **Video Combine**. Foto diam Anda sekarang telah berubah menjadi video dinamis yang berkedip, tersenyum, atau bergerak secara anatomis mengikuti ekspresi kustom yang Anda latih di RunPod sebelumnya.

Tips Troubleshooting Jika Hasil Video Terdistorsi

Jika video akhir Anda mengalami cacat visual seperti wajah yang meleleh (*artifacts*) atau gerakan terlalu ekstrem, lakukan optimasi parameter berikut:

  • Turunkan Kekuatan LoRA: Buka node Load LoRA dan turunkan parameter strength_model dari 1.0 menjadi 0.75 atau 0.60. Ini membantu AI menyeimbangkan antara struktur foto asli dengan fleksibilitas gerakan kustom.
  • Sesuaikan Motion Bucket Id: Jika Anda menggunakan Stable Video Diffusion, naikkan nilai motion_bucket_id (misal dari 127 ke 180) untuk memicu gerakan tubuh yang lebih dinamis, atau turunkan jika Anda hanya menginginkan perubahan ekspresi wajah mikro yang halus.