Ringkasan cerita
- NVIDIA memaparkan encode-prefill-decode disaggregation untuk memisahkan encoder visi dari tahap prefill dan decode pada inferensi multimodal.
- Artikel teknisnya melaporkan hingga 5 kali lebih cepat untuk time to first token dan hingga 7 kali untuk respons end-to-end pada kondisi uji tertentu.
- Manfaat bergantung pada beban media, panjang keluaran, ukuran model, presisi, dan pola trafik.
NVIDIA memaparkan pola encode-prefill-decode (EPD) untuk layanan multimodal: encoder visi, prefill, dan decode dijalankan sebagai tahap yang dapat diskalakan secara lebih terpisah.[4] Implementasinya dibahas pada framework open-source Dynamo.
Dalam kondisi uji yang dijelaskan NVIDIA, EPD mencapai hingga lima kali percepatan time to first token dan hingga tujuh kali percepatan respons end-to-end untuk jenis beban tertentu.[4] Angka tersebut adalah hasil eksperimen dengan batasan workload, bukan janji performa untuk semua model atau deployment.
NVIDIA menyebut tiga pilihan penempatan: seluruh tahap digabung, encoder ditempatkan bersama worker lain, atau encoder dipisahkan ke tier GPU berbeda.[4] Pilihan terbaik bergantung pada proporsi gambar, panjang output, ukuran model, presisi, dan trafik; tim produksi perlu mengulang benchmark pada konfigurasi mereka sendiri.
Yang sudah terverifikasi
- NVIDIA menjelaskan implementasi EPD pada framework open-source Dynamo.
- Tulisan membedakan topologi agregat, encoder colocated, dan encoder terdisagregasi pada tier GPU terpisah.
- Angka peningkatan latensi dinyatakan sebagai hasil kondisi eksperimen yang dijelaskan NVIDIA, bukan jaminan umum.
Yang masih belum jelas
- Benchmark independen dan hasil pada model atau infrastruktur di luar konfigurasi artikel belum tersedia dalam sumber yang diperiksa.
- Keuntungan dapat menyusut ketika decode mendominasi latensi atau model dense besar mengubah proporsi beban encoder.
Percakapan dan penyebaran
Tulisan muncul di feed resmi NVIDIA dan relevan bagi komunitas serving LLM, multimodal AI, dan GPU; perhatian komunitas diperlakukan sebagai sinyal, sedangkan angka performa ditahan sebagai klaim eksperimen NVIDIA.