Campuran Pakar
term_id: moe
Category: basic_concepts
Definition
Campuran Pakar (MoE) adalah arsitektur pembelajaran mesin yang dirancang untuk meningkatkan efisiensi dan skalabilitas. Alih-alih menggunakan satu model besar untuk semua tugas, MoE menggunakan beberapa ‘pakar’ kecil yang lebih spesifik n
Summary
Pola arsitektur di mana beberapa jaringan saraf khusus (pakar) digabungkan melalui mekanisme gerbang untuk memproses input.
Key Concepts
- Aktivasi Jarang
- Jaringan Gerbang
- Spesialisasi Pakar
- Skalabilitas
Use Cases
- Melatih model bahasa besar secara efisien
- Mengurangi latensi inferensi untuk model berukuran masif
- Menangani berbagai jenis input dalam sistem multimodal