LLM Lokal
term_id: local_llm
Category: application_paradigms
Definition
Menjalankan LLM Lokal melibatkan penyebaran model berbobot terbuka secara langsung pada perangkat keras konsumen seperti PC, Mac, atau server lokal. Pendekatan ini menghilangkan ketergantungan pada penyedia API pihak ketiga, memastikan privasi data.
Summary
LLM Lokal merujuk pada menjalankan model bahasa besar pada perangkat keras pribadi daripada layanan cloud, dengan mengutamakan privasi data dan aksesibilitas offline.
Key Concepts
- Inferensi perangkat
- Privasi data
- Kuantisasi
- Persyaratan perangkat keras
Use Cases
- Asisten pencatatan catatan pribadi
- Alat riset offline
- Pemrosesan data perusahaan yang aman