Lokální LLM
term_id: local_llm
Category: application_paradigms
Definition
Spuštění lokálního LLM zahrnuje nasazení modelů s otevřenými váhami přímo na spotřebitelský hardware, jako jsou PC, Mac nebo místní servery. Tento přístup eliminuje závislost na poskytovatelích třetích stran prostřednictvím API a zajišťuje…
Summary
Lokální LLM označuje spuštění velkých jazykových modelů na vlastním hardwaru místo cloudových služeb, přičemž je kladen důraz na ochranu datového soukromí a dostupnost bez připojení k internetu.
Key Concepts
- Inference na zařízení (On-device inference)
- Ochrana datového soukromí
- Kvantizace
- Požadavky na hardware
Use Cases
- Soukromí asistenti pro poznámky
- Nástroje pro výzkum bez připojení k síti
- Bezpečné zpracování podnikových dat