Local LLM
term_id: local_llm
Category: application_paradigms
Definition
At køre en Local LLM indebærer at distribuere modeller med åbne vægte direkte på forbrugerhardware såsom pc’er, Mac’er eller lokale servere. Denne tilgang eliminerer afhængigheden af tredjeparts-API-udbydere og sikrer fuld kontrol over data.
Summary
En Local LLM refererer til kørsel af store sprogmodeller på personligt hardware i stedet for for cloudtjenester, hvor fokus er på dataprivatliv og offline-adgang.
Key Concepts
- Inference på enheden
- Dataprivatliv
- Kvantisering
- Hardwarekrav
Use Cases
- Assistenter til privat notetagning
- Offline forskningsværktøjer
- Sikker databehandling i virksomheder