Local Llm
term_id: local_llm
Category: application_paradigms
Definition
로컬 LLM 실행은 PC, 맥, 로컬 서버 등 소비자용 하드웨어에 오픈 웨이트 모델을 직접 배포하는 것을 의미합니다. 이 방식은 제3자 API 제공업체에 대한 의존성을 제거하여 데이터 프라이버시를 보장하고 오프라인 환경에서도 모델을 사용할 수 있게 합니다.
Summary
로컬 LLM은 클라우드 서비스 대신 개인 하드웨어에서 대형 언어 모델을 실행하는 것으로, 데이터 프라이버시와 오프라인 접근성을 우선시합니다.
Key Concepts
- 온디바이스 추론
- 데이터 프라이버시
- 양자화
- 하드웨어 요구사항
Use Cases
- 개인 메모장 비서
- 오프라인 연구 도구
- 보안 기업 데이터 처리