本地 LLM

term_id: local_llm

Category: application_paradigms

Definition

运行本地 LLM 涉及直接在消费级硬件（如 PC、Mac 或本地服务器）上部署开放权重模型。这种方法消除了对第三方 API 提供商的依赖，确

Summary

本地 LLM 指的是在个人硬件上运行大型语言模型而非云服务，优先考虑数据隐私和离线可访问性。

Key Concepts

  • 端侧推理
  • 数据隐私
  • 量化
  • 硬件要求

Use Cases

  • 私人笔记助手
  • 离线研究工具
  • 安全的企业数据处理

Related