Local LLM
term_id: local_llm
Category: application_paradigms
Definition
Chạy Local LLM liên quan đến việc triển khai các mô hình trọng số mở trực tiếp trên phần cứng dành cho người dùng cuối như PC, Mac hoặc máy chủ cục bộ. Cách tiếp cận này loại bỏ sự phụ thuộc vào nhà cung cấp API bên thứ ba, đảm bảo…
Summary
Local LLM đề cập đến việc chạy các mô hình ngôn ngữ lớn trên phần cứng cá nhân thay vì dịch vụ đám mây, ưu tiên quyền riêng tư dữ liệu và khả năng truy cập ngoại tuyến.
Key Concepts
- Suy luận trên thiết bị
- Quyền riêng tư dữ liệu
- Lượng tử hóa
- Yêu cầu phần cứng
Use Cases
- Trợ lý ghi chú riêng tư
- Công cụ nghiên cứu ngoại tuyến
- Xử lý dữ liệu doanh nghiệp bảo mật