Unsloth

term_id: unsloth

Category: basic_concepts

Definition

Unsloth là một công cụ chuyên dụng được thiết kế để tối ưu hóa việc tinh chỉnh (fine-tuning) và triển khai các Mô hình Ngôn ngữ Lớn (LLM). Nó đạt được những bước nhảy vọt về tốc độ và giảm đáng kể lượng bộ nhớ bằng cách thay thế các hàm chuẩn của PyTorch…

Summary

Unsloth là một thư viện mã nguồn mở giúp tăng tốc quá trình huấn luyện và suy luận của các Mô hình Ngôn ngữ Lớn (LLM) lên tới 2 lần thông qua việc tối ưu hóa quản lý bộ nhớ và triển khai các kernel tùy chỉnh.

Key Concepts

  • Tối ưu hóa Bộ nhớ
  • Kernel Tùy chỉnh
  • Tinh chỉnh LLM
  • Tăng tốc Tốc độ

Use Cases

  • Tinh chỉnh LLM trên các nguồn lực GPU hạn chế
  • Tăng tốc các quy trình suy luận
  • Giảm chi phí điện toán đám mây cho việc huấn luyện

Code Example

1
2
3
4
5
6
7

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Llama-2-7b-bnb-4bit",
    max_seq_length=2048,
    dtype=None,
    load_in_4bit=True
)

Related