LoRA

term_id: lora

Category: training_techniques

Definition

LoRA đóng băng các trọng số đã được huấn luyện trước và chèn các ma trận phân rã có thể huấn luyện vào mỗi lớp của kiến trúc Transformer. Bằng cách chỉ tối ưu hóa các ma trận rank thấp này, LoRA giảm đáng kể

Summary

Điều chỉnh Rank Thấp là một phương pháp tinh chỉnh hiệu quả về tham số, chèn các ma trận phân rã rank có thể huấn luyện vào các trọng số mô hình hiện có.

Key Concepts

  • Tinh chỉnh hiệu quả tham số
  • Phân rã Rank
  • Đóng băng trọng số
  • Mô-đun Adapter

Use Cases

  • Tùy chỉnh LLM
  • Thích ứng theo lĩnh vực cụ thể
  • Huấn luyện trong điều kiện hạn chế tài nguyên

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related