Điều chỉnh tiền tố
term_id: prefix_tuning
Category: training_techniques
Definition
Điều chỉnh tiền tố là một kỹ thuật thích ứng hiệu quả về tham số cho các mô hình biến đổi đã được tiền huấn luyện. Thay vì cập nhật tất cả các trọng số của mô hình, phương pháp này thêm một chuỗi các vectơ liên tục có thể huấn luyện (tiền tố) vào phía trước đầu vào của mỗi lớp biến đổi. Điều này cho phép mô hình thích nghi với các nhiệm vụ cụ thể mà chỉ cần cập nhật một lượng nhỏ tham số.
Summary
Một phương pháp tinh chỉnh hiệu quả về tham số, thêm các vectơ liên tục có thể huấn luyện vào đầu vào của các lớp biến đổi.
Key Concepts
- Điều chỉnh hiệu quả tham số
- Lời nhắc mềm
- Các lớp biến đổi
- Khung xương đóng băng
Use Cases
- Thích ứng học ít mẫu
- Học đa nhiệm với nguồn lực hạn chế
- Tùy chỉnh các mô hình ngôn ngữ lớn cho các lĩnh vực chuyên biệt