Điều chỉnh Prompt
term_id: prompt_tuning
Category: training_techniques
Definition
Điều chỉnh prompt liên quan đến việc thêm các prompt mềm có thể huấn luyện (các vector liên tục) vào lớp đầu vào của mô hình ngôn ngữ đã được huấn luyện trước, trong khi giữ nguyên các tham số nền tảng của mô hình. Cách tiếp cận này cho phép
Summary
Một phương pháp tinh chỉnh hiệu quả về tham số, tối ưu hóa các embedding đầu vào liên tục thay vì cập nhật toàn bộ trọng số mô hình.
Key Concepts
- prompt mềm
- hiệu quả tham số
- trọng số cố định
- học few-shot
Use Cases
- Thích ứng LLM cho các lĩnh vực cụ thể
- Tinh chỉnh với nguồn lực thấp
- Tối ưu hóa học đa nhiệm