P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) là một kỹ thuật được thiết kế để thích ứng các mô hình ngôn ngữ lớn đã huấn luyện trước với các tác vụ cụ thể với chi phí tính toán tối thiểu. Thay vì tinh chỉnh tất cả các tham số của mô hình, kỹ thuật này chỉ…
Summary
P-Tuning là một phương pháp tinh chỉnh hiệu quả về tham số, tối ưu hóa các embedding của lời nhắc liên tục thay vì cập nhật toàn bộ trọng số của mô hình đã huấn luyện trước.
Key Concepts
- Tinh chỉnh hiệu quả về tham số (Parameter-Efficient Fine-Tuning)
- Token ảo (Virtual Tokens)
- Trọng số đóng băng (Frozen Weights)
- Tối ưu hóa Embedding (Embedding Optimization)
Use Cases
- Thích ứng học ít ví dụ (Few-shot learning)
- Môi trường hạn chế tài nguyên
- Xây dựng nguyên mẫu nhanh cho ứng dụng LLM