Điều chỉnh tinh chỉnh có giám sát

Definition

Điều chỉnh tinh chỉnh có giám sát (SFT) liên quan đến việc lấy một mô hình lớn đã được huấn luyện trước, chẳng hạn như mô hình ngôn ngữ, và tiếp tục huấn luyện nó trên một tập dữ liệu nhỏ hơn, chất lượng cao đã được gắn nhãn cho một tác vụ cụ thể.

Summary

Quy trình huấn luyện thêm một mô hình đã được huấn luyện trước trên một tập dữ liệu cụ thể để thích nghi với một tác vụ hoặc lĩnh vực nhất định.

Key Concepts

• Mô hình đã huấn luyện trước
• Học chuyển giao
• Điều chỉnh theo hướng dẫn
• Thích nghi miền

Use Cases

• Phát triển chatbot tùy chỉnh
• Hệ thống hỏi đáp y tế chuyên biệt
• Trợ lý sinh mã code

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related Terms

• Pre-training (Huấn luyện trước)
• Reinforcement Learning from Human Feedback (Học tăng cường từ phản hồi của con người)
• Prompt Engineering (Kỹ thuật thiết kế lời nhắc)
• LLM (Mô hình ngôn ngữ lớn)