Huấn luyện trước

Definition

Huấn luyện trước là một kỹ thuật nền tảng trong học sâu, nơi mô hình học các đặc điểm và mẫu rộng rãi từ khối lượng dữ liệu khổng lồ, thường là không có nhãn. Quá trình này cho phép mô hình phát triển…

Summary

Giai đoạn đầu tiên của việc huấn luyện một mô hình học máy trên một tập dữ liệu lớn chưa được gán nhãn để học các biểu diễn tổng quát trước khi tinh chỉnh cho các nhiệm vụ cụ thể.

Key Concepts

• Học chuyển đổi
• Trích xuất đặc trưng
• Dữ liệu quy mô lớn
• Tinh chỉnh

Use Cases

• Huấn luyện các mô hình ngôn ngữ BERT hoặc GPT
• Khởi tạo CNN với trọng số ImageNet
• Xây dựng các mô hình nền tảng cho AI đa phương tiện

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related Terms

• Fine-tuning (Tinh chỉnh)
• Foundation Model (Mô hình nền tảng)
• Unsupervised Learning (Học không giám sát)
• Transfer Learning (Học chuyển đổi)