Giả thuyết vé số
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Giả thuyết Vé số (Lottery Ticket Hypothesis) gợi ý rằng bên trong một mạng nơ-ron lớn được khởi tạo ngẫu nhiên, tồn tại một mạng con thưa thớt (gọi là ‘vé trúng thưởng’) có trạng thái khởi tạo tối ưu cho việc huấn luyện. Bằng cách cắt tỉa (pruning) các trọng số không cần thiết và chỉ giữ lại mạng con này, ta có thể đạt được hiệu suất cao với ít tham số hơn, giúp nén mô hình mà không làm giảm đáng kể độ chính xác.
Summary
Lý thuyết cho rằng các mạng nơ-ron dày đặc chứa các mạng con nhỏ hơn, khi được huấn luyện độc lập từ trạng thái khởi tạo ban đầu, có thể đạt độ chính xác tương đương với mạng gốc.
Key Concepts
- Cắt tỉa trọng số
- Mạng thưa thớt
- Nén mô hình
- Nhạy cảm với khởi tạo
Use Cases
- Triển khai các mô hình nhẹ trên thiết bị biên
- Giảm chi phí tính toán trong quá trình huấn luyện
- Tăng tốc độ suy luận (inference)