Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking đề cập đến một hành vi trái ngược với trực giác quan sát thấy trong học sâu, nơi một mô hình tiếp tục bị quá khớp (overfit) trên dữ liệu huấn luyện trong một thời gian dài, cho thấy khả năng tổng quát hóa kém, trước khi đột ngột đạt được độ chính xác cao trên cả dữ liệu huấn luyện và kiểm tra. Hiện tượng này thường xảy ra khi huấn luyện lâu hơn mức cần thiết để chỉ ghi nhớ dữ liệu.
Summary
Hiện tượng mà các mạng nơ-ron đột ngột tổng quát hóa tốt sau quá trình huấn luyện kéo dài trên tập dữ liệu nhỏ, vượt xa điểm mà mô hình chỉ đơn thuần ghi nhớ.
Key Concepts
- Tổng quát hóa chậm trễ
- Quá khớp
- Tập dữ liệu nhỏ
- Động lực học tối ưu hóa
Use Cases
- Nghiên cứu giới hạn tổng quát hóa của mô hình
- Phân tích động lực học huấn luyện
- Hiểu rõ sự khác biệt giữa ghi nhớ và học hỏi