Adam

term_id: adam

Category: basic_concepts

Definition

Adam (Adaptive Moment Estimation - Ước lượng Moment Thích ứng) là một thuật toán tối ưu hóa bậc nhất dựa trên gradient phổ biến, được sử dụng trong việc huấn luyện các mạng nơ-ron sâu. Nó kết hợp những lợi thế của hai phần mở rộng khác của phương pháp ngẫu nhiên

Summary

Một thuật toán tối ưu hóa tính toán tốc độ học thích ứng cho từng tham số.

Key Concepts

  • Hạ gradient
  • Tốc độ học
  • Động lượng
  • Ước lượng phương sai

Use Cases

  • Huấn luyện Deep Learning
  • Mô hình Thị giác máy tính
  • Xử lý ngôn ngữ tự nhiên

Code Example

1
2

import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)

Related