ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU được sử dụng rộng rãi trong các mạng nơ-ron học sâu do hiệu quả tính toán cao và khả năng giảm thiểu vấn đề suy giảm gradient. Được định nghĩa toán học là f(x) = max(0, x), nó đưa tính phi tuyến vào mạng mà không làm tăng đáng kể chi phí tính toán.

Summary

Hàm đơn vị tuyến tính được chỉnh lưu (ReLU) là một hàm kích hoạt, trả về đầu vào nếu dương, ngược lại trả về 0.

Key Concepts

  • Tính phi tuyến
  • Hàm kích hoạt
  • Suy giảm gradient
  • Tuyến tính từng khúc

Use Cases

  • Các lớp ẩn trong CNN
  • Mạng truyền thẳng sâu
  • Mô hình nhận dạng hình ảnh

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related