Hàm kích hoạt

term_id: activation_function

Category: basic_concepts

Definition

Hàm kích hoạt đưa tính phi tuyến vào mạng nơ-ron, cho phép nó học các mẫu và mối quan hệ phức tạp trong dữ liệu. Nếu không có các hàm này, một mạng nhiều lớp sẽ hoạt động…

Summary

Một phương trình toán học xác định đầu ra của một nút trong mạng nơ-ron dựa trên tín hiệu đầu vào của nó.

Key Concepts

  • Tính phi tuyến
  • Hạ gradient
  • Kích hoạt nơ-ron
  • Lan truyền ngược

Use Cases

  • Cho phép mạng nơ-ron sâu phân loại hình ảnh
  • Hỗ trợ các tác vụ xử lý ngôn ngữ tự nhiên
  • Cải thiện tốc độ hội tụ khi huấn luyện các mô hình sinh

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related