ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU banyak digunakan dalam jaringan saraf pembelajaran mendalam karena efisiensi komputasinya dan kemampuannya mengurangi masalah gradien yang menghilang (vanishing gradient). Secara matematis didefinisikan sebagai f(x) = max(0, x), fungsi ini introduc

Summary

Rectified Linear Unit adalah fungsi aktivasi yang mengeluarkan input secara langsung jika bernilai positif, dan nol jika tidak.

Key Concepts

  • Non-linearitas
  • Fungsi Aktivasi
  • Gradien Menghilang (Vanishing Gradient)
  • Linear Potong-Potong (Piecewise Linear)

Use Cases

  • Lapisan tersembunyi pada CNN
  • Jaringan Feedforward Dalam
  • Model Pengenalan Gambar

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related