Fungsi Aktivasi

term_id: activation_function

Category: basic_concepts

Definition

Fungsi aktivasi memperkenalkan non-linearitas ke dalam jaringan saraf, memungkinkan jaringan tersebut mempelajari pola dan hubungan kompleks dalam data. Tanpa fungsi ini, jaringan berlapis akan berperilaku…

Summary

Persamaan matematika yang menentukan output dari sebuah node jaringan saraf berdasarkan sinyal inputnya.

Key Concepts

  • Non-linearitas
  • Penurunan Gradien
  • Aktivasi Neuron
  • Backpropagation (Propagasi Balik)

Use Cases

  • Memungkinkan jaringan saraf dalam mengklasifikasikan gambar
  • Memfasilitasi tugas pemrosesan bahasa alami
  • Meningkatkan kecepatan konvergensi saat melatih model generatif

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related