ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU, hesaplama verimliliği ve kaybolan gradyan sorununu hafifletme yeteneği nedeniyle derin öğrenme sinir ağlarında yaygın olarak kullanılır. Matematiksel olarak f(x) = max(0, x) şeklinde tanımlanır ve doğrusal olmayanlık özelliği getirir.

Summary

Düzeltmeli Doğrusal Birim (Rectified Linear Unit), pozitifse girdiyi doğrudan çıktı olarak veren, aksi takdirde sıfır döndüren bir aktivasyon fonksiyonudur.

Key Concepts

  • Doğrusal Olmayanlık
  • Aktivasyon Fonksiyonu
  • Kaybolan Gradyan
  • Parçalı Doğrusal

Use Cases

  • Evrişimli Sinir Ağları’ndaki (CNN) gizli katmanlar
  • Derin Beslemeli Ağlar
  • Görüntü Tanıma Modelleri

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related