ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU:ta käytetään laajasti syväoppimisessa olevissa tekoälyverkoissa sen laskennallisen tehokkuuden ja kyvyn ansiosta lieventää kuivan gradientin ongelmaa. Matemaattisesti määriteltynä f(x) = max(0, x), se tuo verkkoihin ei-lineaarisuutta.

Summary

Rectified Linear Unit (ReLU) on aktivointifunktio, joka palauttaa syötteen suoraan, jos se on positiivinen, muuten nollan.

Key Concepts

  • Ei-lineaarisuus
  • Aktivointifunktio
  • Kuiva gradientti (Vanishing Gradient)
  • Osittain lineaarinen

Use Cases

  • Piilotasot konvoluutioverkoissa (CNN)
  • Syvät syöttöetenevät verkot
  • Kuvantunnistusmallit

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related