ReLU
term_id: relu
Category: basic_concepts
Definition
ReLU широко используется в нейронных сетях глубокого обучения благодаря своей вычислительной эффективности и способности смягчать проблему затухания градиента. Математически определяется как f(x) = max(0, x), она вносит нелинейность в модель.
Summary
Rectified Linear Unit (Ректифицированная линейная единица) — функция активации, которая выводит входное значение напрямую, если оно положительно, и ноль в противном случае.
Key Concepts
- Нелинейность
- Функция активации
- Затухание градиента
- Кусочно-линейная функция
Use Cases
- Скрытые слои в сверточных нейронных сетях (CNN)
- Глубокие прямого распространения сети
- Модели распознавания изображений
Code Example
| |