ドロップアウト

term_id: dropout

Category: basic_concepts

Definition

ニューラルネットワークにおいて、ドロップアウトは各トレーニングステップ中にランダムなサブセットのニューロンを一時的に削除することで過学習を防ぎます。これにより、ネットワークは結合して有用な堅牢な特徴を学習することを強制されます。

Summary

ドロップアウトは、過学習を防ぐためにトレーニング中にランダムにニューロンを無視する正則化手法です。

Key Concepts

  • 正則化
  • 過学習防止
  • ニューラルネットワーク
  • ランダム抑制

Use Cases

  • ディープ順伝播型ニューラルネットワークのトレーニング
  • 大規模言語モデルにおける汎化性能の向上
  • 特定のニューロン経路への計算依存性の低減

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)

Related