行動選択におけるウィナーテイクオール
Definition
ウィナーテイクオール（WTA）は、ニューラルネットワークや強化学習において、複数の競合する行動や仮説間の衝突を解決するために使用される競争プロセスです。この方式では、最も強い信号 …
Neural Networks
Terms tagged with Neural Networks
シグモイド関数
Definition
シグモイド関数（σ(z) = 1 / (1 + e^-z)）は、機械学習で確率をモデル化するために広く使用されています。入力値を(0, 1)の範囲に圧縮するため、二値分類の出力層 …
パリティ学習
Definition
パリティ学習は、機械学習理論におけるベンチマーク問題で、一連のバイナリ入力変数のパリティ（XOR合計）を予測することが目標です。標準的なフィードフォワードニューラルネットワークで …
ニューラル計算
Definition
ニューラル計算とは、入力を出力応答に変換するために人工ニューロンが行う数学的演算を指します。これには重み付き和、活性化関数、および逆伝播（バックプロパゲーション）が含まれます。 …
レイヤー正規化
Definition
レイヤー正規化は内部共変量シフトを軽減することでトレーニングを安定させ、特にリカレントネットワークやトランスフォーマーアーキテクチャで効果的です。バッチ統計に依存するバッチ正規化 …
ハイウェイネットワーク
Definition
ハイウェイネットワークは、適応型ゲートを組み込むことで深層学習における勾配消失問題に対処するために設計されました。LSTMセルと同様に、これらのゲートはネットワークへの情報伝達を …
隠れ層
Definition
隠れ層は、前の層から入力を受け取り、重みとバイアスを適用して、活性化関数を通じて変換されたデータを次の層へ渡すニューロンで構成されています。これらの層により、ニューラルネットワー …
ゲート付き再帰型ユニット（GRU）
Definition
ゲート付き再帰型ユニット（GRU）は、系列データにおける長期依存関係を捉えるように設計された特殊な再帰型ニューラルネットワーク（RNN）セルです。長短期記憶（LSTM）アーキテク …
フィードフォワードネットワーク
Definition
マルチレイヤーパーセプトロン（MLP）とも呼ばれるフィードフォワードネットワーク（FFN）は、フィードバックループなしに入力から出力に向かって層状のニューロンを順次通過してデータ …
エポック
Definition
機械学習において、エポックは訓練データセット全体に対する単一の反復（イテレーション）を表します。各エポックの間、モデルはすべての訓練例を処理し、逆伝播を通じて重みを更新します。適 …
密結合層
Definition
ニューラルネットワークにおいて、「密結合（Dense）」とは、各ニューロンが前のレイヤーのすべてのニューロンから入力を受ける全結合層を指します。これは、畳み込み層やスパース接続に …
継続的学習
Definition
継続的学習（生涯学習とも呼ばれる）は、ニューラルネットワークが以前に習得した能力を保持しながら、時間とともに新しいスキルや情報を習得できるようにするものです。これは「壊滅的忘却」 …
バッチ正規化
Definition
この手法は、トレーニング中の各ミニバッチ内で活性化値の平均を0、分散を1に調整・スケーリングします。内部共変量シフトを軽減し、より高い学習率の使用や高速な収束を可能にします。 …
アクター・クリティックアルゴリズム
Definition
アクター・クリティックアルゴリズムは、アクションを選択するためのポリシーを更新する「アクター」と、価値関数を推定してそれらのアクションの品質を評価する「クリティック」の2つのコン …
神経活動に内在するアイデアの論理計算
Definition
この基礎的な論文は、ニューラルネットワークの数学的モデルを提案し、単純な人工ニューロンがブール論理ゲートを実装できることを示しました。これらのユニットのネットワー …
ソフトマックス
Definition
ソフトマックスは、多クラス分類タスクにおけるニューラルネットワークの出力層で広く使用されています。これは生のロジット（logits）ベクトルを入力として受け取り、正規化を行うこと …
ReLU
Definition
ReLUは、計算効率が高く、勾配消失問題を緩和できるため、ディープラーニングニューラルネットワークで広く使用されています。数学的には f(x) = max(0, x) と定義さ …
再帰型ニューラルネットワーク
Definition
RNNは、テキスト、ゲノム、手書き文字、音声などのデータシーケンス内のパターン認識を目的としています。順伝播ネットワークとは異なり、過去の情報を捉える内部メモリを持っており、時系 …
デコーダー
Definition
シーケンスツーシーケンスモデルにおいて、デコーダーはエンコーダーによって生成されたコンテキストベクトルを受け取り、ターゲット出力を段階的に生成します。関連する部分に焦点を当てるた …
活性化関数
Definition
活性化関数はニューラルネットワークに非線形性をもたらし、複雑なパターンやデータ内の関係を学習可能にします。これらの関数がなければ、多層ネットワークは単なる線形変換として振る舞うこ …
線形
Definition
線形操作には、非線形活性化関数を伴わない乗算と加算が含まれます。ニューラルネットワークでは、線形レイヤー（または密結合層）が入力ベクトルに重み行列変換を適用します。線形操作のみで …
畳み込みニューラルネットワーク
Definition
畳み込みニューラルネットワーク（CNN）は、視覚入力から空間的な特徴の階層を自動的に適応的に学習するように設計されています。これらは、特徴を検出するためにフィルタを適用する畳み込 …
深層学習
Definition
深層学習アルゴリズムは、人間の脳の分析的かつ学習的なプロセスを模倣しようとします。相互接続されたノードの複数の層を積み重ねることで、これらのモデルは生データから階層的な特徴を学習 …
逆伝播法
Definition
逆伝播法（バックプロパゲーション）は、誤差の逆伝播の略で、人工ニューラルネットワークにおいて損失関数に対する重みの勾配を計算するために使用される手法です。これは、逆方向に伝播させ …