カリキュラム学習
Definition
カリキュラム学習は、人間の教育を模倣し、通常は単純なサンプルから始めて複雑さを徐々に増加させる構造化された順序でトレーニングデータを提供します。このアプローチは、ニューラルネット …
Optimization
Terms tagged with Optimization
音声活動検出
Definition
VADアルゴリズムは、背景ノイズや一時停止などの非音声区間に対してアクティブな発話期間をリアルタイムで分析して区別します。これは、帯域幅の最適化において重要です。
Summary …
Unsloth
Definition
Unslothは、大規模言語モデル（LLM）のファインチューニングとデプロイメントを最適化するために設計された専用ツールです。標準的なPyTorchの… …
Vllm
Definition
vLLM（Virtual Large Language Model）は、LLMサービングを加速するために設計されたオープンソースライブラリです。オペレーティングシステムの仮想メモ …
トークンマキシング
Definition
トークンマキシングとは、モデルのコンテキストウィンドウの容量を最大限に活用したり、パフォーマンス向上のためにトークンの意味的密度を最適化したりするために、入念に入力を構成するプロ …
三要素学習
Definition
三要素学習は、強化学習における特定の手法で、学習プロセスを明確に3つの異なるコンポーネントに分解します。それは「報酬信号（環境からのフィードバック）」、「価値関数（状態や行動の長 …
TFLite
Definition
TensorFlow Liteは、スマートフォン、マイクロコントローラ、IoTデバイスなどのリソース制約のあるデバイス上で機械学習モデルを展開するために設計されたオープンソースフ …
テキスト生成推論
Definition
テキスト生成推論（TGI）は、低レイテンシと高いスループットで大規模言語モデル（LLM）を提供するために設計された専用ソフトウェアフレームワークです。テキスト生成のための推論プロ …
記号回帰
Definition
記号回帰は、観測されたデータに最適に適合する数学的式（通常は木構造で表される）を見つける回帰分析の一種です。従来の回帰
Summary
記号回帰は、データセットに最も適合する数学 …
代理モデル
Definition
機械学習および最適化において、代理モデルは直接評価が困難な目的関数のプロキシとして機能します。これは、元のモデルからの入力-出力ペアを用いて訓練され、元のモデルの挙動を効率的に模 …
構造化スパース正則化
Definition
構造化スパース正則化は、標準的なL1正則化を拡張し、個々の係数を独立してゼロにするのではなく、特定の構造パターンにおいてゼロになることを促進します。これは、特徴量間の関係性やグ …
構造的リスク最小化
Definition
構造的リスク最小化（SRM）は、過学習を防ぐためにモデルの複雑さを制御することで期待リスクを最小化する手法です。これは経験的リスク最小化を拡張したもので、正則化項を追加し、モデル …
セマンティック・フォールディング
Definition
セマンティック・フォールディングとは、意味的な損失を最小限に抑えつつ、複雑で高次元なベクトル埋め込みを、より扱いやすい低次元表現に圧縮するプロセスを指します。
Summary
高 …
再パラメータ化トリック
Definition
再パラメータ化トリックは、変分オートエンコーダーや他の確率的モデルで使用される基本的な手法です。これは、確率変数を外部のパラメータ（通常は正規分布からのサンプリング）と決定論的な …
正則化
Definition
正則化は、機械学習において一般化誤差を大幅に増加させることなく減少させるための重要な概念です。これは、モデルが過度に複雑なパターンやノイズを学習することを抑制することで機能しま …
ランダム特徴量
Definition
ランダム特徴量マップは、線形モデルが非線形カーネル関数を近似できるようにするために、入力を新しい空間に変換します。このアプローチは通常、ニストロム法やフーリエ特徴に関連しており、 …
量子化された
Definition
量子化は、機械学習モデルのパラメータの数値精度を下げ、通常は32ビット浮動小数点数を8ビット整数に変換することでモデルを最適化する技術です。これにより、… …
プロンプトチューニング
Definition
プロンプトチューニングは、事前学習済み言語モデルの入力層にトレーニング可能なソフトプロンプト（連続ベクトル）を追加し、基盤となるモデルのパラメータは凍結したままにするアプローチで …
学習のための近接勾配法
Definition
近接勾配法は、損失関数に微分可能な滑らかな項と、L1ノルムのような微分不可能な正則化項が含まれている場合に使用される反復最適化技法です。このアルゴリズムは、勾配降下ステップと近接 …
PagedAttention
Definition
PagedAttentionは、vLLMプロジェクトによって導入された技術で、大規模言語モデル（LLM）の推論効率を向上させることを目的としています。従来のKVキャッシュ管理にお …
OpenVINO
Definition
Intelによって開発されたOpenVINO（Open Visual Inference and Neural network Optimization）は、開発者が訓練済みのデ …
Mxfp4
Definition
MXFP4（Mixed eXtended Floating Point 4-bit）は、AIワークロードにおけるパフォーマンスの最適化とメモリ帯域幅の使用削減を目的として導入され …
乗法重み更新法
Definition
乗法重み更新法は、不確実な環境下で意思決定を行うために使用される基本的なオンライン学習アルゴリズムです。これは、異なる戦略や専門家に対する重みのセットを維持し、パフォーマンスに基 …
マルチタスク学習
Definition
この手法は、関連するタスク間で共有される帰納的バイアスを活用し、学習効率とパフォーマンスを向上させます。単一のモデルで複数のタスクを同時に実行させることで、 …
MobileNet
Definition
MobileNetは、標準的な畳み込み演算と比較して計算コストとモデルサイズを大幅に削減するために、深さ別分離畳み込み（depthwise separable …
モデル圧縮
Definition
このカテゴリには、パフォーマンスを維持しつつモデルのフットプリントを縮小することを目指した、プルーニング、量子化、知識蒸留などの手法が含まれます。これは複雑なAIモデルを展開する …
混合精度学習
Definition
混合精度学習（MPT）は、ニューラルネットワークの学習中に半精度（FP16）と全精度（FP32）のデータ型を組み合わせた手法です。ほとんどの演算にFP16を使用することで、メモリ …
メタラーニング
Definition
メタラーニングは、以前に学習したタスクから得た知見を活用して、新規かつ未見のタスクにおけるパフォーマンスを向上させるアルゴリズムの設計に焦点を当てています。各問題に対してモデルを …
行列正則化
Definition
行列正則化は、スカラー正則化の概念を行列に拡張したもので、マルチタスク学習や推薦システムなどでよく使用されます。重み行列のノルム（例えば、フロベニウスノルムや核ノルム）に対して制 …
ローカルケースコントロールサンプリング
Definition
ローカルケースコントロールサンプリングは、主にcontrastive learningモデルや推薦システムの学習に用いられる戦略です。負例をランダムに選択するのではなく、正例の近 …
宝くじ仮説
Definition
宝くじ仮説は、大きくランダムに初期化されたニューラルネットワークの中に、学習に適した初期状態を持つスパースなサブネットワーク（当選チケット）が存在すると示唆しています。これを剪 …
学習オートマトン
Definition
この概念は強化学習に由来し、未知の環境と相互作用するエージェントを含みます。オートマトンは有限の行動セットから行動を選択し、ペナルティまたは報酬シグナルを受信します。これらのシグ …
レイヤー正規化
Definition
レイヤー正規化は内部共変量シフトを軽減することでトレーニングを安定させ、特にリカレントネットワークやトランスフォーマーアーキテクチャで効果的です。バッチ統計に依存するバッチ正規化 …
知識コンパイル
Definition
知識コンパイルは、充足可能性判定などの操作を迅速に行えるよう、知識ベースや論理理論を異なる表現形式に変換する人工知能の技法を指します。
Summary
知識コンパイルとは、クエリ …
知識蒸留
Definition
知識蒸留は、大規模で複雑なニューラルネットワーク（教師）を、より小さく効率的なネットワーク（学生）に圧縮するために使用される機械学習手法です。学生モデルは教師の出力分布を学習しま …
インスタンス選択
Definition
インスタンス選択は、冗長またはノイズの多いデータポイントを削除することで、計算効率とモデルパフォーマンスの向上を目指します。特徴選択とは異なり、データセットの行に対して機能しま …
増分的ヒューリスティック探索
Definition
増分的ヒューリスティック探索とは、目標への到達コストを見積もるヒューリスティックによって導かれ、候補解を段階的に洗練するアルゴリズムを指します。網羅的な探索とは異なり、これらの手 …
Imatrix
Definition
Imatrix（Importance Matrixの略）は、主にGGMLベースのLLM（大規模言語モデル）のトレーニングおよび量子化に関連する技法です。これは、損失関数の二階微 …
ハイパーパラメータチューニング
Definition
ハイパーパラメータチューニングは、最も高いモデル精度または最も低いエラーレートをもたらす構成を見つけるために、さまざまなハイパーパラメータセットを評価することを含みます。一般的な …
ハイパーパラメータ最適化
Definition
ハイパーパラメータ最適化（HPO）は、ハイパーパラメータの選択を自動化する広範な分野を指します。チューニングが一般的な行為であるのに対し、HPOはしばしば洗練されたアルゴリズムの …
階層的リスク・パリティ
Definition
階層的リスク・パリティ（HRP）は、伝統的な平均分散最適化の限界に対処するため、相関構造を組み込んだポートフォリオ構築手法です。階層型クラスタリングを用いて資産間の相関を捉え、再 …
勾配累積
Definition
この最適化戦略により、深層学習モデルはGPUメモリに収まらないような有効なバッチサイズを使用して訓練できます。複数のミニバッチからの勾配を累積し、その後で重み更新を行います。 …
GLM MoE DSA
Definition
「GLM MoE DSA」という単一の標準用語は存在しません。しかし、これはおそらくGLM（特定のLLMアーキテクチャ）、MoE（Mixture of Experts、モデルサイ …
GGUF
Definition
GGUF（GPT-Generated Unified Format）は、コンシューマーグレードのハードウェアで大規模言語モデルを実行するために特別に設計されたバイナリファイル形式 …
FP8
Definition
浮動小数点8（FP8）は、計算効率と精度のバランスを提供する数値データ型であり、特に最新のAIハードウェア向けに最適化されています。 …
ファインチューニング済み
Definition
ファインチューニングとは、すでに大規模で一般的なデータセットで訓練されたモデルを取得し、より小さくドメイン固有のデータセットで訓練を継続する技術です。これにより、モデルは特定のタ …
フィットネス近似
Definition
フィットネス近似は、真のフィットネス関数の評価に計算コストや時間がかかる場合、進化計算で使用されます。正確な値を計算する代わりに、代理モデル（サロゲートモデル）を使用してフィット …
フィーチャースケーリング
Definition
フィーチャースケーリングは、入力変数の範囲を標準化し、大きな値を持つ特徴量が学習プロセスを支配してしまうのを防ぎます。一般的な手法には、正規化（最小最大スケーリング）や標準化（Z …
フィーチャーハッシング
Definition
ハッシングトリックとも呼ばれるフィーチャーハッシングは、機械学習モデルが明示的な特徴量とインデックスのマッピングを維持することなく、大規模で疎な特徴空間を処理できるようにします。 …
Feature Engineering
Definition
特徴量エンジニアリングは、生データを機械学習アルゴリズムにとって基礎的なパターンをよりよく表す特徴量に変換するためにドメインの専門知識を活用する芸術です。このプロセスには、特徴量 …
極値最適化
Definition
集団を維持する遺伝的アルゴリズムとは異なり、EOは単一の解に対して動作します。全体の適合度に最も貢献していない構成要素を特定し、それをランダムな代替要素と置き換えます。このプロセ …
探索と利用のジレンマ
Definition
意思決定プロセスにおいて、エージェントは現在の知識を利用して最適な即時報酬を得るか（利用）、未知のオプションを探索してより良い長期的戦略を見つける可能性を探るか（探索）というト …
進化可能性
Definition
計算文脈において、進化可能性とは、アルゴリズムやニューラルネットワークアーキテクチャが世代やトレーニングステップを通じてどれほど簡単にフィットネスを向上させられるかを示します。高 …
経験的リスク最小化
Definition
経験的リスク最小化（ERM）は、教師あり学習モデルの訓練における標準的な目的関数です。これは、クラス内の関数群から平均エラーを最小化する仮説を選択するプロセスを含みます。 …
EfficientNet
Definition
Googleによって開発されたEfficientNetは、ネットワークの深さ、幅、入力画像の解像度をバランスよく調整するための複合スケーリング法を使用します。このアプローチによ …
エッジ推論
Definition
この手法では、トレーニング済みのAIモデルをスマートフォン、IoTセンサー、組み込みシステムなどのハードウェアに直接デプロイします。データをローカルで処理することで、エッジ推論は …
EMアルゴリズムとGMMモデル
Definition
この用語は、期待値最大化（EM）アルゴリズムとガウス混合モデル（GMM）の相乗的な関係を指します。GMMは、すべてのデータポイントが混合分布から生成されると仮定します。 …
早期打ち切り
Definition
Summary
早期打ち切りは、勾配降下法などの反復的トレーニングプロセスで主に使用される正則化の一種です。トレーニング中、モデルのパフォーマンスは通常、トレーニングデータに対し …
Diffusers: LTX Pipeline
Definition
LTXパイプラインは、生成タスクにおいて速度と効率を優先するモデル向けに調整されています。通常、蒸留または加速されたサンプリング手法を利用します。Diffusersとシームレスに …
差分プライベート確率的勾配降下法
Definition
DP-SGDは、トレーニングデータのプライバシーを保護するために設計された確率的勾配降下法（SGD）のバリアントです。各サンプルの勾配寄与をクリップして感度を制限し、その後ガウス …
決定木の剪定
Definition
剪定（プルーニング）は、予測力が弱い枝を削除することで決定木モデルの過学習を防ぐ手法です。これは、ツリーの成長を早期に停止させる事前剪定（プリプルーニング）か、ツリーを完全に構築 …
交差エントロピー法
Definition
交差エントロピー法（CEM）は、離散問題および連続問題の両方に使用される強力な汎用最適化アルゴリズムです。これは、探索空間全体の確率分布を維持し、その分布からサンプリングを行うこ …
コスト感受性機械学習
Definition
コスト感受性機械学習は、異なる種類のエラーに対して異なるペナルティを割り当てることで、従来の教師あり学習を拡張します。現実世界では、偽陽性（False Positive）と偽陰 …
対照的学習
Definition
対照的学習は、ラベル付きデータを必要としない表現学習手法です。同じ入力からの拡張ビュー（ポジティブペア）を作成し、異なる入力や拡張（ネガティブペア）と対比させることで、類似する …
圧縮テンソル
Definition
圧縮テンソルは、深層学習で使用される多次元配列であり、数値精度（例：float32からint8へ）またはスパース性が削減されています。この手法は量子化や（スパース化として知られて …
計算ヒューリスティック知能
Definition
計算ヒューリスティック知能とは、合理的な時間枠内で満足できる解を見つけるために、勘所（ルール・オブ・サム）、近似、または推測を用いるアルゴリズムを含みます。網羅的な（探索とは異な …
クリップ
Definition
ディープラーニングエンジニアリングにおいて、クリッピングは一般的に勾配に適用され、爆発的勾配問題を緩和して逆伝播の安定性を確保します。また、出力ロジットを制限することを指すことも …
キャッシング
Definition
AIエンジニアリングにおいて、キャッシングは最近または頻繁なクエリ結果、モデル予測、または中間計算を高速メモリ（RAMなど）に保持することでパフォーマンスを最適化します。これによ …
バッチサイズ
Definition
バッチサイズは、モデルの内部パラメータが更新される前に処理されるサンプルの数を決定する重要なハイパーパラメータです。より大きなバッチサイズは、勾配のより正確な推定値を提供します …
ベイズ最適化
Definition
ベイズ最適化は、通常ガウス過程である確率的な surrogate モデルを使用して目的関数をモデル化します。探索と活用のバランスを取るための取得関数を用い、少ない評価回数で最適な …
バッチ正規化
Definition
この手法は、トレーニング中の各ミニバッチ内で活性化値の平均を0、分散を1に調整・スケーリングします。内部共変量シフトを軽減し、より高い学習率の使用や高速な収束を可能にします。 …
AlphaChip
Definition
AlphaChipは、マイクロチップ上のコンポーネントの配置と配線を自動化・強化するために設計された専用AIシステムです。ディープ強化学習を採用することで、設計サイクル時間を大幅 …
アルゴリズム選択
Definition
アルゴリズム選択には、与えられたタスクを効率的に解決するために最適な手法を決定するため、異なる計算アプローチを評価することが含まれます。このプロセスでは、時間計算量や空間計算量な …
許容可能ヒューリスティック
Definition
経路探索や探索問題において、許容可能ヒューリスティックは目標ノードへの実際のコストに対する下限値を提供します。推定コストが常に真のコスト以下であることを保証することで、最適解への …
Accelerated Linear Algebra
Definition
この分野は、機械学習や科学シミュレーションの中核をなす基本的な線形代数計算の高速化に焦点を当てています。GPUやTPUの並列処理能力を活用することで、大規模な行列演算の処理速度を …
A/Bテスト
Definition
A/Bテストは、変数Aと変数Bの2つのバリエーションを比較し、特定の指標においてどちらがより良い結果をもたらすかを評価するためのランダム化制御実験です。AIエンジニアリングにおい …
残差接続
Definition
スキップ接続とも呼ばれる残差接続は、入力を後の層の出力に直接加えることで、ネットワーク内を勾配が流れることを可能にします。このアーキテクチャは、深いネットワークにおける勾配消失問 …
QLoRA
Definition
QLoRAは、低ランク適応（LoRA）と4ビット量子化を組み合わせることで、巨大なモデルのファインチューニングに必要なメモリフットプリントを大幅に削減します。重みを4ビット形式で …
量子化
Definition
量子化は、高精度な浮動小数点数（例：FP32）を低精度フォーマット（例：INT8やFP16）に変換します。この精度の低下により、モデルのメモリ使用量と計算要件が減少し、推論速度が …
学習率
Definition
学習率は、各トレーニング反復中に計算された勾配に対してモデルの重みがどの程度更新されるかを決定します。学習率が大きすぎるとモデルが最適解を見逃す可能性があり、小さすぎると学習収束 …
勾配降下法
Definition
勾配降下法は、微分可能な関数の局所的最小値を見つけるための一階の反復最適化アルゴリズムです。機械学習では、モデルの重みを勾配の逆方向に更新して損失を最小化します。
Summary …
分散トレーニング
Definition
分散トレーニングは、複数のGPUやノード間で計算を並列化することにより、モデルの収束を加速します。これには、各ワーカーがデータのサブセットを処理するデータ並列性や、モデルの異なる …
アダプター
Definition
アダプターは、主に大規模言語モデルやトランスフォーマーで使用されるパラメータ効率の高いファインチューニング手法です。すべてのモデル重みを更新するという計算コストの高い作業の代わり …
タスク固有
Definition
タスク固有とは、画像内の物体検出や言語翻訳など、狭い範囲の目的において卓越するように調整されたAIモデルやコンポーネントを指します。汎用のファウンデーションモデルとは異なり、特定 …
ワンステップ
Definition
機械学習および最適化において、ワンステップ法は収束するために複数のイテレーションや更新を必要とせず、問題を直接解きます。 …
一階の
Definition
人工知能および数学において、「一階の」は通常、高次相互作用を伴わない直接的な線形関係を持つシステムや操作を記述します。最適化においては、勾配降下法などの手法に関連し、目的関数の一 …
ファイントゥーン（微調整済み）
Definition
ファインチューニングとは、すでに大規模で一般的なデータセットで学習済みのモデルを取得し、より小さくタスク固有のデータセットでその学習を継続する技術です。この手法は、事前学習によっ …
チューニング
Definition
チューニングは、より高い精度や効率を実現するために機械学習モデルを洗練させることを指します。これには、学習率やバッチサイズなどの設定を最適化するハイパーパラメータチューニングが含 …
転移学習
Definition
転移学習は、新しい関連タスクにおけるパフォーマンスの向上とトレーニング時間の短縮を実現するために、事前学習済みモデルを活用します。ゼロからトレーニングするのではなく、開発者は既存 …
〜に向けて（Towards）
Definition
AI開発において、「Towards」は、勾配降下法などが重みを変化させて損失値の最小値へ向けて移動するような、最適化プロセスの軌道を描く際に頻繁に使用されます。また、研究の方向 …
スケーリング
Definition
スケーリングは、より多くの層、ニューロン、またはトレーニング例を追加することでAIシステムを展開する積極的な方法論です。これには、増加に対応するために複数のGPUにわたる分散ト …
レート
Definition
AIにおいて「レート」は最も頻繁に学習率を指し、これはモデルの重みが更新されるたびに推定されたエラーに応じてモデルをどの程度変更するかを制御するハイパーパラメータです。レー …
最適
Definition
AIおよび最適化理論において、最適解とは、強化学習における最大報酬や回帰分析における最小誤差など、可能な限り高いパフォーマンス指標を達成するものを指します。 …
ロス
Definition
損失関数（コスト関数とも呼ばれる）は、トレーニング中に機械学習モデルの予測が正解とどれだけ一致しているかを測定します。最適化アルゴリズムの目的は、この損失値を最小限に抑えることで …
LoRA
Definition
LoRAは事前学習済みモデルの重みを凍結し、トランスフォーマーアーキテクチャの各層に学習可能な分解行列を挿入します。この低ランク行列のみを最適化することで、LoRA …
グローバル
Definition
AIにおける「グローバル」という用語は通常、「ローカル」と対比され、システム全体を包含する側面を指します。最適化においては、グローバル最小値は、全体の損失関数表面全体で最も良い解 …
高速
Definition
「高速」という用語は、推論時間の短縮やデータ処理能力の迅速さを強調し、人工知能モデル内の計算効率を表します。これはリアルタイムアプリケーションにおいて極めて重要です。 …
効率的
Definition
効率性は、モデルやアルゴリズムが利用可能なリソースをいかに効果的に活用しているかを測定するAIにおける重要な指標です。これには、推論やトレーニングの速度を表す計算効 …
知識蒸留
Definition
このプロセスでは、複雑で高性能な「教師」ニューラルネットワークから、より単純で効率的な「学生」ネットワークへ知識を転移させます。学生モデルはハードラベル（正解ラベル）だけでなく、 …
発散
Definition
最適化の文脈において、発散はモデルのパラメータ更新によって損失が増加し続ける状態を指します。通常、これはNaN値の発生や勾配の無限大発散を引き起こし、学習が失敗する原因となりま …
統合
Definition
この概念には、アンサンブル学習が含まれます。これは複数のモデルからの予測を集約して分散やバイアスを低減する方法です。また、マルチモーダル融合も含まれ、異なる種類のデータ（テキス …
Adam
Definition
Adam（Adaptive Moment Estimation）は、ディープニューラルネットワークのトレーニングに使用される人気のある一階勾配ベースの最適化アルゴリズムです。これ …
ファインチューニング
Definition
ファインチューニングとは、大規模な一般データセットで既に訓練されたモデルを取り出し、専門的なデータセットでさらに訓練を行うことを指します。これにより、モデルは一般的な知識を維持し …
プロンプトエンジニアリング
Definition
プロンプトエンジニアリングとは、生成AIモデルから正確で関連性が高く、高品質な回答を引き出すために、「プロンプト」と呼ばれる特定の入力を構築するプロセスです。これには、モデルが指 …