チャンキング

Definition

チャンキングは、検索拡張生成（RAG）やその他のNLPパイプラインにおける重要な前処理ステップです。これは、テキストを固定サイズまたは意味的な単位（チャンク）に分割し、コンテキストウィンドウ内に収めることを含みます。

Summary

チャンキングとは、処理やインデックス作成のために、大きなドキュメントやデータストリームをより小さく管理可能なセグメントに分割するプロセスです。

Key Concepts

• コンテキストウィンドウ
• RAG (検索拡張生成)
• テキスト分割
• インデックス作成

Use Cases

• RAG用のナレッジベース構築
• 要約のために長いドキュメントを処理
• ベクトルデータベースへの取り込み

Related Terms

• Embedding (埋め込み)
• Vector Database (ベクトルデータベース)
• Tokenizer (トークナイザー)
• RAG (検索拡張生成)