分块

Definition

Summary

分块是检索增强生成（RAG）和其他NLP管道中的关键预处理步骤。它涉及将文本划分为固定大小或语义单元（块），以适应上下文…

Key Concepts

• 上下文窗口
• RAG (检索增强生成)
• 文本分割
• 索引

Use Cases

• 构建RAG知识库
• 处理长文档以进行摘要
• 向量数据库数据摄入

Related Terms

• Embedding (嵌入向量)
• Vector Database (向量数据库)
• Tokenizer (分词器)
• RAG (检索增强生成)