Phân đoạn (Chunking)

Definition

Phân đoạn là một bước tiền xử lý quan trọng trong Sinh lại tăng cường truy xuất (RAG) và các quy trình xử lý ngôn ngữ tự nhiên khác. Nó liên quan đến việc chia văn bản thành các đơn vị có kích thước cố định hoặc ngữ nghĩa (các đoạn) để phù hợp với cửa sổ ngữ cảnh.

Summary

Phân đoạn là quá trình chia các tài liệu lớn hoặc luồng dữ liệu thành các đoạn nhỏ hơn, dễ quản lý để xử lý hoặc lập chỉ mục.

Key Concepts

• Cửa sổ ngữ cảnh (Context Window)
• RAG (Sinh lại tăng cường truy xuất)
• Chia tách văn bản
• Lập chỉ mục

Use Cases

• Xây dựng cơ sở kiến thức cho RAG
• Xử lý tài liệu dài để tóm tắt
• Tiêu thụ dữ liệu vào cơ sở dữ liệu vectơ

Related Terms

• Embedding (Biểu diễn vectơ)
• Vector Database (Cơ sở dữ liệu vectơ)
• Tokenizer (Bộ chia nhỏ từ vựng)
• RAG (Sinh lại tăng cường truy xuất)