청킹(문장 분할)

Definition

청킹은 검색 증강 생성(RAG) 및 기타 NLP 파이프라인에서 중요한 전처리 단계입니다. 이는 컨텍스트 윈도우에 맞도록 텍스트를 고정 크기 또는 의미적 단위(청크)로 나누는 것을 포함합니다.

Summary

청킹은 처리 또는 인덱싱을 위해 대규모 문서나 데이터 스트림을 더 작고 관리 가능한 세그먼트로 분할하는 과정입니다.

Key Concepts

• 컨텍스트 윈도우
• RAG (검색 증강 생성)
• 텍스트 분할
• 인덱싱

Use Cases

• RAG용 지식베이스 구축
• 요약화를 위한 긴 문서 처리
• 벡터 데이터베이스 데이터 삽입

Related Terms

• Embedding (임베딩)
• Vector Database (벡터 데이터베이스)
• Tokenizer (토크나이저)
• RAG (검색 증강 생성)