토큰
term_id: token
Category: basic_concepts
Definition
토큰은 자연어 처리(NLP)에서 입력 데이터의 핵심 구성 요소로, 일반적으로 단어, 부분 단어(subword), 또는 문자를 나타냅니다. 대규모 언어 모델(LLM)은 텍스트를 토큰으로 변환하여 처리합니다.
Summary
토큰은 자연어 처리 모델의 기본 입력 요소로 작용하는 텍스트나 데이터의 이산적 단위입니다.
Key Concepts
- 이산적 단위
- 어휘(Vocabulary)
- 임베딩(Embedding)
- 컨텍스트 윈도우(Context Window)
Use Cases
- LLM에서의 텍스트 생성
- 기계 번역 전처리
- 감성 분석을 위한 입력 포맷팅