词元

term_id: token

Category: basic_concepts

Definition

Summary

词元是文本或数据的离散单元，作为自然语言处理模型的基本输入元素。

Key Concepts

离散单元
词汇表
嵌入
上下文窗口

Use Cases

LLM中的文本生成
机器翻译预处理
情感分析输入格式化