Token
term_id: token
Category: basic_concepts
Definition
Token là những khối xây dựng cơ bản của dữ liệu đầu vào trong Xử lý Ngôn ngữ Tự nhiên (NLP), thường đại diện cho từ, phân từ (subword) hoặc ký tự. Các Mô hình Ngôn ngữ Lớn (LLM) xử lý văn bản bằng cách chuyển đổi nó thành các token, sau đó ánh xạ chúng vào các vector số để tính toán.
Summary
Token là một đơn vị rời rạc của văn bản hoặc dữ liệu, đóng vai trò là phần tử đầu vào cơ bản cho các mô hình xử lý ngôn ngữ tự nhiên.
Key Concepts
- Đơn vị rời rạc
- Từ vựng
- Nhúng (Embedding)
- Cửa sổ ngữ cảnh
Use Cases
- Tạo văn bản trong LLM
- Tiền xử lý dịch máy
- Định dạng đầu vào cho phân tích cảm xúc