BPE (Mã hóa Cặp Byte)

term_id: bpe

Category: engineering_practice

Definition

Mã hóa Cặp Byte (BPE) là một kỹ thuật nén dữ liệu được điều chỉnh cho xử lý ngôn ngữ tự nhiên nhằm xử lý các từ nằm ngoài từ vựng (out-of-vocabulary). Nó bắt đầu với một từ vựng gồm các ký tự đơn lẻ và lặp lại quá trình hợp nhất các cặp ký tự phổ biến nhất.

Summary

Mã hóa Cặp Byte (BPE) là một thuật toán dùng cho việc phân đoạn từ con (subword tokenization), hoạt động bằng cách lặp lại việc hợp nhất các cặp ký tự xuất hiện thường xuyên nhất để xây dựng từ vựng.

Key Concepts

  • Phân đoạn từ con
  • Hợp nhất từ vựng
  • Phân tích tần suất
  • Xử lý từ ngoài từ vựng

Use Cases

  • Tiền xử lý văn bản cho Mô hình Ngôn ngữ Lớn (LLM)
  • Xử lý các ngôn ngữ giàu hình thái học
  • Giảm kích thước từ vựng trong mạng nơ-ron

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related