BPE (Byte Pair Encoding)

term_id: bpe

Category: engineering_practice

Definition

Кодирование пар байтов (BPE) — это техника сжатия данных, адаптированная для обработки естественного языка для работы со словами, отсутствующими в словаре. Он начинается со словаря индивидуальных символов и итеративно…

Summary

Кодирование пар байтов — это алгоритм, используемый для токенизации подслов, который итеративно объединяет наиболее часто встречающиеся пары символов для формирования словаря.

Key Concepts

  • Токенизация подслов
  • Объединение словаря
  • Анализ частотности
  • Обработка слов извне словаря

Use Cases

  • Предобработка текста для больших языковых моделей
  • Работа с морфологически богатыми языками
  • Уменьшение размера словаря в нейронных сетях

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related