BPE

term_id: bpe

Category: engineering_practice

Definition

Kódování párových bajtů (BPE) je technika komprese dat upravená pro zpracování přirozeného jazyka, která řeší slova mimo slovník. Začíná se slovníkem jednotlivých znaků a iterativně

Summary

Kódování párových bajtů (BPE) je algoritmus používaný pro subwordovou tokenizaci, který iterativně slučuje nejčastější dvojice znaků za účelem vytvoření slovníku.

Key Concepts

  • Subwordová tokenizace
  • Slučování slovníku
  • Analýza frekvence
  • Řešení slov mimo slovník

Use Cases

  • Předzpracování textu pro velké jazykové modely
  • Zpracování jazyků s bohatou morfologií
  • Snížení velikosti slovníku v neuronových sítích

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related