Kodowanie par bajtów (BPE)

term_id: bpe

Category: engineering_practice

Definition

Kodowanie par bajtów (BPE) to technika kompresji danych dostosowana do przetwarzania języka naturalnego, służąca do obsługi wyrazów spoza słownika. Zaczyna się od słownika pojedynczych znaków i iteracyjnie łączy najczęstsze pary znaków, tworząc coraz dłuższe tokeny.

Summary

Kodowanie par bajtów (BPE) to algorytm używany do tokenizacji podwyrazowej, który iteracyjnie scala najczęściej występujące pary znaków w celu budowy słownika.

Key Concepts

  • Tokenizacja podwyrazowa
  • Scalanie słownika
  • Analiza częstotliwości
  • Obsługa wyrazów spoza słownika

Use Cases

  • Przetwarzanie wstępne tekstu dla dużych modeli językowych
  • Obsługa języków o bogatej morfologii
  • Zmniejszanie rozmiaru słownika w sieciach neuronowych

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related