BPE

term_id: bpe

Category: engineering_practice

Definition

L’encoding a coppie di byte (BPE) è una tecnica di compressione dei dati adattata all’elaborazione del linguaggio naturale per gestire le parole fuori dal vocabolario. Parte da un vocabolario di singoli caratteri e fonde iterativamente

Summary

L’encoding a coppie di byte (BPE) è un algoritmo utilizzato per la tokenizzazione sub-parola che fonde iterativamente le coppie di caratteri più frequenti per costruire un vocabolario.

Key Concepts

  • Tokenizzazione sub-parola
  • Unione del vocabolario
  • Analisi della frequenza
  • Gestione delle parole fuori dal vocabolario

Use Cases

  • Preprocessing del testo per i modelli linguistici di grandi dimensioni
  • Gestione di lingue morfologicamente ricche
  • Riduzione delle dimensioni del vocabolario nelle reti neurali

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related