BPE

term_id: bpe

Category: engineering_practice

Definition

Η Κωδικοποίηση Ζευγάρων Bytes (BPE) είναι μια τεχνική συμπίεσης δεδομένων προσαρμοσμένη για την επεξεργασία φυσικής γλώσσας, ώστε να διαχειρίζεται λέξεις εκτός λεξιλογίου. Ξεκινά με ένα λεξιλόγιο μεμονωμένων χαρακτήρων και συγχέει επαναληπτικά

Summary

Η Κωδικοποίηση Ζευγάρων Bytes (Byte Pair Encoding) είναι ένας αλγόριθμος που χρησιμοποιείται για την υπολέξη/tokenization, ο οποίος συγχέει επαναληπτικά τα πιο συχνά ζεύγη χαρακτήρων για να δημιουργήσει ένα λεξιλόγιο.

Key Concepts

  • Υπολέξη Tokenization
  • Συγχώνευση Λεξιλογίου
  • Ανάλυση Συχνοτήτων
  • Διαχείριση Λέξεων Εκτός Λεξιλογίου

Use Cases

  • Προεπεξεργασία κειμένου για Μεγάλα Γλωσσικά Μοντέλα
  • Διαχείριση γλωσσών με πλούσια μορφολογία
  • Μείωση του μεγέθους του λεξιλογίου σε νευρωνικά δίκτυα

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related