BPE

term_id: bpe

Category: engineering_practice

Definition

Byte Pair Encoding (BPE) adalah teknik kompresi data yang diadaptasi untuk pemrosesan bahasa alami guna menangani kata-kata di luar kosakata (out-of-vocabulary). Algoritma ini dimulai dengan kosakata individu berupa karakter dan secara iteratif

Summary

Byte Pair Encoding adalah algoritma yang digunakan untuk tokenisasi subkata yang secara iteratif menggabungkan pasangan karakter paling sering muncul untuk membangun kosakata.

Key Concepts

  • Tokenisasi Subkata
  • Penggabungan Kosakata
  • Analisis Frekuensi
  • Penanganan Kata di Luar Kosakata

Use Cases

  • Pra-pemrosesan teks untuk Model Bahasa Besar
  • Menangani bahasa yang kaya akan morfologi
  • Mengurangi ukuran kosakata dalam jaringan saraf

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related