BPE (Byte Pair Encoding / Bayt Çifti Kodlama)

term_id: bpe

Category: engineering_practice

Definition

Bayt Çifti Kodlama (BPE), kelime hazinesinde bulunmayan (out-of-vocabulary) kelimelerle başa çıkmak için doğal dil işleme alanında uyarlanmış bir veri sıkıştırma tekniğidir. İşlem, bireysel karakterlerden oluşan bir hazineden başlar ve en sık görülen karakter çiftlerini yinelemeli olarak birleştirerek devam eder.

Summary

Bayt Çifti Kodlama (BPE), en sık karakter çiftlerini yinelemeli olarak birleştirerek bir kelime hazinesi oluşturmak için kullanılan, alt kelime parçacığı belirleme (subword tokenization) amacıyla bir algoritmadır.

Key Concepts

  • Alt Kelime Parçacığı Belirleme (Subword Tokenization)
  • Hazine Birleştirme
  • Frekans Analizi
  • Kelime Hazinesinde Olmayan Kelimelerin Yönetimi

Use Cases

  • Büyük Dil Modelleri (LLM) için metin ön işleme
  • Morfolojik açıdan zengin dillerin işlenmesi
  • Sinir ağlarında hazine boyutunun küçültülmesi

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related