WordPiece

term_id: wordpiece

Category: engineering_practice

Definition

WordPiece, BERT ve ALBERT gibi doğal dil işleme modellerinde yaygın olarak kullanılan bir parçalama yöntemidir. Kelimeleri daha küçük alt kelime birimlerine ayırarak morfolojik zenginliği yönetir ve sözlük dışı kelimelerle başa çıkma yeteneğini artırır. Bu sayede model, eğitim verisinde nadir görülen veya hiç görünmeyen kelimeleri de etkili bir şekilde temsil edebilir.

Summary

Kelime dışı kelimeleri ele almak için en sık görülen karakter çiftlerini özyinelemeli olarak birleştiren bir alt kelime parçalama algoritması.

Key Concepts

  • Alt kelime parçalama
  • Sözlük genişletme
  • Kelime dışı kelime yönetimi
  • Morfolojik analiz

Use Cases

  • BERT modelleri için metin ön işleme
  • Düşük kaynaklı dillerin işlenmesi
  • Gömme matris boyutunun küçültülmesi

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related