SentencePiece
term_id: sentencepiece
Category: engineering_practice
Definition
SentencePiece, modern NLP pipeline’larında yaygın olarak kullanılan metin normalizasyonu ve parçalama için popüler açık kaynaklı bir kütüphanedir. Ortak kelime-parçası ve alt kelime sözlüklerinin denetimsiz öğrenimini gerçekleştirir.
Summary
Ham metni NLP ön işleme için alt kelime dizisi olarak ele alan denetimsiz bir metin parçalayıcı (tokenizer) ve birleştirici kütüphanesi.
Key Concepts
- Alt kelime parçalama
- Sözlük öğrenimi
- Birleştirme (Detokenization)
- Dilden bağımsız
Use Cases
- Dönüştürücü (Transformer) modelleri için veri ön işleme
- Çok dilli metin korpuslarının işlenmesi
- Dil modellerinde sözlük boyutunu azaltma