SentencePiece
term_id: sentencepiece
Category: engineering_practice
Definition
SentencePiece adalah perpustakaan sumber terbuka populer untuk normalisasi dan tokenisasi teks, yang banyak digunakan dalam pipeline NLP modern. Ini melakukan pembelajaran tanpa pengawasan untuk kamus gabungan word-piece dan subword, memungkinkan pemrosesan teks yang konsisten antar bahasa.
Summary
Perpustakaan pen-tokenisasi dan de-tokenisasi teks tanpa pengawasan yang memperlakukan teks mentah sebagai urutan subkata untuk pra-pemrosesan NLP.
Key Concepts
- Tokenisasi subkata
- Pembelajaran kosakata
- De-tokenisasi
- Agnostik bahasa
Use Cases
- Pra-pemrosesan data untuk model Transformer
- Menangani korpus teks multibahasa
- Mengurangi ukuran kosakata dalam model bahasa