SentencePiece
term_id: sentencepiece
Category: engineering_practice
Definition
SentencePiece je populární open-source knihovna pro normalizaci a tokenizaci textu, široce používaná v moderních pipelinech NLP. Provádí nesupervizované učení společného slovníku slov a pod slov…
Summary
Knihovna pro nesupervizovanou tokenizaci a detokenizaci textu, která považuje surový text za posloupnost pod slov a používá ji pro předzpracování NLP.
Key Concepts
- Tokenizace pod slov
- Učení slovníku
- Detokenizace
- Jazykově nezávislé
Use Cases
- Předzpracování dat pro modely Transformer
- Práce s vícejazyčnými textovými korpusy
- Snížení velikosti slovníku v jazykových modelech