SentencePiece
term_id: sentencepiece
Category: engineering_practice
Definition
SentencePiece is een populaire open-source bibliotheek voor tekstnormalisatie en tokenisatie, veel gebruikt in moderne NLP-pijplijnen. Het voert ongesuperviseerd leren uit van een gezamenlijk woord-stuk en subwoord-vocabulaire, waardoor het taalagnostisch is.
Summary
Een bibliotheek voor ongesuperviseerde tekst-tokenisatie en detokenisatie die ruwe tekst behandelt als een reeks subwoorden voor NLP-voorbewerking.
Key Concepts
- Subwoord-tokenisatie
- Vocabulaireleren
- Detokenisatie
- Taalagnostisch
Use Cases
- Voorbewerking van gegevens voor Transformer-modellen
- Omgaan met meertalige tekstcorpora
- Vermindering van de vocabulomgrootte in taalmodellen