SentencePiece
term_id: sentencepiece
Category: engineering_practice
Definition
SentencePiece on suosittu avoimen lähdekoodin kirjasto tekstin normalisointiin ja tokenisointiin, jota käytetään laajasti nykyaikaisissa luonnollisen kielen käsittelyn putkissa. Se suorittaa valvomattoman oppimisen yhteisestä sana-alan ja alisanosan sanastosta.
Summary
Valvomaton teksti-tokenisoija ja detokenisoija-kirjasto, joka käsittelee raakatekstin sekvenssinä alisanoina luonnollisen kielen esikäsittelyssä.
Key Concepts
- Alasanatokenisointi
- Sanaston oppiminen
- Detokenisointi
- Kieliriippumaton
Use Cases
- Datankäsittely Transformer-malleille
- Monikielisten tekstikorpusien käsittely
- Sanaston koon vähentäminen kielimalleissa