SentencePiece
term_id: sentencepiece
Category: engineering_practice
Definition
O SentencePiece é uma biblioteca open-source popular para normalização e tokenização de texto, amplamente utilizada em pipelines modernos de PLN. Ela realiza aprendizado não supervisionado de um vocabulário conjunto de…
Summary
Uma biblioteca de tokenização e des-tokenização de texto não supervisionada que trata o texto bruto como uma sequência de subpalavras para pré-processamento de PLN.
Key Concepts
- Tokenização de subpalavras
- Aprendizado de vocabulário
- Des-tokenização
- Independente de idioma
Use Cases
- Pré-processamento de dados para modelos Transformer
- Manipulação de corpora de texto multilíngues
- Redução do tamanho do vocabulário em modelos de linguagem