WordPiece

term_id: wordpiece

Category: engineering_practice

Definition

WordPiece er en tokeniseringsmetode som brukes mye i modeller for naturlig språkbehandling som BERT og ALBERT. Den bryter ned ord i mindre subord-enheter for å håndtere morfologisk rikdom og redusere…

Summary

En subord-tokeniseringsalgoritme som rekurivt slår sammen de mest frekvente tegnparene for å håndtere ord utenfor ordboken.

Key Concepts

  • Subord-tokenisering
  • Ordforklaring utvidelse
  • Håndtering av ord utenfor ordboken
  • Morfologisk analyse

Use Cases

  • Forbehandling av tekst for BERT-modeller
  • Håndtering av språk med få ressurser
  • Reduksjon av størrelsen på innbyggingsmatrisen

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related