WordPiece

term_id: wordpiece

Category: engineering_practice

Definition

WordPiece ist eine Tokenisierungsmethode, die weit verbreitet in Natural-Language-Processing-Modellen wie BERT und ALBERT eingesetzt wird. Sie zerlegt Wörter in kleinere Subworteinheiten, um morphologische Vielfalt zu bewältigen und das V…

Summary

Ein Subwort-Tokenisierungsalgorithmus, der die häufigsten Zeichenpaare rekursiv zusammenführt, um Wörter außerhalb des Vokabulars zu behandeln.

Key Concepts

  • Subwort-Tokenisierung
  • Erweiterung des Wortschatzes
  • Umgang mit Out-of-Vocabulary-Wörtern
  • Morphologische Analyse

Use Cases

  • Vorverarbeitung von Text für BERT-Modelle
  • Behandlung ressourcenschwacher Sprachen
  • Reduzierung der Größe der Einbettungsmatrix

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related