WordPiece

term_id: wordpiece

Category: engineering_practice

Definition

WordPieceは、BERTやALBERTなどの自然言語処理モデルで広く使用されているトークン化手法です。形態的な豊かさを扱い、語彙サイズを削減するために、単語をより小さなサブワード単位に分解します。

Summary

未登録語（OOV）を処理するため、最も頻繁な文字ペアを再帰的に結合するサブワードトークン化アルゴリズム。

Key Concepts

  • サブワードトークン化
  • 語彙拡張
  • 未登録語（OOV）処理
  • 形態素解析

Use Cases

  • BERTモデル向けのテキスト前処理
  • 低資源言語の処理
  • 埋め込み行列サイズの削減

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related