WordPiece

term_id: wordpiece

Category: engineering_practice

Definition

WordPiece 是一种广泛应用于 BERT 和 ALBERT 等自然语言处理模型的分词方法。它将单词分解为更小的子词单元，以应对形态学丰富性并减少词汇表大小，从而更好地处理未见过的单词。

Summary

一种子词分词算法，通过递归合并最频繁出现的字符对来处理未登录词（OOV）。

Key Concepts

  • 子词分词
  • 词汇扩展
  • 未登录词处理
  • 形态分析

Use Cases

  • 为 BERT 模型预处理文本
  • 处理低资源语言
  • 减小嵌入矩阵大小

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related