WordPiece

term_id: wordpiece

Category: engineering_practice

Definition

WordPiece là một phương pháp phân đoạn từ được sử dụng rộng rãi trong các mô hình xử lý ngôn ngữ tự nhiên như BERT và ALBERT. Nó chia nhỏ các từ thành các đơn vị từ con nhỏ hơn để quản lý sự phong phú về hình thái học và giảm kích thước từ vựng.

Summary

Thuật toán phân đoạn từ con (subword tokenization) ghép nối đệ quy các cặp ký tự phổ biến nhất để xử lý các từ nằm ngoài từ vựng.

Key Concepts

  • Phân đoạn từ con
  • Mở rộng từ vựng
  • Xử lý từ ngoài từ vựng (OOV)
  • Phân tích hình thái học

Use Cases

  • Tiền xử lý văn bản cho mô hình BERT
  • Xử lý các ngôn ngữ ít tài nguyên
  • Giảm kích thước ma trận nhúng (embedding)

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related