WordPiece

term_id: wordpiece

Category: engineering_practice

Definition

WordPiece — метод токенизации, широко используемый в моделях обработки естественного языка, таких как BERT и ALBERT. Он разбивает слова на более мелкие подсловные единицы для управления морфологическим богатством и сокращения…

Summary

Алгоритм токенизации подслов, который рекурсивно объединяет наиболее часто встречающиеся пары символов для обработки слов, отсутствующих в словаре.

Key Concepts

  • Токенизация подслов
  • Расширение словаря
  • Обработка слов вне словаря
  • Морфологический анализ

Use Cases

  • Предварительная обработка текста для моделей BERT
  • Работа с языками с низким уровнем ресурсности
  • Уменьшение размера матрицы эмбеддингов

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related