WordPiece

term_id: wordpiece

Category: engineering_practice

Definition

WordPiece는 BERT와 ALBERT와 같은 자연어 처리 모델에서 널리 사용되는 토큰화 방법입니다. 이는 단어의 형태론적 풍부함을 관리하고 어휘 범위를 확장하기 위해 단어를 더 작은 서브워드 단위로 분해합니다.

Summary

미출현 단어(OOV)를 처리하기 위해 가장 빈번한 문자 쌍을 재귀적으로 병합하는 서브워드 토큰화 알고리즘입니다.

Key Concepts

  • 서브워드 토큰화
  • 어휘 확장
  • 미출현 단어 처리
  • 형태론 분석

Use Cases

  • BERT 모델용 텍스트 전처리
  • 저자원 언어 처리
  • 임베딩 행렬 크기 축소

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related