BPE (Byte Pair Encoding)

term_id: bpe

Category: engineering_practice

Definition

Byte Pair Encoding (BPE) on tietojen pakkaustekniikka, joka on sovellettu luonnollisen kielen käsittelyyn out-of-vocabulary-sanojen (sanastoton sanojen) hallintaan. Se alkaa yksittäisistä merkeistä muodostetusta sanastosta ja yhdistää iteratiivisesti

Summary

Byte Pair Encoding on algoritmi, jota käytetään alisanatunnisteistukseen ja joka rakentaa sanaston toistuvasti yhdistämällä yleisimmät merkkiparit.

Key Concepts

  • Alisanatunnisteistus
  • Sanaston yhdistäminen
  • Taajuusanalyysi
  • Out-of-vocabulary -sanojen käsittely

Use Cases

  • Tekstin esikäsittely suurille kielimalleille
  • Morfologisesti rikkaiden kielten käsittely
  • Sanaston koon pienentämisessä neuroverkoissa

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related