BPE

term_id: bpe

Category: engineering_practice

Definition

Byte Pair Encoding (BPE) is een techniek voor datacompressie die is aangepast voor natuurlijke taalverwerking om om te gaan met woorden buiten de woordenschat. Het begint met een woordenschat van individuele tekens en voert iteratief

Summary

Byte Pair Encoding is een algoritme dat wordt gebruikt voor subwoord-tokenisatie en iteratief de meest frequente tekenparen samenvoegt om een woordenschat op te bouwen.

Key Concepts

  • Subwoord-tokenisatie
  • Samenvoegen van woordenschat
  • Frequentieanalyse
  • Omgaan met woorden buiten de woordenschat

Use Cases

  • Voorbewerking van tekst voor grote taalmodellen
  • Omgaan met taalkundig rijke talen
  • Verkleinen van de grootte van de woordenschat in neurale netwerken

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related