BPE

term_id: bpe

Category: engineering_practice

Definition

Byte Pair Encoding (BPE) er en datakomprimeringsteknik, der er tilpasset naturlig sprogbehandling til at håndtere ord uden for ordforrådet. Den starter med et ordforråd af enkelte tegn og sammenfletter iterativt de mest forekommende tegnparrer, indtil en ønsket ordforrådsstørrelse nås eller en stopkriterie er opfyldt.

Summary

Byte Pair Encoding er en algoritme til subord-tokenisering, der iterativt sammenfletter de mest hyppige tegnparrer for at opbygge et ordforråd.

Key Concepts

  • Subord-tokenisering
  • Ordforårds-sammenfletning
  • Frekvensanalyse
  • Håndtering af ord uden for ordforrådet

Use Cases

  • Forarbejdning af tekst til store sprogmodeller
  • Håndtering af sproger med rig morfologi
  • Reducering af ordforrådsstørrelsen i neurale netværk

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related