BPE

term_id: bpe

Category: engineering_practice

Definition

Byte Pair Encoding (BPE) är en datakompressionsteknik som har anpassats för bearbetning av naturligt språk för att hantera ord utanför ordförrådet. Den börjar med ett ordförråd bestående av enskilda tecken och slår sedan iterativt samman

Summary

Byte Pair Encoding är en algoritm som används för subordstokenisering och som iterativt slår samman de mest frekventa teckenparen för att bygga ett ordförråd.

Key Concepts

  • Subordstokenisering
  • Sammanfogning av ordförråd
  • Frekvensanalys
  • Hantering av ord utanför ordförrådet

Use Cases

  • Förbehandling av text för stora språkmodeller
  • Hantering av språk med rik morfologi
  • Minskning av ordförrådets storlek i neuronnät

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related