BPE

term_id: bpe

Category: engineering_practice

Definition

Byte Pair Encoding (BPE) ist eine Datenkomprimierungstechnik, die für die Verarbeitung natürlicher Sprache adaptiert wurde, um mit Wörtern außerhalb des Wortschatzes (Out-of-Vocabulary) umzugehen. Es beginnt mit einem Wortschatz aus einzelnen Zeichen und führt wiederholt

Summary

Byte Pair Encoding ist ein Algorithmus zur Subwort-Tokenisierung, der wiederholt die häufigsten Zeichenpaare zusammenführt, um einen Wortschatz aufzubauen.

Key Concepts

  • Subwort-Tokenisierung
  • Wortschatz-Zusammenführung
  • Häufigkeitsanalyse
  • Umgang mit Out-of-Vocabulary-Wörtern

Use Cases

  • Vorverarbeitung von Texten für Large Language Models
  • Umgang mit morphologisch reichen Sprachen
  • Reduzierung der Wortschatzgröße in neuronalen Netzen

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related