BPE

term_id: bpe

Category: engineering_practice

Definition

A Codificação por Par de Bytes (BPE) é uma técnica de compressão de dados adaptada para processamento de linguagem natural para lidar com palavras fora do vocabulário. Ela começa com um vocabulário de caracteres individuais e mescla…

Summary

Codificação por Par de Bytes é um algoritmo usado para tokenização de subpalavras que mescla iterativamente os pares de caracteres mais frequentes para construir um vocabulário.

Key Concepts

  • Tokenização de Subpalavras
  • Mesclagem de Vocabulário
  • Análise de Frequência
  • Tratamento de Palavras Fora do Vocabulário

Use Cases

  • Pré-processamento de texto para Grandes Modelos de Linguagem
  • Manipulação de idiomas morfologicamente ricos
  • Redução do tamanho do vocabulário em redes neurais

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related