Tokenizasyon

term_id: tokenization

Category: engineering_practice

Definition

Tokenizasyon, Yapay Doğal Dil İşleme’de (NLP) kritik bir ön işleme adımıdır ve yapılandırılmamış metni model tarafından tüketilebilir yapılandırılmış verilere dönüştürür. Cümleleri kelimelere, alt-kelimelere veya karakterlere ayırma sürecini içerir.

Summary

Tokenizasyon, ham metin makine öğrenmesi algoritmaları tarafından işlenebilen ’token’ adı verilen daha küçük birimlere bölünmesi işlemidir.

Key Concepts

  • Metin Bölme
  • Ön İşleme
  • WordPiece
  • Byte-Pair Encoding (Bayt-Çifti Kodlama)

Use Cases

  • BERT eğitimi için veri setlerini hazırlama
  • GPT modelleri için girdi formatlama
  • Duygu analizi için veri temizleme

Code Example

1
2
3

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('Hello world!')

Related