Chuyển đổi thành Token

term_id: tokenization

Category: engineering_practice

Definition

Chuyển đổi thành Token là một bước tiền xử lý quan trọng trong Xử lý Ngôn ngữ Tự nhiên (NLP), chuyển đổi văn bản không cấu trúc thành dữ liệu có cấu trúc phù hợp để mô hình tiêu thụ. Quá trình này bao gồm việc phân tách câu thành các phần tử nhỏ hơn như từ hoặc cụm từ dựa trên các quy tắc hoặc mô hình từ vựng cụ thể.

Summary

Chuyển đổi thành Token là quá trình chia nhỏ văn bản thô thành các đơn vị nhỏ hơn gọi là token, có thể được xử lý bởi các thuật toán học máy.

Key Concepts

  • Chia nhỏ văn bản
  • Tiền xử lý
  • WordPiece
  • Mã hóa Cặp Byte (BPE)

Use Cases

  • Chuẩn bị tập dữ liệu cho huấn luyện BERT
  • Định dạng đầu vào cho các mô hình GPT
  • Làm sạch dữ liệu cho phân tích cảm xúc

Code Example

1
2
3

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('Hello world!')

Related