SentencePiece
term_id: sentencepiece
Category: engineering_practice
Definition
SentencePiece là một thư viện mã nguồn mở phổ biến cho việc chuẩn hóa và token hóa văn bản, được sử dụng rộng rãi trong các quy trình NLP hiện đại. Nó thực hiện học không giám sát trên một bảng từ vựng kết hợp giữa word-piece và subword…
Summary
Thư viện token hóa và detoken hóa văn bản không giám sát, xử lý văn bản thô như một chuỗi các phân vị từ (subwords) cho tiền xử lý NLP.
Key Concepts
- Token hóa phân vị từ
- Học bảng từ vựng
- Detokenization (Giải token hóa)
- Không phụ thuộc ngôn ngữ
Use Cases
- Tiền xử lý dữ liệu cho các mô hình Transformer
- Xử lý các tập dữ liệu văn bản đa ngôn ngữ
- Giảm kích thước bảng từ vựng trong các mô hình ngôn ngữ