Transformers

Terms tagged with Transformers

Definition

XLM-RoBERTa (Cross-lingual Language Model RoBERTa) là một mô hình đa ngôn ngữ quy mô lớn …

Điều chỉnh tiền tố là một kỹ thuật thích ứng hiệu quả về tham số cho các mô hình biến đổi …

Ngữ cảnh dài đề cập đến khả năng của các mô hình dựa trên kiến trúc Transformer trong …

Fill Mask là một mục tiêu tiền huấn luyện cơ bản được sử dụng trong các mô hình dựa trên …

ExBERT cung cấp khả năng giải thích cho mô hình transformer BERT bằng cách phân tích tầm …

Vì các mô hình Transformer xử lý tất cả các token song song thay vì tuần tự như RNN, …

Các bộ mã hóa xử lý các chuỗi đầu vào hoặc cấu trúc dữ liệu thô và chuyển đổi chúng thành …

Adapter là một kỹ thuật tinh chỉnh hiệu quả về tham số, chủ yếu được sử dụng trong các mô …

Các cơ chế chú ý cho phép mô hình tập trung vào thông tin liên quan khi xử lý đầu vào, …

Cơ chế chú ý nội tại cho phép các mô hình nắm bắt các phụ thuộc giữa tất cả các vị trí …