Transformers

Terms tagged with Transformers

Definition

XLM-RoBERTa (Çok Dilli Dil Modeli RoBERTa), Meta AI tarafından geliştirilen büyük ölçekli …

Önek Ayarlama, önceden eğitilmiş dönüştürücüler için parametre verimli bir uyarlamadır. …

Uzun bağlam, dönüştürücü tabanlı modellerin standart sınırları (genellikle 2k veya 4k …

Maske Doldurma, BERT gibi dönüştürücü tabanlı modellerde kullanılan temel bir ön eğitim …

ExBERT, farklı katmanlardaki bireysel dikkat başlıklarının önemini analiz ederek BERT …

Dönüştürücüler, RNN’ler gibi ardışık değil, tüm belirteçleri paralel olarak …

Encoder’lar ham girdi dizilerini veya veri yapılarını işleyip bunları genellikle …

Adaptörler, öncelikle büyük dil modellerinde ve dönüştürücülerde kullanılan parametre …

Dikkat mekanizmaları, modellerin özellikle metin gibi sıralı verilerde girdileri işlerken …

Öz-dikkat, mesafeden bağımsız olarak bir dizideki tüm konumlar arasındaki bağımlılıkları …