Transformers

Terms tagged with Transformers

Definition

Prefix-tuning är en parameter-effektiv anpassningsteknik för förtränade transformatorer. …

Lång kontext avser kapaciteten hos transformer-baserade modeller att hantera omfattande …

Fill Mask är ett grundläggande mål för förträning som används i transformerbaserade …

ExBERT ger tolkbarhet för BERT-transformatormodellen genom att analysera vikten av …

Eftersom transformers behandlar alla token parallellt snarare än sekventiellt som RNN:er …

Encoders bearbetar råa indataströmmar eller datastrukturer och konverterar dem till …

Adapters är en teknik för finjustering med låg parameterförbrukning som främst används i …

Uppmärksamhetsmekanismer gör att modeller kan fokusera på relevant information vid …

Självuppmärksamhet gör det möjligt för modeller att fånga beroenden mellan alla …