Transformers

Terms tagged with Transformers

Definition

XLM-RoBERTa (Cross-lingual Language Model RoBERTa) er en stor skaleringsflerspråklig …

Prefiks-tuning er en parameter-effektiv tilpasningsteknikk for forhåndstrenede …

Lang kontekst refererer til kapasiteten til transformer-baserte modeller til å håndtere …

Fyll maske er et grunnleggende mål for forhåndstrening brukt i transformer-baserte …

ExBERT gir tolknbarhet for BERT-transformermodellen ved å analysere betydningen av …

Siden transformers behandler alle tokens parallelt i stedet for sekvensielt som RNN-er, …

Encoders behandler rå inndatasekvenser eller datastrukturer og konverterer dem til …

Adaptorer er en parameter-effektiv finjusteringsteknikk som primært brukes i store …

Oppmerksomhetsmekanismer gjør det mulig for modeller å fokusere på relevant informasjon …

Selvoppmerksomhet gjør det mulig for modeller å fange opp avhengigheter mellom alle …