Transformers

Terms tagged with Transformers

Definition

XLM-RoBERTa (Cross-lingual Language Model RoBERTa) ist ein großes, multilinguales Modell, …

Prefix-Tuning ist eine parametereffiziente Adaptierungstechnik für vortrainierte …

Langer Kontext bezieht sich auf die Kapazität von Transformer-basierten Modellen, …

Fill Mask ist ein grundlegendes Vortrainierungsziel, das in Transformer-basierten …

ExBERT bietet Interpretierbarkeit für das BERT-Transformer-Modell, indem es die Bedeutung …

Da Transformer alle Tokens parallel und nicht sequenziell wie RNNs verarbeiten, fehlt …

Encoder verarbeiten rohe Eingabesequenzen oder Datenstrukturen und konvertieren sie in …

Adapter sind eine parameter-effiziente Technik zum Feintuning, die hauptsächlich in …

Aufmerksamkeitsmechanismen ermöglichen es Modellen, sich bei der Verarbeitung von …

Selbstaufmerksamkeit ermöglicht es Modellen, Abhängigkeiten zwischen allen Positionen in …