Transformers

Terms tagged with Transformers

Definition

XLM-RoBERTa (Cross-lingual Language Model RoBERTa) adalah model multibahasa skala besar …

Prefix Tuning adalah teknik adaptasi efisien parameter untuk transformer pra-pelatihan. …

Konteks panjang merujuk pada kapasitas model berbasis transformer untuk menangani panjang …

Isi Masker adalah tujuan pra-pelatihan fundamental yang digunakan dalam model berbasis …

ExBERT memberikan interpretabilitas untuk model transformer BERT dengan menganalisis …

Karena transformer memproses semua token secara paralel daripada secara berurutan seperti …

Encoder memproses urutan atau struktur data mentah dan mengubahnya menjadi representasi …

Adapter adalah teknik penyetelan halus yang efisien secara parameter, yang terutama …

Mekanisme attention memungkinkan model untuk fokus pada informasi yang relevan saat …

Perhatian diri memungkinkan model menangkap ketergantungan antara semua posisi dalam …