Transformers

Terms tagged with Transformers

Definition

Prefix Tuning je technika adaptace s nízkou spotřebou parametrů pro předtrénované …

Dlouhé kontexty označují kapacitu modelů založených na architektuře transformátoru …

Vyplnění masky je základním cílem předvýcviku používaným v modelech založených na …

ExBERT poskytuje interpretovatelnost modelu BERT (transformeru) analýzou důležitosti …

Protože modely transformer zpracovávají všechny tokeny paralelně, nikoli sekvenčně jako …

Kodéry zpracovávají surové vstupní sekvence nebo datové struktury a převádí je na …

Adaptéry jsou technikou efektivního doladění parametrů používanou především u velkých …

Mechanismy pozornosti umožňují modelům soustředit se na relevantní informace při …

Self-attention umožňuje modelům zachytit závislosti mezi všemi pozicemi v sekvenci …