Transformers

Terms tagged with Transformers

Definition

XLM-RoBERTa(Cross-lingual Language Model RoBERTa)는 Meta AI에서 개발한 대규모 다국어 모델입니다. 100개 이상의 …

프리픽스 튜닝은 사전 훈련된 트랜스포머 모델에 적용되는 파라미터 효율적인 적응 기술입니다. 모든 모델 가중치를 업데이트하는 대신, 학습 가능한 연속 벡터 시퀀 …

롱 컨텍스트는 트랜스포머 기반 모델이 표준 제한(예: 2k 또는 4k 토큰)을 종종 초과하는 광범위한 입력 길이를 처리할 수 있는 능력을 의미합니다. …

마스크 채우기는 BERT와 같은 트랜스포머 기반 모델에서 사용되는 기본 사전 학습 목적 함수입니다. …

ExBERT는 서로 다른 레이어에 걸쳐 개별 어텐션 헤드의 중요성을 분석하여 BERT 트랜스포머 모델에 대한 해석 가능성을 제공합니다. 이는 그래디언트 기반 귀 …

트랜스포머는 RNN과 달리 시퀀스가 아닌 병렬로 모든 토큰을 처리하므로 토큰 순서에 대한 고유한 지식이 부족합니다. 위치 인코딩은 입력 임베딩에 특정 벡터를 추 …

인코더는 원시 입력 시퀀스나 데이터 구조를 처리하여 잠재 공간(latent space) 표현, 즉 종종 임베딩이나 코드로 불리는 형태로 변환합니다. 이들은 트랜 …

어댑터는 주로 대규모 언어 모델과 트랜스포머에서 사용되는 매개변수 효율적인 파인튜닝 기법입니다. 계산 비용이 많이 드는 모든 모델 가중치를 업데이트하는 대신, …

어텐션 메커니즘은 모델이 입력을 처리할 때 관련 정보에 집중할 수 있게 합니다. 특히 텍스트와 같은 순차적 데이터에서 어텐션 스코어를 계산함으로써 모델은 현재 …

셀프 어텐션은 거리의长短에 상관없이 시퀀스 내 모든 위치 간의 의존성을 동시에 포착할 수 있게 합니다. 모든 토큰 쌍 사이에 어텐션 점수를 계산함으로써, …