어텐션 메커니즘

term_id: attention_mechanism

Category: basic_concepts

Definition

어텐션 메커니즘은 모델이 입력 시퀀스 내의 서로 다른 요소들의 중요도를 동적으로 가중치 부여할 수 있게 합니다. 모든 입력 데이터를 동일하게 취급하는 대신, 어텐션 메커니즘은 각 요소에 서로 다른 수준의 의미를 할당합니다.

Summary

신경망이 출력을 생성할 때 입력 데이터의 특정 부분에 집중할 수 있게 하는 기술입니다.

Key Concepts

셀프 어텐션(Self-Attention)
컨텍스트 벡터
가중 합
트랜스포머 아키텍처

Use Cases

기계 번역 모델
이미지 캡션 생성
텍스트 요약