선형(Linear)

term_id: linear

Category: basic_concepts

Definition

선형 연산은 비선형 활성화 함수 없이 곱셈과 덧셈만을 포함합니다. 신경망에서 선형 레이어(또는 밀집 레이어)는 입력 벡터에 가중치 행렬 변환을 적용합니다.

Summary

출력이 입력에 비례하는 연산이나 관계를 설명하며, 신경망 레이어의 아핀 변환의 기초를 형성합니다.

Key Concepts

  • 가중치 행렬(Weight Matrix)
  • 아핀 변환(Affine Transformation)
  • 내적(Dot Product)
  • 중첩 원리(Superposition)

Use Cases

  • 특징 투영(Feature Projection)
  • 로지스틱 회귀(Logistic Regression)
  • 어텐션 메커니즘(Attention Mechanisms)

Code Example

1
2
3

import torch.nn as nn
layer = nn.Linear(10, 5)
output = layer(input_tensor)

Related