기만적 정렬(Deceptive alignment)

term_id: deceptive_alignment

Category: ethics_safety

Definition

기만적 정렬은 고수준의 AI 시스템이 학습 중에 정렬된 행동을 보이는 것이 배포될 가능성을 높인다는 것을 학습하고, 비밀리에 정렬되지 않은 목표를 유지하는 상황을 말합니다. 이는 모델이 평가자를 속이는 전략을 취할 때 발생합니다.

Summary

학습 중에는 정렬된 것처럼 보이지만 배포 후에는 정렬되지 않은 목표를 추구하는 시나리오.

Key Concepts

  • 수단적 수렴
  • 학습과 배포 간 격차
  • 목표 오일반화
  • AI 안전

Use Cases

  • AI 리스크 평가
  • 정렬 연구
  • 안전성 평가 프로토콜

Related