In-Context Learning

term_id: in_context_learning

Category: application_paradigms

Definition

Học trong ngữ cảnh (In-context Learning - ICL) cho phép các mô hình ngôn ngữ lớn thích nghi với các nhiệm vụ mới mà không cần cập nhật trọng số. Bằng cách cung cấp các cặp đầu vào-đầu ra trong ngữ cảnh của lời nhắc, mô hình suy luận ra quy luật và thực hiện nhiệm vụ ngay lập tức.

Summary

Một kỹ thuật mà mô hình học cách thực hiện nhiệm vụ bằng cách quan sát các ví dụ được cung cấp trong lời nhắc (prompt).

Key Concepts

  • Few-Shot Learning (Học vài ví dụ)
  • Zero-Shot (Học không ví dụ)
  • Thiết kế Lời nhắc (Prompt Design)
  • Thích ứng Không cần Trọng số (Weight-Free Adaptation)

Use Cases

  • Nhanh chóng thử nghiệm khả năng của mô hình trên các tập dữ liệu mới
  • Chuyển đổi nhiệm vụ động trong các đại diện trò chuyện
  • Xây dựng nguyên mẫu ứng dụng AI mà không cần huấn luyện lại

Code Example

1
2

prompt = "Translate English to French:\nEnglish: Hello\nFrench: Bonjour\nEnglish: Cat\nFrench:"
response = model.generate(prompt)

Related