Ngữ cảnh dài
term_id: long_context
Category: basic_concepts
Definition
Ngữ cảnh dài đề cập đến khả năng của các mô hình dựa trên kiến trúc Transformer trong việc xử lý các độ dài đầu vào rất lớn, thường vượt quá giới hạn tiêu chuẩn như 2k hoặc 4k token. Khả năng này cho phép các mô hình phân tích toàn bộ tài liệu, mã nguồn hoặc cuộc hội thoại dài mà không bị mất thông tin ở phần đầu, nhờ vào các cơ chế chú ý hiệu quả hơn và kỹ thuật mã hóa vị trí tiên tiến.
Summary
Khả năng của một mô hình ngôn ngữ trong việc xử lý và duy trì thông tin từ các chuỗi đầu vào chứa hàng nghìn hoặc hàng triệu token.
Key Concepts
- Cửa sổ ngữ cảnh
- Giới hạn token
- Cơ chế chú ý
- Mã hóa vị trí
Use Cases
- Tóm tắt toàn bộ hợp đồng pháp lý
- Phân tích kho lưu trữ mã nguồn hoàn chỉnh
- Xử lý bản ghi âm thanh dạng dài