הקשר ארוך
term_id: long_context
Category: basic_concepts
Definition
הקשר ארוך מתייחס ליכולתם של מודלים מבוססי מתמרים (Transformers) להתמודד עם אורכי קלט נרחבים, לעיתים חורגים ממגבלות סטנדרטיות כמו 2K או 4K טוקנים. יכולת זו מאפשרת למודלים לנתח מסמכים שלמים, קוד מקור מורחב או שיחות ארוכות ברציפות, תוך שמירה על הקשר ומשמעות לאורך כל הרצף, מה שמשפר משמעותית את הביצועים במשימות הדורשות הבנה עמוקה וארוכת טווח.
Summary
היכולת של מודל שפה לעבד ולשמור מידע מרצפי קלט הכוללים אלפים או מיליוני טוקנים.
Key Concepts
- חלון הקשר
- מגבלת טוקנים
- מנגנון תשומת לב
- קידוד מיקומי
Use Cases
- סיכום חוזים משפטיים מלאים
- ניתוח מאגרי קוד מקור שלמים
- עיבוד תמלילים ארוכים של הקלטות שמע