מגבלת טוקנים
term_id: token_limit
Category: engineering_practice
Definition
מגבלת הטוקנים מגדירה את אילוץ גודל חלון ההקשר עבור מודלי שפה גדולים (LLMs), ומגבילה את כמות הטקסט שניתחת או תיוצר בו זמנית. גבול ארכיטקטוני זה משפיע על ניהול הזיכרון, יעילות החישוב ועל הצורך לפרוס מסמכים ארוכים לחלקים קטנים יותר כדי להתאים למגבלות המודל.
Summary
המספר המקסימלי של טוקנים שמודל בינה מלאכותית יכול לעבד ברצף קלט או פלט בודד.
Key Concepts
- חלון הקשר
- קיצוץ (Truncation)
- נדפיק הנדסה (Prompt Engineering)
- ניהול זיכרון
Use Cases
- עיצוב מערכות RAG (חיזוק יצירה באמצעות החזרה)
- אופטימיזציה של אורך הפקודה (Prompt)
- עיבוד מסמכים ארוכים