Όριο Tokens
term_id: token_limit
Category: engineering_practice
Definition
Το όριο tokens ορίζει τον περιορισμό του μεγέθους του παραθύρου συμφραζομένων για τα μεγάλα γλωσσικά μοντέλα, περιορίζοντας πόσο κείμενο μπορεί να αναλυθεί ή να παραχθεί ταυτόχρονα. Αυτό το αρχιτεκτονικό όριο επηρεάζει τη διαχείριση της μνήμης,
Summary
Ο μέγιστος αριθμός tokens που μπορεί να επεξεργαστεί ένα μοντέλο τεχνητής νοημοσύνης σε μία μόνο ακολουθία εισόδου ή εξόδου.
Key Concepts
- Παράθυρο Συμφραζομένων
- Αποκοπή
- Μηχανική Prompt
- Διαχείριση Μνήμης
Use Cases
- Σχεδιασμός συστημάτων RAG
- Βελτιστοποίηση μήκους prompt
- Επεξεργασία μεγάλων εγγράφων