Token maxxing
term_id: token_maxxing
Category: basic_concepts
Definition
Token maxxing polega na starannym konstruowaniu wejść, aby wykorzystać pełną pojemność okna kontekstowego modelu lub zoptymalizować gęstość semantyczną tokenów dla lepszej wydajności. Praktycy mogą dodawać…
Summary
Strategia optymalizacji w inżynierii promptów mająca na celu maksymalizację użyteczności lub jakości wyjścia przy określonej liczbie tokenów w dużych modelach językowych.
Key Concepts
- Inżynieria promptów
- Okno kontekstowe
- Gęstość semantyczna
- Optymalizacja
Use Cases
- Maksymalizacja zdolności wnioskowania LLM
- Redukcja kosztów korzystania z interfejsu API
- Testowanie granic modelu