Token
term_id: token
Category: basic_concepts
Definition
Tokeny są fundamentalnymi blokami konstrukcyjnymi danych wejściowych w NLP, reprezentującymi zazwyczaj słowa, podwyrazy lub znaki. Duże Modele Językowe (LLM) przetwarzają tekst, konwertując go na tokeny, które są następnie mapowane na wektory w przestrzeni embeddingowej.
Summary
Token to dyskretna jednostka tekstu lub danych, która stanowi podstawowy element wejściowy dla modeli przetwarzania języka naturalnego.
Key Concepts
- Jednostka dyskretna
- Słownictwo (vocabulary)
- Embedding (osadzenie)
- Okno kontekstowe
Use Cases
- Generowanie tekstu w dużych modelach językowych
- Przetwarzanie wstępne do tłumaczenia maszynowego
- Formatowanie danych wejściowych do analizy sentymentu