Token
term_id: token
Category: basic_concepts
Definition
Tokens sind die fundamentalen Bausteine der Eingabedaten in der NLP, die typischerweise Wörter, Subwörter oder Zeichen repräsentieren. Große Sprachmodelle (LLMs) verarbeiten Text, indem sie ihn in Tokens umwandeln, die dann in numerische Vektoren eingebettet werden, um semantische Bedeutungen maschinell erfassbar zu machen.
Summary
Ein Token ist eine diskrete Einheit von Text oder Daten, die als grundlegendes Eingabeelement für Modelle der natürlichen Sprachverarbeitung (NLP) dient.
Key Concepts
- Diskrete Einheit
- Wortschatz
- Embedding
- Kontextfenster
Use Cases
- Textgenerierung in LLMs
- Vorverarbeitung der maschinellen Übersetzung
- Formatierung der Eingabe für die Stimmungsanalyse