🔤

Tokenizer Explorer

Entdecke, wie LLMs Text in Tokens zerlegen

0 Tokens
0 Zeichen
0.0 Zeichen/Token
Visualisierung der Tokens
Gib Text ein, um Tokens zu sehen
Token-IDs (wie vom Modell gesehen)
[]
💡 Wusstest du? LLMs sehen Text nicht als Buchstaben, sondern als Tokens – kleine Textbausteine mit eindeutigen IDs. Ein Token kann ein Wort, ein Wortteil oder sogar nur ein Zeichen sein. Leerzeichen werden oft mit dem folgenden Wort kombiniert (wie ␣quick). Die Tokenisierung beeinflusst direkt Kosten und Kontextlänge bei API-Aufrufen.