Hasło słownika
Token
Małe kawałki tekstu, na których model operuje - z nich składa wejście i wyjście.
AIkategoria
2aliasy
Tokeny Tokens
Opis
Token nie musi być całym słowem - czasem to fragment słowa lub znak. Limity tokenów wpływają na długość kontekstu, koszt i szybkość generowania.
Przykłady
- Limit 128k tokenów oznacza, ile łącznie wejdzie prompt + dokumenty + odpowiedź.
- Rozjazd w tokenach tłumaczy, czemu dwa podobne prompty mają różny koszt.