Hasło słownika
Koszt tokenów
Sposób rozliczania modeli, w którym płacisz za liczbę tokenów wejścia i wyjścia.
AIkategoria
2aliasy
Token cost Billing per token
Opis
Koszt rośnie wraz z długością promptu, liczbą dokumentów w kontekście i długością odpowiedzi. Optymalizacja to m.in. krótsze chunki, lepszy reranking i sensowne limity odpowiedzi.
Przykłady
- Długi system prompt + historia rozmowy = rachunek rośnie.
- Krótsze streszczenia i lepszy dobór źródeł w RAG obniżają koszty.