Hasło słownika

Latency

Czas od wysłania zapytania do otrzymania odpowiedzi z modelu lub systemu AI.

AIkategoria
1aliasy
Kategoria: AI
Aliasy: Response latency

Opis

Na latency wpływa długość kontekstu, liczba kroków (np. agent), sieć, kolejki i szybkość sprzętu. W produktach użytkowych latency często jest równie ważne jak jakość.

Przykłady

  • RAG dodaje dodatkowy etap wyszukiwania, więc zwiększa latency.
  • Agent potrafi wykonać 5 wywołań API, więc odpowiedź trwa dłużej.
InferenceRAGAgent AIKoszt tokenów