Hasło słownika
Inference
Etap używania wytrenowanego modelu do generowania odpowiedzi na konkretny prompt.
AIkategoria
A-Zhasło słownika
Opis
Inference to 'produkcja': model dostaje tokeny wejściowe i generuje tokeny wyjściowe. Koszt i latency zależą m.in. od długości kontekstu, szybkości sprzętu i parametrów losowości.
Przykłady
- API do modelu liczy opłatę za tokeny w inference, nie za trening.
- Czas odpowiedzi rośnie, gdy doklejasz dużo dokumentów do promptu.