Hasło słownika
Kwantyzacja
Technika, która zmniejsza rozmiar modelu i przyspiesza inference przez użycie mniej precyzyjnych liczb (np. 8-bit).
AIkategoria
1aliasy
Quantization
Opis
Kwantyzacja obniża wymagania sprzętowe i koszty, ale czasem pogarsza jakość lub stabilność. W praktyce to kompromis: szybkość i cena vs jakość.
Przykłady
- Uruchamiasz większy model na słabszym GPU dzięki kwantyzacji.
- Na edge device schodzisz do 4/8-bit, żeby zmieścić model w pamięci.