Hasło słownika
GPU
Procesor wyspecjalizowany w masowo równoległych obliczeniach, kluczowy m.in. dla trenowania i inferencji modeli AI.
AIkategoria
4aliasy
Graphics Processing Unit procesor graficzny karta GPU akcelerator GPU
Opis
GPU świetnie radzi sobie z dużą liczbą podobnych operacji wykonywanych równolegle, dlatego stał się podstawowym sprzętem dla deep learningu. W AI GPU przyspiesza mnożenia macierzy, trening modeli i część inferencji. Nie zastępuje jednak CPU: procesor ogólnego przeznaczenia nadal koordynuje system, sieć, pamięć, kolejki i logikę aplikacji.
Przykłady
- Trening dużego modelu językowego zwykle wymaga klastra GPU.
- W systemie agentowym GPU liczy model, a CPU obsługuje orkiestrację i ruch między usługami.