Hasło słownika
AWS Trainium
Rodzina akceleratorów AI AWS projektowana do trenowania i inferencji modeli generatywnych w chmurze.
AIkategoria
4aliasy
Trainium Trainium3 Trainium 3 chip Trainium
Opis
Trainium jest odpowiedzią AWS na potrzebę tańszej i skalowalnej mocy obliczeniowej dla AI. W przeciwieństwie do Gravitona, który jest CPU ogólnego przeznaczenia, Trainium jest akceleratorem dla obciążeń uczenia maszynowego. W praktyce wybór między GPU, Trainium, TPU czy własnym układem zależy od frameworków, kosztu, dostępności i tego, czy workload da się dobrze przenieść na dany stos.
Przykłady
- Klaster Trainium obsługuje trening lub inferencję modeli generatywnych w AWS.
- Zespół porównuje koszt tokena na GPU i na instancjach z Trainium.