Hasło słownika
Transformer
Architektura sieci neuronowej stojąca za większością nowoczesnych modeli językowych i multimodalnych.
AIkategoria
1aliasy
Transformer architecture
Opis
Transformer używa mechanizmu uwagi (attention), żeby oceniać, które fragmenty wejścia są istotne dla kolejnych tokenów. To pozwala skalować modele i uczyć je zależności w długich sekwencjach.
Przykłady
- GPT-y i większość LLM bazują na transformerach.
- Modele tłumaczeń i streszczeń często mają architekturę transformerową.