NVIDIA wprowadza Skip Softmax – rewolucja w szybkości LLM-ów
Czy naprawdę trzeba liczyć uwagę do każdego słowa w 128 tysiącach tokenów? NVIDIA twierdzi, że nie – i pokazuje, jak zrobić to szybciej, nie rozwalając modelu.
FlashAttention
NVIDIA prezentuje Skip Softmax – rewolucja w obliczeniach LLM!
Czy naprawdę musimy liczyć uwagę każdego tokena do każdego innego tokena, tylko dlatego że tak mówi matematyka? NVIDIA twierdzi, że nie – i pokazuje, jak zrobić to sprytniej.