TurboQuant od Google oszczędza pamięć, ale nie uchroni nas przed drastycznymi cenami DRAM

W świecie zdominowanym przez rosnące koszty infrastruktury AI, każda innowacja obiecująca redukcję zapotrzebowania na zasoby jest przyjmowana z ogromnym entuzjazmem. Kiedy Google zaprezentowało TurboQuant, technologię kompresji danych AI, branża zareagowała niemal euforycznie, widząc w niej ratunek przed drastycznymi podwyżkami cen pamięci DRAM, które od zeszłego roku wzrosły trzykrotnie. Rzeczywistość jest jednak bardziej złożona: choć technologia ta redefiniuje efektywność inferencji, niekoniecznie przełoży się na niższe rachunki za podzespoły.

TurboQuant to zaawansowana metoda kwantyzacji, która uderza w jeden z najbardziej palących problemów współczesnych dużych modeli językowych (LLM) — zarządzanie pamięcią podręczną kluczy i wartości, znaną jako KV cache. Według badaczy z Google, rozwiązanie to pozwala na co najmniej sześciokrotne ograniczenie zużycia pamięci podczas procesu wnioskowania. To imponujący wynik, biorąc pod uwagę, że pamięci DRAM i NAND osiągają obecnie rekordowe ceny, a zapotrzebowanie na moc obliczeniową w chmurze nie wykazuje oznak spowolnienia.

Inteligentna kompresja zamiast odchudzania modeli

W przeciwieństwie do tradycyjnych metod kwantyzacji, które skupiają się na zmniejszaniu rozmiaru samego modelu, TurboQuant obiera inny cel. Skupia się na redukcji objętości KV cache, który pełni rolę pamięci krótkotrwałej modelu AI. To właśnie tam przechowywany jest kontekst trwającej rozmowy, co pozwala modelowi "pamiętać", o czym była mowa kilka akapitów wcześniej. Problem polega na tym, że w przypadku długich sesji, dane te narastają błyskawicznie, często zajmując więcej miejsca niż sam model.

Standardowo KV cache jest przechowywany z 16-bitową precyzją. Zmniejszenie tej wartości do ośmiu lub czterech bitów teoretycznie redukuje zapotrzebowanie na pamięć od dwóch do czterech razy. Google poszło jednak o krok dalej. TurboQuant pozwala osiągnąć jakość zbliżoną do 16-bitowego formatu BF16 przy użyciu zaledwie 3,5 bita. W testach na układach H100 wykazano nawet ośmiokrotne przyspieszenie obliczeń przy precyzji 4-bitowej, co stanowi przełom w wydajności operacji typu attention.

• Redukcja zużycia pamięci o współczynnik 6:1 dzięki zaawansowanej matematyce.
• Możliwość zejścia do 2,5 bita przy minimalnej utracie jakości generowanych treści.
• 8-krotny wzrost wydajności na procesorach graficznych NVIDIA H100 przy obliczaniu logitów atencji.
• Uniwersalne zastosowanie wykraczające poza LLM, obejmujące m.in. bazy danych wektorowych.

Matematyka za kurtyną: PolarQuant i QJL

Sukces TurboQuant opiera się na połączeniu dwóch innowacyjnych podejść matematycznych: PolarQuant oraz Quantized Johnson-Lindenstrauss (QJL). PolarQuant rewolucjonizuje sposób zapisu wektorów KV cache, mapując je na siatkę kołową przy użyciu współrzędnych biegunowych zamiast tradycyjnego układu kartezjańskiego. Zamiast opisywać położenie punktu poprzez osie X i Y, system operuje promieniem i kątem, co eliminuje konieczność kosztownej normalizacji danych.

Zastosowanie współrzędnych biegunowych sprawia, że każdy wektor odnosi się do wspólnego punktu odniesienia, co drastycznie redukuje narzut pamięciowy. Nad precyzją czuwa z kolei mechanizm QJL, który koryguje błędy powstałe podczas pierwszej fazy kompresji. Dzięki temu model zachowuje wysoką dokładność tzw. attention scores, decydujących o tym, które fragmenty kontekstu są kluczowe dla udzielenia poprawnej odpowiedzi na zapytanie użytkownika.

"To porównywalne do zastąpienia instrukcji 'idź 3 bloki na wschód i 4 bloki na północ' poleceniem 'idź łącznie 5 bloków pod kątem 37 stopni'" — tłumaczą badacze Google w oficjalnym komunikacie.

Paradoks wydajności a rynkowe realia

Mimo że TurboQuant oferuje spektakularny współczynnik kompresji 6:1, nadzieje inwestorów na spadek cen pamięci mogą okazać się płonne. Choć technologia ta czyni klastry inferencyjne AI bardziej wydajnymi i tańszymi w eksploatacji, historia technologii uczy, że zwiększona efektywność rzadko prowadzi do spadku popytu. Wręcz przeciwnie — pozwala ona na realizację projektów, które wcześniej były ekonomicznie nieuzasadnione.

Jeszcze rok temu otwarte modele, takie jak DeepSeek R1, oferowały okna kontekstowe rzędu 64 do 256 tysięcy tokenów. Dziś standardem stają się modele obsługujące ponad milion tokenów. W obliczu rosnącej popularności asystentów kodowania i systemów agentowych, takich jak OpenClaw, dostawcy usług AI prawdopodobnie wykorzystają oszczędności z TurboQuant do oferowania jeszcze większych okien kontekstowych, zamiast kupować mniej kości DRAM.

Analizy firmy TrendForce potwierdzają tę tezę: TurboQuant może paradoksalnie napędzić popyt na pamięć, stymulując rozwój aplikacji wymagających gigantycznego kontekstu. Zamiast obniżki cen, czeka nas zatem kolejna faza wyścigu zbrojeń, w której zyskana przestrzeń zostanie natychmiast wypełniona nowymi danymi. TurboQuant jest potężnym narzędziem w rękach inżynierów, ale w starciu z rynkową dynamiką cen DRAM, pozostaje jedynie plastrem na głęboką ranę kosztów infrastrukturalnych.