Pamięć dla AI: co inwestorzy powinni wiedzieć

Rozwój sztucznej inteligencji tworzy coraz większe wąskie gardło w obszarze pamięci. Analitycy Bernstein oceniają, że popyt wykracza poza pamięć o dużej przepustowości HBM (high-bandwidth memory) i obejmuje także konwencjonalne układy DRAM, pamięć flash NAND oraz rozwiązania do przechowywania danych.

Możliwości inwestycyjne w całym sektorze pamięci będą w coraz większym stopniu zależeć od rodzaju obciążenia związanego ze sztuczną inteligencją. Trenowanie modeli, ich wykorzystanie do generowania odpowiedzi, generowanie wspomagane wyszukiwaniem oraz systemy agentowe AI stawiają przed pamięcią różne wymagania.

Trenowanie modeli wymaga dużej mocy obliczeniowej. Przepustowość pamięci, czyli szybkość przesyłania danych, ogranicza rozmiar modelu i szybkość obliczeń. Kluczową rolę odgrywa HBM, ale trenowanie modeli na dużą skalę wymaga również systemowej pamięci DRAM, lokalnych dysków SSD oraz pamięci masowej dostępnej przez sieć do przechowywania zbiorów danych, pamięci podręcznej i punktów kontrolnych.

Wykorzystanie gotowego modelu AI do generowania odpowiedzi wiąże się z innymi wyzwaniami. Pierwszy etap, nazywany „prefill”, polega na przetworzeniu polecenia przez model i wygenerowaniu pierwszego tokena, czyli jednostki tekstu takiej jak słowo lub jego fragment. Ten etap zależy głównie od mocy obliczeniowej, dlatego większe znaczenie mają procesory graficzne i pamięć HBM.

Kolejny etap, „decode”, jest ograniczony przede wszystkim przez pamięć. Model przechowuje wcześniejsze tokeny w pamięci klucz-wartość (pamięci podręcznej KV). Zapotrzebowanie na tę pamięć rośnie wraz z długością kontekstu oraz liczbą użytkowników korzystających z usługi jednocześnie. Bernstein ocenia, że w dużych wdrożeniach pamięć podręczna KV może wymagać więcej miejsca niż same wagi modelu. Może to ograniczać liczbę użytkowników obsługiwanych przez usługę AI.

Presja ta prowadzi do powstawania nowych warstw pamięci. Należą do nich pamięć CXL, inicjatywa „Storage Next” firmy Nvidia oraz CMX Context Storage, czyli pamięć do przechowywania kontekstu. Rozwiązania te uzupełniają HBM, konwencjonalne układy DRAM i dyski SSD. Ich celem jest znalezienie równowagi między wydajnością, pojemnością i kosztem, ponieważ systemy AI potrzebują coraz większych zasobów pamięci.

Generowanie wspomagane wyszukiwaniem (RAG) może dodatkowo poszerzyć popyt. Technologia ta pozwala modelowi wyszukiwać informacje w zewnętrznej bazie danych przed przygotowaniem odpowiedzi. Według Bernstein budowa takich baz wymaga dużej pojemności dysków SSD lub HDD, a także systemowej pamięci DRAM. Rola DRAM rośnie szczególnie wtedy, gdy bazy danych są przeszukiwane.

Systemy agentowe AI mogą jeszcze bardziej zwiększyć wymagania sprzętowe. Zachowują one wyniki pośrednie, korzystają z zewnętrznych narzędzi i przekazują rezultaty między poszczególnymi agentami. Może to szybko zwiększać zapotrzebowanie na pamięć podręczną KV, a jednocześnie podnosić wymagania wobec procesorów i konwencjonalnej pamięci w tradycyjnych serwerach.

Producenci pamięci rozwijają również technologie takie jak pamięć flash o dużej przepustowości. Ma ona łączyć przepustowość zbliżoną do HBM z większą pojemnością i niższym kosztem charakterystycznymi dla pamięci NAND. Bernstein ocenia, że bariery techniczne pozostają jednak wysokie.

Bernstein ocenia perspektywy spółek Samsung Electronics, SK hynix, Micron, SanDisk, Seagate i Western Digital jako lepsze od rynku („Outperform”). Kioxia otrzymała ocenę wskazującą na oczekiwane wyniki słabsze od rynku („Underperform”).