Epoch AI, instytut badawczy specjalizujący się w AI, pokazuje w obszernej analizie, że utrzymanie dotychczasowego tempa wzrostu mocy obliczeniowej modeli językowych jest technicznie wykonalne do 2030 r. Dziś tempo rozwoju AI wynosi 400 proc. rocznie i ma się utrzymać przez kilka lat. Do końca dekady możliwe będzie trenowanie modeli o skali 2e29 FLOP, co oznacza skok rozwojowy podobny do przejścia z GPT-2 (bardzo podstawowy model z 2019 r., który był w stanie generować szczątkowe teksty) na GPT-4 (zaawansowany model multimodalny z 2024 r.). Mówiąc prościej: zobaczymy modele o niebo lepsze od obecnych. Takie, których rzeczywistych zastosowań i skali wpływu nawet nie jesteśmy dziś w stanie sobie w pełni wyobrazić
Ale tempo postępu technologicznego w zakresie AI może stopniowo wytracać swój impet. Wprawdzie wciąż będzie ono zawrotne, ale nie utrzyma już obecnej ekstremalnej dynamiki. Główne przesłanie analityków Epoch AI jest takie: dziś ewentualną barierą rozwojową AI są inwestycje firm (bariera do pokonania), podczas gdy za kilka lat możliwości dalszego postępu zderzą się z twardymi, fizycznymi barierami – dostępnością energii elektrycznej i kruchością łańcucha dostaw czipów. Pokonanie tych ostatnich nie będzie już tak łatwe.
Obecnie jedynym potencjalnym ograniczeniem jest to, czy firmy dostrzegają potencjał AI i inwestują, czy też nie. Zasobów danych do trenowania modeli jeszcze nie brakuje. Obecne moce produkcyjne czipów są na tyle duże, że wystarczą na kilka lat i powinny nadążyć za popytem. Sieć elektroenergetyczna, choć wystawiona na większe ryzyko blackoutu niż przed erą AI, również powinna wytrzymać presję masywnych inwestycji w centra danych. Oznacza to, że teraz postęp może być ograniczony głównie przez kapitał finansowy, a nie fizyczny.
Obserwując rosnące wydatki na środki trwałe największych firm technologicznych w USA, można wnioskować, że rynek dostrzega ten potencjał i brak kapitału finansowego nie przyhamuje postępu. Open AI za pośrednictwem nowej spółki Stargate Project ma w planie zainwestować w ciągu najbliższych czterech lat aż 500 mld USD w budowę nowej infrastruktury technicznej pod sztuczną inteligencję.
Jednak po 2030 r. wejdziemy w erę, w której dalszy rozwój będzie hamowany przez kapitał fizyczny: wąskie gardła w mocy i infrastrukturze sieci systemu elektroenergetycznego oraz w produkcji czipów. Te wyzwania oczywiście dotyczą w dużej mierze USA, bo to ten kraj jest liderem postępu technologicznego.
Po pierwsze może brakować nie tylko elektrowni o wystarczającej mocy, ale przede wszystkim rozwiniętej infrastruktury, która by je obsłużyła. Argument jest taki: można zbudować nowe elektrownie (to kilka lat), ale już trudniej równolegle rozwijać całą infrastrukturę przesyłu (to co najmniej 10 lat).
Po drugie może brakować na rynku fundamentalnych komponentów czipów, czyli pamięci HBM (High-Bandwidth Memory) i technologii CoWoS (Chip-on-Wafer-on-Substrate). Nie wdając się w szczegóły, są to elementy, bez których żaden czip nie powstanie. Produkcja tych elementów na masową skalę jest czasochłonna, bo wymaga wysokiego zaawansowania technologicznego i inżynieryjnego. Z reguły liczba dóbr najbardziej zaawansowanych jest mniejsza niż tych mniej zaawansowanych. Wprawdzie TSMC (tajwański producent półprzewodników) agresywnie rozbudowuje moce w tempie 60 proc. rocznie, ale to może być za wolno, by nadążyć za popytem.
To, co widzimy jako produkt finalny (multimodalny model językowy wspierający nas w nauce nowego języka, pisaniu kodu, planowaniu podróży), jest efektem bardzo złożonej sieci powiązań, wielu rynków (energii, czipów, giełdy). Wystarczy, że jeden rynek zawiedzie, a cały rozwój AI spowalnia. Z drugiej strony nawet jeżeli sztuczna inteligencja będzie rozwijać się w tempie bliższym 100-200 proc., a nie 400 proc. jak teraz, należy to pozytywnie ocenić. Będzie to wciąż tempo ekstremalne.
Wciąż jednak najważniejsze pytanie dla świata ekonomii i biznesu pozostaje otwarte: czy cały ten postęp znajdzie w końcu odzwierciedlenie we wzroście PKB i realnym dobrobycie. To największa niewiadoma.