Zużycie dużych modeli językowych (LLM) mierzy się zazwyczaj w tokenach, czyli jednostkach przetwarzanych danych. Przyjmuje się orientacyjnie, że wygenerowanie tekstu liczącego 750 słów wymaga około 1000 tokenów. Liczba ta rośnie wraz ze stopniem złożoności zadania. Tworzenie kodu, obrazów, dźwięku czy wideo wymaga więc większej liczby tokenów. Im bardziej zaawansowany model, tym droższy jest pojedynczy token, ponieważ jego obsługa wymaga większej mocy obliczeniowej i większego zużycia energii.
Prawdziwy koszt sztucznej inteligencji wychodzi na jaw
Do tej pory koszty przetwarzania danych były w dużej mierze subsydiowane. Firmy takie jak OpenAI czy Anthropic przyciągnęły miliony użytkowników, ale jednocześnie generowały ogromne straty. Przejście na rozliczanie rzeczywistego wykorzystania jest próbą odzyskania przynajmniej części poniesionych nakładów. Nawet jeśli usługi nadal są oferowane poniżej faktycznych kosztów ich świadczenia, dla wielu klientów nowe rachunki okazały się szokiem.
GitHub Copilot zaczął wyświetlać użytkownikom prognozowane koszty zużycia tokenów, zachęcając ich do przejścia na nowe plany cenowe dopasowane do poziomu wykorzystania usługi. W internecie pojawiły się zrzuty ekranów użytkowników płacących około 40 USD miesięcznie za subskrypcję. Dowiedzieli się oni, że po zmianie zasad rozliczeń ich rachunki mogłyby przekroczyć... 700 USD miesięcznie.
Nowe plany Copilota nadal oferują możliwość kontrolowania wydatków dzięki abonamentom o stałej cenie, jednak wiążą się one z miesięcznymi limitami tokenów. Część użytkowników twierdziła, że wykorzystała połowę przydziału zaledwie po kilku dniach.
Koniec podejścia „AI za wszelką cenę”
Emily Castles otrzymuje przypomnienie o kosztach korzystania z tokenów za każdym razem, gdy otwiera laptop. Platforma OpenRouter, będąca rynkiem modeli językowych, wysyła jej powiadomienie o wydatkach bezpośrednio na telefon.
– Za każdym razem, gdy podnoszę klapę laptopa, znika mi kolejne 10 funtów – mówi.
Emily Castles jest przedsiębiorczynią z branży oprogramowania i współzałożycielką firmy Boundless, dostawcy oprogramowania do zarządzania zatrudnieniem, który został w tym roku przejęty przez Payoneer. Obecnie kieruje zespołem rozwijającym produkty do zarządzania pracownikami w Payoneer i uważa, że firmy czeka nieunikniona zmiana sposobu myślenia o kosztach AI.
– W ciągu ostatniego roku lub dwóch wszyscy wokół mnie powtarzali jedno: nieważne, ile to kosztuje, bo wzrost produktywności jest nieporównywalnie większy od wszystkiego, co można osiągnąć innymi metodami – mówi.
– W efekcie nauczyliśmy się budować rozwiązania maksymalizujące wykorzystanie modeli językowych i używać ich praktycznie do wszystkiego. Myślę jednak, że to podejście będzie musiało całkowicie się zmienić.
Nie każde zadanie potrzebuje sztucznej inteligencji
Jak zauważa Emily Castles, coraz więcej osób tworzy oprogramowanie za pomocą interakcji głosowej podczas spaceru, pracy w ogrodzie czy wykonywania codziennych czynności. Dla takich zaawansowanych użytkowników koszt nie stanowi dziś problemu – często rachunki pokrywają firmy. Pytanie brzmi jednak: w którym momencie stanie się to zbyt drogie?
Zdaniem Emily Castles konieczne będzie dokładniejsze analizowanie, gdzie wykorzystanie dużych modeli językowych rzeczywiście ma sens, a gdzie wystarczą prostsze modele lub nawet tradycyjne systemy automatyzacji. Spodziewa się również wzrostu zainteresowania modelami open source w przypadku mniej skomplikowanych zadań.
– Będziemy musieli znacznie rozsądniej oceniać, kiedy warto korzystać z AI, a kiedy nie. To będzie ogromna zmiana kulturowa, szczególnie dla osób, które wcześnie zaczęły korzystać z tej technologii.
Więcej AI nie zawsze oznacza większą produktywność
Bardziej oszczędne podejście do wykorzystania tokenów może być trudne do zaakceptowania dla osób, które przyzwyczaiły się do korzystania z generatywnej AI jak z nielimitowanego bufetu.
W niektórych firmach wysokie zużycie tokenów stało się wręcz powodem do dumy. Według doniesień Amazon, OpenAI, Meta i inne firmy stworzyły wewnętrzne rankingi zachęcające pracowników do maksymalizowania wykorzystania modeli AI. Efekty okazały się jednak odwrotne od zamierzonych.
„Financial Times” informował, że pracownicy Amazona, zachęcani do korzystania z wewnętrznego narzędzia służącego do tworzenia automatycznych agentów połączonych z firmowym oprogramowaniem, zaczęli przydzielać tym agentom zbędne zadania wyłącznie po to, aby zwiększyć zużycie tokenów.
Firmy szukają lepszych mierników dla AI
– Gdy tylko zaczynasz coś mierzyć, ludzie zmieniają swoje zachowanie w sposób, którego wcześniej nie przewidziałeś – mówi Emily Castles. – To ten sam mechanizm co zawsze, tylko zastosowany do nowej technologii.
Z tego powodu wielu programistów nie uważa liczby tokenów za wiarygodny wskaźnik efektywności. Jednocześnie menedżerowie potrzebują jakiejś miary pozwalającej ocenić sukces lub porażkę wdrożenia AI. Jak podkreśla Emily Castles, takie niedoskonałe wskaźniki należy zawsze interpretować w szerszym kontekście i upewniać się, że mierzą faktycznie to, co powinny mierzyć.
Artykuł opublikowany za „Business Post”, irlandzkim dziennikiem biznesowym z Grupy Bonnier.