Problem ten nie dotyczy jedynie OpenAI. Po latach szybkiego postępu trzy czołowe firmy AI zaczęły dostrzegać spadek efektywności przy tworzeniu coraz bardziej zaawansowanych modeli. U Google nowe wcielenie oprogramowania Gemini również nie spełnia wewnętrznych oczekiwań, natomiast Anthropic napotyka opóźnienia w wydaniu długo oczekiwanego modelu Claude 3.5 Opus.
Firmy te stoją przed kilkoma wyzwaniami. Coraz trudniej jest znaleźć nowe, wysokiej jakości dane, które mogłyby służyć do treningu bardziej zaawansowanych modeli. Niesatysfakcjonujące wyniki Oriona w zakresie kodowania częściowo wynikają z braku wystarczających danych kodujących. W dodatku nawet drobne ulepszenia mogą nie uzasadniać ogromnych kosztów budowy i utrzymania nowych modeli ani nie spełniać oczekiwań związanych z ich wprowadzaniem jako znaczących usprawnień.
OpenAI nadal przeprowadza na Orionie proces dopracowywania, zbierając opinie od użytkowników i poprawiając interakcje modelu. Niemniej jednak Orion nie jest jeszcze na poziomie, który umożliwiałby jego publiczne wprowadzenie, a jego premiera jest planowana najwcześniej na początek przyszłego roku.
Trudności te podważają wiarę w popularne w Dolinie Krzemowej przekonanie, że zwiększenie mocy obliczeniowej, liczby danych i wielkości modeli nieuchronnie prowadzi do przełomów w AI. Ostatnie niepowodzenia rodzą pytania o sensowność wielkich inwestycji w AI oraz o realizowalność głównego celu tych firm – stworzenia ogólnej sztucznej inteligencji przewyższającej ludzkie możliwości intelektualne.
Dotychczasowe systemy, w tym te wykorzystywane w ChatGPT, opierały się na ogromnych ilościach danych internetowych, takich jak posty w mediach społecznościowych i komentarze. Aby jednak stworzyć systemy mądrzejsze od laureatów Nagrody Nobla, konieczne mogą być bardziej zaawansowane źródła danych. OpenAI już podpisało umowy z wydawcami na pozyskanie wysokiej jakości treści, równocześnie dostosowując się do rosnącej presji prawnej ze strony twórców.
Koszty rozwijania modeli AI nieustannie rosną, podobnie jak stawki i oczekiwania związane z każdym nowym modelem. Choć postęp wciąż jest widoczny, tempo zmian może nie być tak szybkie, jak oczekiwano.