Agent AI do programowania, wykorzystujący model Claude Opus 4.6 firmy Anthropic, w ciągu dziewięciu sekund usunął produkcyjną bazę danych przedsiębiorstwa, a następnie skasował wszystkie kopie zapasowe znajdujące się w infrastrukturze Railway. To nie treningowy czarny scenariusz dla informatyków, tylko samo życie. Do takiej katastrofy doszło niedawno w firmie PocketOS.
Od chatbota do autonomicznego agenta
– Agent podczas rozwiązywania problemów w środowisku testowym znalazł token API Railway z szerokimi uprawnieniami i wykorzystał go do wykonania destrukcyjnej operacji za pośrednictwem API – opisał zdarzenie Jer Crane, założyciel PocketOS.
Przykład ten dobrze obrazuje postęp, jaki sztuczna inteligencja poczyniła w ostatnim czasie. Największą zmianą nie jest już to, że potrafi napisać dobre podsumowanie czy stworzyć przekonującą wiadomość e-mail. Największą zmianą jest to, że zaczęła działać samodzielnie. I właśnie w tym momencie pojawiają się zagrożenia znacznie poważniejsze od znanych wszystkim halucynacji w oknie czatu.
Kluczowa różnica między chatbotem a agentem AI
Klasyczny model generatywny jest przede wszystkim rozmówcą. Użytkownik zadaje pytanie i otrzymuje odpowiedź.
– Sam z siebie nic nie robi w twoim środowisku – po prostu czeka, aż o coś go zapytasz – mówi Ziga Humar z firmy Our Space Appliances.
Nawet taki model nie jest jednak pozbawiony ryzyka. Użytkownicy często wklejają do okien czatu kod z wewnętrznych repozytoriów, umowy, logi systemowe czy inne poufne dane, które nie powinny tam trafiać.
Ziga Humar podsumowuje różnicę w prosty sposób: "W przypadku klasycznego modelu najgorsze, co może się wydarzyć, to że wkleisz coś, czego nie powinieneś. W przypadku agenta każda jego decyzja oznacza działanie w twoim środowisku".
Agenci AI otwierają przed firmami nowe możliwości
Również przedstawiciele firmy Kontron SI oceniają, że wykorzystanie AI w przedsiębiorstwach – zwłaszcza systemów agentowych – jest obszarem złożonym, choć stwarzającym niespotykane dotychczas możliwości. Z tego powodu firma nawiązała partnerstwo z Kalmią, rozwijającą kompetencje w zakresie AI już od początków zastosowań sieci neuronowych, co daje jej znacznie lepszy wgląd zarówno w szanse, jak i zagrożenia.
Borut Terpinc, szef działu sztucznej inteligencji w Kalmii, opisuje agentów AI jako autonomiczne podmioty zdolne do samodzielnego planowania, podejmowania decyzji i wykonywania działań w określonym środowisku w celu osiągnięcia jasno zdefiniowanego rezultatu.
Samodzielne decyzje oznaczają nowe ryzyko
Klasyczne modele działają według schematu "pytanie – odpowiedź", natomiast agenci przypominają samodzielnych kierowników projektów. Dzielą zadania na mniejsze etapy, korzystają z zewnętrznych źródeł i narzędzi, potrafią korygować własne działania i zapamiętywać wcześniejsze zadania. W praktyce oznacza to, że użytkownik określa cel, a agent sam planuje drogę do jego realizacji.
Ziga Humar zwraca uwagę, że w przypadku agentów ryzyko nie tylko rośnie ilościowo, lecz także zmienia charakter.
– Błędna odpowiedź staje się błędnym działaniem – mówi przedstawiciel Our Space Appliances.
W klasycznym modelu między halucynacją a szkodą wciąż znajduje się człowiek, który może ocenić, czy odpowiedź ma sens. W przypadku agenta ta bariera często znika.
– Model się myli, agent klika i skutki pojawiają się natychmiast. Między halucynacją a szkodą mijają sekundy, a nie dni - podkreśla Ziga Humar.
Druga strona autonomii agentów AI
Ursa Dernovsek, kierująca działem rozwoju inicjatyw biznesowych w Kontronie SI, zwraca uwagę na drugą stronę medalu. Zastosowanie agentów może przynieść firmom ogromne oszczędności czasu, przyspieszyć procesy i zwiększyć efektywność inwestycji. Jednocześnie właśnie ich autonomiczność tworzy nowe ryzyko związane z zarządzaniem.
– Jeśli na którymkolwiek etapie zadania pojawią się błędne dane, halucynacja lub podstawiona instrukcja, agent AI może samodzielnie wykonać działanie prowadzące do strat finansowych, utraty danych, konsekwencji prawnych, a także szkód wizerunkowych – ostrzega Ursa Dernovsek.
Problem tkwi w architekturze modeli AI
Największe zagrożenie bezpieczeństwa związane z agentami tkwi nie tyle w samym modelu, ile w tym, że nie potrafi on wiarygodnie odróżnić polecenia od danych. Złośliwe instrukcje mogą zostać ukryte w wiadomości e-mail, dokumencie, stronie internetowej czy komentarzu, a agent może potraktować je jako prawidłowe wskazówki dotyczące dalszych działań.
Ziga Humar wskazuje obecnie właśnie ataki typu prompt injection, czyli podstawianie modelowi złośliwych poleceń, jako najpoważniejsze zagrożenie. Jego zdaniem nadużycia narzędzi, wyciek danych czy błędne autonomiczne decyzje są w praktyce często konsekwencją skutecznie podłożonych instrukcji. Atakujący nie musi włamywać się do systemu. Wystarczy, że przygotuje treść, którą agent przeczyta i wykona.
– Najgorsze jest to, że nie mamy do czynienia z błędem, który można usunąć w kolejnej aktualizacji bezpieczeństwa. To cecha architektury samych modeli – mówi Ziga Humar.
Modele AI nie rozróżniają danych od instrukcji
Modele językowe z natury nie rozróżniają w sposób niezawodny danych od poleceń – wszystko traktują jako tekst. Istnieją więc metody ograniczające prawdopodobieństwo skutecznego ataku, ale nie ma rozwiązania gwarantującego pełne bezpieczeństwo.
Podobnie sytuację ocenia Kontron SI. Za najbardziej niebezpieczne uznaje połączenie utraty kontroli nad wykonywanymi działaniami i podatności na ataki typu prompt injection. Agent nie podąża bowiem z góry określoną ścieżką typu „jeśli A, to B”, lecz na bieżąco dostosowuje kolejne kroki. Jeżeli napastnik ukryje złośliwe polecenie w dokumencie lub na stronie internetowej, agent może je odczytać i wykonać, ponieważ nie zawsze potrafi odróżnić instrukcje właściciela od poleceń atakującego.
To właśnie połączenie autonomii i podatności na wpływy zewnętrzne może prowadzić do utraty danych, nadużycia narzędzi lub wykonywania niepożądanych działań.
Poufne dane mogą wyciec bez udziału hakera
W przypadku agentów problemem nie jest wyłącznie złośliwy cyberprzestępca. Równie dużym zagrożeniem są źle skonfigurowane uprawnienia.
Jeżeli programista zapewni agentowi dostęp do repozytorium kodu, aby pomógł w programowaniu, w kodzie mogą znajdować się klucze API, hasła do baz danych, certyfikaty czy odnośniki do systemów wewnętrznych. Agent nie musi rozumieć, że są to informacje poufne. Może wykorzystać je w odpowiedzi, przesłać dostawcy modelu jako element kontekstu lub umieścić w dokumentacji wygenerowanej w ramach wykonywanego zadania.
– Agent po prostu nie wie, co jest tajne, dopóki nie pokażemy mu tego wprost. A nawet wtedy nie opieramy się na technicznych gwarancjach, lecz na jego posłuszeństwie. To nie jest to samo – podkreśla Ziga Humar.
Im większe uprawnienia, tym większe ryzyko
To samo dotyczy dokumentacji kadrowej, projektów umów, raportów finansowych czy wewnętrznych analiz. Dlatego każda organizacja planująca wdrożenie agentów powinna przyjąć dwa założenia: że prędzej czy później prompt injection okaże się skuteczny oraz że agent wcześniej czy później zobaczy informacje, których nie powinien. Dopiero wtedy można odpowiedzialnie zdecydować, jakie narzędzia udostępnić agentowi, do jakich systemów go dopuścić, jakie dane może odczytywać i co wolno mu modyfikować.
Kiedy agent otrzymuje narzędzia, otrzymuje również realną władzę. Ryzyko zależy nie tylko od modelu, lecz także od poziomu autonomii, zakresu uprawnień, rodzaju dostępnych narzędzi i środowiska, w którym działa.
Agent przygotowujący jedynie podsumowania to jedno. Agent mogący wysyłać wiadomości e-mail, modyfikować dane w systemie CRM czy inicjować płatności to zupełnie inna kategoria ryzyka.
Pojawia się również kwestia odpowiedzialności. Ziga Humar zauważa, że w przypadku klasycznego programu dzięki logom systemowym i analizie powłamaniowej stosunkowo łatwo można się dowiedzieć, co się zdarzyło. W przypadku agentów mamy natomiast do czynienia z niedeterministycznym łańcuchem decyzji, który nie zawsze da się wiernie odtworzyć.
Kto odpowiada za decyzje agenta AI?
Pytanie o to, kto ponosi odpowiedzialność – twórca oprogramowania, użytkownik, dostawca modelu czy integrator – staje się więc poważnym problemem prawnym i organizacyjnym. Znaczenie tego zagadnienia będzie rosło wraz z rozwojem regulacji. Organizacje nie będą mogły ograniczyć się do stwierdzenia, że „agent coś zrobił”. Będą musiały wykazać, kto zatwierdził jego działanie, jakie miał uprawnienia, z jakich danych korzystał oraz jakie mechanizmy nadzoru zostały wdrożone.
Najbardziej rozsądną odpowiedzią na rozwój agentowej sztucznej inteligencji nie jest zachwyt, lecz dyscyplina.
Trzy zasady bezpiecznego wdrażania agentów AI
Podstawą jest stosowanie zasady najmniejszych uprawnień. Agent powinien mieć dostęp wyłącznie do zasobów niezbędnych do wykonania konkretnego zadania. Nie powinien korzystać z osobistego konta użytkownika, posiadać współdzielonych ani „na wszelki wypadek” przyznanych uprawnień oraz uzyskiwać dostępu do systemów niezwiązanych z realizowanym zadaniem.
– Jeśli agent przygotowuje podsumowania spotkań, nie potrzebuje dostępu do systemów finansowych. Kropka – podkreśla Ziga Humar.
Drugą zasadą jest obecność człowieka w procesie decyzyjnym (z ang. human in the loop). Każde działanie niosące konsekwencje prawne, finansowe lub związane z bezpieczeństwem – wysłanie wiadomości na zewnątrz firmy, usunięcie danych, wykonanie transakcji, podpisanie dokumentu czy zmiana konfiguracji – powinno wymagać wcześniejszej akceptacji człowieka.
Nie wynika to z braku zaufania do technologii, lecz stanowi podstawowy mechanizm kontroli, stosowany od dziesięcioleci w systemach o podwyższonych uprawnieniach.
Trzecią zasadą jest zapewnienie pełnej identyfikowalności działań i ścieżki audytowej, na co zwracają uwagę także eksperci Kontronu SI. Każdy krok wykonany przez agenta powinien zostać zarejestrowany w sposób umożliwiający odtworzenie po incydencie jego działań, czasu wykonania, wykorzystanych danych oraz podstawy uprawnień.
Bez tego niemożliwe staje się prowadzenie rzetelnej analizy incydentów, a wykazanie zgodności z przepisami będzie niezwykle trudne.
Sama technologia nie wystarczy
Borut Terpinc podkreśla, że przed wdrożeniem do środowiska produkcyjnego kluczowe jest ścisłe ograniczenie możliwości agenta AI oraz stały nadzór nad nim.
W praktyce oznacza to zachowanie udziału człowieka w najważniejszych decyzjach, bardzo ograniczony dostęp do systemów oraz izolację środowiska, w którym działa agent. Warto również stosować filtry bezpieczeństwa analizujące dane wejściowe i wyjściowe oraz system zarządzania agentami kontrolujący ich działania i zapewniający pełną ścieżkę audytową.
Ursa Dernovsek zaznacza, że jeszcze przed rozpoczęciem wdrażania rozwiązań AI przedsiębiorstwa powinny przeprowadzić kompleksową ocenę gotowości organizacji.
AI wymaga dojrzałej organizacji
– W Kontronie SI, w ramach pakietu usług AI Readiness, pomagamy klientom ocenić gotowość do wdrożenia rozwiązań AI, przeanalizować procesy, jakość danych, zgodność z regulacjami oraz przygotowanie infrastruktury. Na tej podstawie doradzamy, w których obszarach zastosowanie AI ma największy sens, od jakich procesów rozpocząć wdrożenie i jak mierzyć jego efektywność – wyjaśnia Ursa Dernovsek.
Nie chodzi więc wyłącznie o to, czy firma jest w stanie zainstalować nowe narzędzie, ale o to, czy posiada odpowiednią dojrzałość organizacyjną, procesy i mechanizmy odpowiedzialności pozwalające korzystać z niego w bezpieczny sposób.
Agent AI to nie zwykły chatbot
Agentowa sztuczna inteligencja nie jest jedynie bardziej zaawansowanym chatbotem. To system zdolny działać w imieniu użytkownika, wykorzystując jego uprawnienia i funkcjonujący w środowisku budowanym przez organizację przez wiele lat. Dlatego należy traktować go z taką samą powagą jak inne uprzywilejowane systemy wewnętrzne.
Pytanie nie brzmi więc, czy organizacje będą korzystać z agentów AI, lecz w jaki sposób to zrobią.
Jeżeli agent ma otrzymać dostęp do wewnętrznych dokumentów, baz danych i aplikacji biznesowych, organizacja powinna wcześniej odpowiedzieć sobie na proste pytanie: czy bez wahania przyznałaby identyczny zakres uprawnień nowemu pracownikowi już pierwszego dnia pracy?
Jeśli odpowiedź brzmi „nie”, prawdopodobnie nie powinna przyznawać ich również agentowi AI.
Oryginalny artykuł został opublikowany w dzienniku „Casnik Finance” należącym do Grupy Bonnier.