Jak halucynacje zablokowały dotację

Sztuczna inteligencja znajduje coraz szersze zastosowania w biznesie i codziennym życiu. Czasem jest stosowana tam, gdzie niekoniecznie powinna. Przekonała się o tym gliwicka spółka KP Labs, która na początku roku złożyła wniosek o dotację z Narodowego Centrum Badań i Rozwoju (NCBR) na opracowanie jednostki obliczeniowej wraz z zaawansowanymi systemami umożliwiającymi autonomiczną realizację operacji dla satelitów. Wnioskowano o ok. 17 mln zł.

Niedawno do spółki trafiła decyzja NCBR. Odmowna. Nie byłoby w tym nic dziwnego ani szokującego, gdyby nie treść karty oceny wniosku załączonej do decyzji.

- Wskazano w niej, że nasz projekt pod kilkoma względami technicznymi nie jest wystarczająco innowacyjny, ponieważ na rynku, i to w Polsce, istnieją już porównywalne rozwiązania o zbliżonych parametrach. Rozwiązania te wskazano z nazwy. Problem w tym, że albo te rozwiązania nie istnieją, albo nie oferują parametrów, jakie zostały im przypisane – mówi Michał Zachara, wiceprezes KP Labs.

W KP Labs po krótkiej konsternacji postanowiono sprawdzić, co mogło się stać.

- Okazało się, że kilka modeli AI generuje wyniki, które pokrywają się z tym, co znalazło się w karcie oceny. Nie chcemy krytykować NCBR, bo wsparcie otrzymane od tej instytucji w przeszłości bardzo nam pomogło. Naszym zdaniem w tym przypadku mamy jednak niewątpliwie do czynienia z nieprawidłowościami w procesie oceny dokonanej przez eksperta NCBR, dlatego zdecydowaliśmy się na złożenie protestu – mówi Michał Zachara.

Kosmiczny biznes

KP Labs to działająca od niemal dekady spółka z Gliwic, która specjalizuje się w opracowywaniu jednostek obliczeniowych na potrzeby przemysłu kosmicznego.

- Obecnie zatrudniamy 85 osób. Koncentrujemy się na dostarczaniu rozwiązań dla sektora kosmicznego. Tworzymy systemy do przetwarzania algorytmów w kosmosie, dostarczamy jednostki sprzętowe i oprogramowanie, łączące komputery pokładowe z kamerami, radarami itp. - tłumaczy Michał Zachara.

W 2024 r. firma miała ponad 21 mln zł przychodów i ok. 1 mln zł zysku.

- W ubiegłym roku podwoiliśmy przychody. 18 mln zł pochodziło ze sprzedaży rozwiązań klientom z europejskiej branży kosmicznej, resztę stanowiły dotacje. Trzy satelity z naszym sprzętem trafiły już na orbitę, a sześć kolejnych misji jest w trakcie przygotowania. Nasze rozwiązania wspierają nie tylko misje satelitarne, pracujemy również nad technologiami księżycowymi, a dosłownie kilka tygodni temu nasza jednostka Leopard DPU została umieszczona na pokładzie Międzynarodowej Stacji Kosmicznej - mówi Michał Zachara.

Jednostka opracowana przez KP Labs i Politechnikę Poznańską trafiła na Międzynarodową Stację Kosmiczną wraz ze Sławoszem Uznańskim-Wiśniewskim, który w ramach prowadzonych w przestrzeni kosmicznej eksperymentów wykorzystywał ją do analizy danych.

Badawczy pomysł

Na początku roku spółka złożyła wniosek o dotację na opracowanie „wysokowydajnej jednostki obliczeniowej wyposażonej w algorytmy AI umożliwiające autonomiczną realizację operacji satelitarnych oraz lunarnych". Zrobiła to w konsorcjum z jedną z polskich uczelni technicznych. Wartość całego projektu określono na ok. 14 mln zł, dotacja miała pokryć ok. 70 proc. kosztów.

- Chcieliśmy wspólnie opracować nową jednostkę przetwarzania danych – o znacznie wyższej mocy obliczeniowej niż te, które dotychczas znajdują się w naszym portfolio. Jej założeniem była wielofunkcyjność, czyli możliwość zastosowania zarówno na orbicie okołoziemskiej, jak i w systemach łazików księżycowych. W tych drugich specjalizuje się uczelnia, która miała opracować układ do automatycznego przemieszczania się łazika. My mieliśmy w planach prace nad bardziej wydajną niż dotychczas kompresją danych oraz opracowaniem nowego układu do odprowadzania ciepła – tłumaczy Michał Zachara.

W przeszłości spółka pozyskała dotację m.in. na budowę w Gliwicach centrum badawczo-rozwojowego. Tym razem jednak, pod koniec czerwca, NCBR oceniło projekt negatywnie.

- Gdy zobaczyliśmy kartę oceny, opadły nam szczęki. Widzieliśmy w życiu wiele takich kart, czasem nie dostawaliśmy dotacji i pisaliśmy bezskutecznie protesty, ale tym razem, mówiąc wprost, w karcie oceny natknęliśmy się na zarzuty oderwane od rzeczywistości – mówi Michał Zachara.

Ekspert w działaniu

Co konkretnie zszokowało pracowników KP Labs? By to wyjaśnić, trzeba odnieść się do technicznych aspektów projektu. W swoim wniosku o dotację spółka podawała parametry jednostki obliczeniowej i porównywała je z istniejącymi rozwiązaniami krajowymi. Oceniający projekt ekspert NCBR także dokonał takich porównań.

- Pod względem mocy obliczeniowej porównano nas do jednostki obliczeniowej w polskim satelicie EagleEye, wskazując jego dokładną moc w operacjach na sekundę. Taka informacja zgodnie z naszą wiedzą nie została nigdy upubliczniona. Oznacza to, że ekspert albo dysponował poufnymi danymi od producenta EagleEye, czyli notowanego na giełdzie Creotechu, albo posłużył się danymi nieprawdziwymi. Z kolei w zakresie kompresji danych nasze rozwiązanie zestawiono z innym projektem Creotechu – mikrosatelitami należącymi do konstelacji Camila – mówi Michał Zachara.

Camila to projekt trzech cywilnych mikrosatelitów, które konsorcjum pod przewodnictwem Creotechu ma zrealizować na zlecenie Europejskiej Agencji Kosmicznej z przeznaczeniem dla administracji publicznej. Satelity fizycznie jeszcze nie istnieją - kontrakt na ich budowę został podpisany dopiero w kwietnia. Dlatego, zdaniem KP Labs, oceniający nie mógł porównać proponowanego we wniosku dotacyjnym rozwiązania do wyników tego z Camili - bo to drugie jeszcze nie istnieje. W dodatku...

– To my odpowiadamy za moduł kompresji danych w tej misji. Wiemy, że rozwiązanie stosowane w Camili jest całkowicie innym rozwiązaniem niż to zaproponowane we wniosku. Możemy z pełnym przekonaniem stwierdzić, że wartość podana w karcie oceny została po prostu zmyślona. Co więcej, nie były to dane upublicznione, więc trudno zrozumieć, na jakiej podstawie się tam znalazły – mówi Michał Zachara.

Łazik z mgławicy

Największe zdziwienie w KP Labs wywołał jednak fragment oceny eksperta, w którym odniesiono się do rezystancji termicznej jednostki obliczeniowej.

- To istotna w zastosowaniach kosmicznych wielkość, bo jednostka obliczeniowa w sposób naturalny się nagrzewa, a chłodzenie jej w przestrzeni kosmicznej jest znacznie bardziej skomplikowane niż na Ziemi, gdzie można po prostu zainstalować wiatraczek - tłumaczy Michał Zachara.

W karcie oceny ekspert NCBR porównał rezystancję termiczną rozwiązania KP Labs z tym, którą osiągnęło Centrum Badań Kosmicznych Polskiej Akademii Nauk (CBK PAN) w łaziku Analog Mars Yard.

- W karcie oceny podano konkretną wartość rezystancji i zastosowaną technologię dla łazika, o którym nigdy nie słyszeliśmy. Zadzwoniłem do osób z CBK PAN, m.in. do jego dyrektora prof. Piotra Orleańskiego. Oni też o takim łaziku nie słyszeli. Dodatkowo sama nazwa - Analog Mars Yard - wskazuje na środowisko analogowe, czyli symulację warunków marsjańskich - mówi Michał Zachara.

W CBK PAN pytania o łazika wywołały konsternację.

- Według naszej najlepszej wiedzy Centrum Badań Kosmicznych PAN nigdy nie opracowywało łazika o nazwie Analog Mars Yard. Samo wyrażenie Analog Mars Yard odnosi się do miejsca testowania łazików kosmicznych, jak słynny Mars Yard, na którym w Pasadenie w Kalifornii swoje łaziki testuje Laboratorium Napędu Odrzutowego Centrum NASA - poinformowała Ewelina Zambrzycka-Kościelnicka, rzeczniczka CBK PAN, w odpowiedzi na nasze pytania.

Ktoś o takim łaziku jednak słyszał. Konkretnie ktoś o imieniu Claude.

- Nie było to łatwe, w zwykłych wyszukiwarkach nie ma żadnych informacji o łaziku Analog Mars Yard, ale niektóre LLM [duże modele językowe sztucznej inteligencji – red.] posiadają całkiem dużo szczegółowych informacji o takiej misji. Udało się nam uzyskać informacje o niej m.in. w modelu Claude, ale po dodatkowych pytaniach model przyznał, że je spreparował, a podawane przez niego odnośniki do źródeł były fałszywe. To tzw. halucynacje w LLM - mówi Michał Zachara.

Błędy modeli

Także w przypadku pozostałych danych technicznych – mocy obliczeniowej i kompresji danych – zawartych w karcie oceny eksperta NCBR zostały w KP Labs zreplikowane w modelach językowych AI: odpowiednio w Gemini i Qwen.

- Modele powoływały się na źródła, ale strony, do których linkowały, nie zawierały takich informacji. Wystarczy zresztą użyć wyszukiwarki Google, by zweryfikować, że wyniki podawane przez AI są nieprawdziwe. Odwołujemy się do NCBR, ale mam coraz mniejszą wiarę w skuteczność takich odwołań - mówi wiceprezes KP Labs.

Jego zdaniem problem z wykorzystywaniem modeli AI do oceny wniosków dotacyjnych jest znacznie głębszy.

- Wiemy, że stosowanie narzędzi sztucznej inteligencji staje się coraz powszechniejsze. Korzystają z nich już nie tylko firmy prywatne, ale również instytucje rządowe. Warto jednak mieć na uwadze, że takie modele nie są nieomylne i w tak wrażliwych kwestiach, jak ocena innowacyjnych projektów, powinny być stosowane z ogromną ostrożnością i dodatkową weryfikacją informacji, które zwracają. W naszym przypadku trafiliśmy na ewidentną niedbałość eksperta, który zamiast rzetelnie wykonać swoją pracę, zdecydował się obrać szybką i wygodną ścieżkę - uważa wiceprezes KP Labs.

Menedżer ma nadzieję, że NCBR rzetelnie przeanalizuje protest i wyciągnie wnioski.

- Dotychczas nasze doświadczenia z tą instytucją były pozytywne i po drugiej stronie widzieliśmy wysoki poziom merytoryczny - mówi Michał Zachara.

Weryfikacja w toku

Co na to wszystko NCBR? Pytania zadaliśmy dwa tygodnie temu. Według naszych informacji od tego czasu instytucja weryfikowała sprawę. W końcu odpowiedziało jej biuro prasowe. Pytaliśmy m.in., skąd ekspert NCBR zaczerpnął informacje o specyfikacji technicznej krajowych rozwiązań porównywalnych do projektu KP Labs. Odpowiedź? Nie z modeli AI, tylko... z wyszukiwarek.

„Ekspert w procesie oceny wniosku korzystał z posiadanej wiedzy oraz z ogólnie dostępnych narzędzi wyszukiwania Google i Bing. Jednocześnie informujemy, że zweryfikowane zostało oświadczenie o bezstronności eksperta i nie stwierdzono konfliktu interesów" - czytamy w odpowiedzi NCBR.

Jak instytucja odnosi się do formułowanych przez KP Labs zarzutów, że dane, na które powołuje się ekspert, są nieprawdziwe i zostały wygenerowane przez modele AI?

„Wnioskodawca złożył protest, który podlega ocenie zgodnie z ustawą wdrożeniową. NCBR nie udziela informacji we wskazanym zakresie do momentu rozstrzygnięcia protestu" - informuje biuro prasowe NCBR.

Przy okazji zapytaliśmy, czy w NCBR wprowadzone zostały procedury mające zapobiegać używaniu modeli AI przy ocenie wniosków - z jednej strony z powodu fałszywych odpowiedzi, a z drugiej z powodu ryzyka udostępniania poufnych danych przedsiębiorstw dostawcom modeli AI.

„Na chwilę obecną NCBR nie posiada procedur mających za zadanie zapobieganie używaniu modeli AI przy ocenie wniosków. Eksperci przed oceną wniosku o dofinansowanie składają oświadczenia o zachowaniu bezstronności, braku konfliktu interesów oraz poufności. Jednakże w drugim kwartale NCBR rozpoczęło prace nad aktualizacją dokumentacji opisującej zasady współpracy NCBR z ekspertami FENG [program Fundusze Europejskie dla Nowoczesnej Gospodarki - red.]. Dokumentacja jest aktualnie w konsultacji" - informuje biuro prasowe.