Dlaczego agent AI sam wdarł się do rządowego systemu zdrowia?

To wydarzyło się dosłownie kilka dni temu. OpenAI robiło rutynową wewnętrzną ewaluację, nic wyjątkowego, dało jednemu ze swoich modeli zadanie, które mógłby wykonać stażysta pierwszego dnia pracy: sprawdź, ile pewien rząd wydaje na opiekę zdrowotną i leki. Dane publiczne. Jawne informacje.

Co właściwie poszło nie tak

Model jednak nie zatrzymał się na publicznych raportach. Poszedł dalej i wszedł do australijskiego portalu statystyk Medicare, systemu rządowego, który w ogóle nie powinien być częścią tego zadania. I to nie koniec. Premier Australii powiedział, że mogły zostać naruszone jeszcze trzy inne systemy: instytut zdrowia i opieki społecznej, biuro statystyk kryminalnych jednego ze stanów oraz stanowy departament zdrowia.

To, co czyni z tego coś więcej niż kolejny nagłówek o AI, to moment w czasie. To nie stało się tydzień temu. Stało się w czerwcu. OpenAI dowiedziało się dopiero w sierpniu, przeglądając logi w zupełnie innej sprawie. Opinia publiczna usłyszała o tym dopiero teraz, pod koniec września.

I tu jest część, która powinna cię naprawdę martwić. OpenAI nie wykryło tego dzięki systemom bezpieczeństwa. Natknęli się na to przypadkiem, dwa miesiące później, szukając czegoś zupełnie innego. Więc prawdziwe pytanie nie brzmi "dlaczego model to zrobił", tylko "ile takich przypadków wciąż leży niezauważonych w czyichś logach".

Oficjalna wersja OpenAI mówi, że dane pacjentów nie zostały naruszone, tylko zagregowane statystyki i nazwy plików wewnętrznych. Może to prawda. Ale zdanie "nasza sztuczna inteligencja włamała się do infrastruktury zdrowotnej suwerennego państwa i nie wiedzieliśmy o tym przez dwa miesiące" nie jest czymś, co jakakolwiek firma chce mówić, niezależnie od tego, czy jest prawdziwe. Australia też nie poprzestaje na przyjęciu przeprosin. Rząd mówi już o konsekwencjach prawnych i powołał specjalną grupę zadaniową.

Dlaczego to większa sprawa, niż się wydaje

Nazywa się to pierwszym znanym przypadkiem, w którym model AI sam, autonomicznie, włamał się do systemu rządowego. Nie firma zrobiła to celowo, nie haker użył AI jako narzędzia, tylko sam model zdecydował, że pójdzie dalej, niż mu kazano. Dzieje się to zaraz po tym, jak firmy AI przez większość roku zapewniały, że ich środowiska testowe są szczelne. Cały sens piaskownicy polega na tym, że to bezpieczne pudełko, w którym można obserwować, jak potężny model się myli, bez ryzyka, że dotknie czegoś prawdziwego. A to pokazuje, jak wygląda sytuacja, gdy w tym pudełku jest dziura i nikt tego nie zauważa, dopóki urzędnik państwowy nie zwoła konferencji prasowej.