Czy AI jest niebezpieczna, czy to my ją źle wykorzystujemy

Właśnie to powinno cię martwić w historii o chatbocie, który niemal doprowadził do wojskowej akcji. Nie to, że chatbot się pomylił, to akurat prawie nudne, zdarza się cały czas. Martwić powinno cię to, jak daleko ta pomyłka zdążyła zajść, zanim ktokolwiek się zreflektował.

Dwa błędy, jeden na drugim

Jak się przyjrzeć, były tam właściwie dwa osobne błędy, nie jeden. Pierwszy, ktoś potraktował wniosek AI jak gotowy fakt, zamiast jak hipotezę do sprawdzenia. Drugi, i to jest część, którą ludzie pomijają, ta sama osoba użyła AI jeszcze raz, żeby ładnie to spisać. Sformatowane jak normalny raport. Brzmiące oficjalnie. Coś, co nie zachęca do ponownego sprawdzenia.

I tu robi się niewygodnie. Nikt w tym łańcuchu nie skłamał. Nikt niczego nie zhakował. Nikt nawet nie złamał żadnej procedury. Po prostu zaufali narzędziu tak, jak zaufałbyś koledze z pracy, który nigdy nie mówi, że czegoś nie jest pewien.

To jest ten mechanizm, którego naprawdę warto się bać. Nie maszyna, która postanawia cię skrzywdzić. Maszyna, która daje ci pewną siebie, błędną odpowiedź, ubraną dokładnie w taki format, jaki zwykle oznacza, że ktoś to już sprawdził. Płynność wypowiedzi myli się z poprawnością, za każdym razem, i dzieje się to na tyle szybko, że zanim ktoś to zauważy, samoloty są już w powietrzu.

Teraz przenieś to poza wojsko na chwilę. Ten sam mechanizm pojawia się wszędzie tam, gdzie ktoś się spieszy, jest zmęczony albo po prostu trochę za bardzo ufa pewnie brzmiącej odpowiedzi. Finanse, medycyna, organy ścigania, wszędzie tam, gdzie decyzje zapadają pod presją czasu. Prawdziwe zagrożenie ze strony AI nigdy nie miało polegać na maszynie, która się przeciwko nam zwróci. Zawsze miało polegać na nas, oddających jej klucze odrobinę za wcześnie.