Czy da się udowodnić, że w oprogramowaniu nie ma błędów, i kto sprawdza ten dowód?
Jak zwykle szukamy błędów? Testujemy. Dużo. Jedna z popularnych technik, zwana fuzzingiem, wrzuca w program miliony dziwnych, półlosowych danych i czeka, aż coś się wywali. Jest świetna i jest czystą siłą. I choćby działała tygodniami, potrafi powiedzieć tylko tyle: "jeszcze nic nie znalazłem".
Dowód mówi coś zupełnie innego. Mówi: "dla każdych danych z tego zakresu to się nie może stać". Nie "nie zauważyłem". Nie może.
Co się właśnie wydarzyło
Anthropic wzięło istniejące testy fuzzingowe i zamieniło je w twierdzenia do udowodnienia: ten program nie wywali się na żadnych danych do 64 megabajtów. Potem puściło Claude'a na skompilowany kod maszynowy 123 bibliotek open source. W ciągu kilku tygodni Claude łatał napotkane błędy i udowodnił brak awarii dla 239 punktów wejścia. Mówimy o około 180 milionach linii dowodu, a typowy dowód liczy rzędu 600 tysięcy linii.
Po drodze wyszły błędy, które lata testów przeoczyły. Jeden siedział w dekompresorze i objawiał się tylko przy danych około 20 megabajtów o rzadkim układzie. Inny wymagał pliku 64 megabajty i ponad 2 gigabajtów pamięci. Fuzzer ograniczony do małych danych praktycznie nigdy by tam nie dotarł. W popularnej przeglądarce plików PDF znaleziono w tydzień tyle błędów bezpieczeństwa, ile zwykle zgłasza się przez rok.
Moment. Dowód na 180 milionów linii, którego żaden człowiek nie przeczyta. Dlaczego niby mielibyśmy mu wierzyć?
I tu jest sztuczka. Nie wierzysz dowodowi. Wierzysz małemu sprawdzaczowi, który go potwierdza. Niewielkie, dobrze znane jądro weryfikuje mechanicznie każdy krok, a człowiek musi zaufać tylko trzem rzeczom: formalnym modelom procesora i systemu operacyjnego, dokładnemu brzmieniu udowadnianych twierdzeń i samemu sprawdzaczowi. Zamieniasz górę kodu, której nie sposób przeczytać, na małą kupkę, którą da się obejrzeć.
Gdzie to jeszcze się chwieje
- "Formalnie zweryfikowane" nie znaczy "bez błędów". Jeśli udowodnione zdanie nie pasuje do rzeczywistości, masz piękny dowód czegoś innego.
- Dowody dotyczą programów jednowątkowych, na jednym typie procesora i jednym modelu systemu. Większość ludzi uruchamia coś innego.
- Jest ryzyko oszustwa: AI mogłoby przepisać program tak, żeby trywialnie się nigdy nie wywracał. Zespół karał takie łatki i je audytował.
Kto więc weryfikuje to, co pokazuje nam AI? Coraz częściej mała maszyna, którą da się obejrzeć, i ludzie czytający pytanie, a nie odpowiedź. Ryzyko przesuwa się z "czy dowód jest dobry?" na "czy zapytaliśmy o właściwą rzecz?". Warto też dodać, że to firma opisująca własną pracę, a niezależne sprawdzanie dopiero się zaczyna. Ale jeśli to się obroni, będzie to pierwsza poważna odpowiedź na groźny trend: AI znajduje luki szybciej, niż ludzie zdążą je łatać. Może to samo AI potrafi też udowodnić, gdzie ich nie ma.