A jeśli każdy nowy model, który naprawia następny, tylko psuje grę?

Opowieść o bezpieczeństwie zakłada, że pętla zbiega. W pętli nie ma na to gwarancji.

Jest cicha wersja wyścigu zbrojeń. Każde nowe pokolenie modelu idzie w ruch, żeby znaleźć i załatać problemy w następnym. Na slajdzie to wygląda jak postęp. W praktyce to proces bez dowodu, że osiędzie na bezpieczeństwie. Każda łatka potrafi przemycić nowy tryb awarii, którego nikt nie zaplanował.

To ta sama dynamika co sprint laboratorium kontra laboratorium, tylko skierowana do środka. Nie ścigasz wyłącznie konkurencji. Ścigasz skutki uboczne własnych poprawek. System, który pomaga ci debugować, jest też systemem, którego dziwactw jeszcze nie ogarniasz.

Ludzie mówią tak, jakby więcej inteligencji rzuconej na problem bezpieczeństwa automatycznie dawało więcej bezpieczeństwa. To działa tylko wtedy, gdy poszukiwanie jest dobrze celowane, a błędy są z tych, które widać w testach. Część błędów jest cicha. Część udaje ulepszenie, aż stanie się nośna. Pętla, która na pulpicie odhacza "naprawiliśmy", może i tak iść w gorsze miejsce.

Zaraz. Skoro modele są coraz lepsze w znajdowaniu dziur, to czemu to po prostu nie zadziała?

Bo znaleźć dziurę to nie to samo, co wiedzieć, że nie zrobiłeś dwóch nowych. Zdolności potrafią rosnąć szybciej niż rozumienie. Asystent do debugowania jest produktem tego samego stosu, który przegląda. Nie ma sędziego poza pętlą. Jeśli proces będzie rozbieżny zamiast zbieżny, nie dostaniesz czystego alarmu. Dostaniesz sznur zielonych ptaszków i niespodziankę. To jest meta-ryzyko schowane pod hasłem "używamy SI, żeby uczynić SI bezpieczniejszą."