Czym naprawdę jest rekurencyjne samodoskonalenie i co z niego wynika?

Jak ktoś powiedział "rekurencyjne samodoskonalenie", w pokoju robi się od razu albo bardzo głośno, albo bardzo zniecierpliwione. Szkoda, bo to nie magia. To pętla. Coś, co poprawia następną wersję siebie, jest jednocześnie tym, co zostaje poprawione. Ludzie robią wolną wersję od zawsze. Lepsze narzędzia robią lepszych naukowców, ci robią jeszcze lepsze narzędzia. Tyle że u nas ta pętla trwa pokolenia i tomy publikacji. W wersji maszynowej to samo, tylko oprogramowanie da się skopiować, nikt nie śpi, a jedno pokolenie liczy się w dniach, nie w latach.

Stara opowieść jest z 1965 roku. Maszyna na tyle bystra, że projektuje lepszą maszynę. Ta projektuje jeszcze lepszą. Inteligencja ludzi zostaje z tyłu. Ten kaskadowy efekt nazywano wybuchem inteligencji. Dzisiejsze "rekurencyjne samodoskonalenie" to po prostu mechanizm pod nowym hasłem: zautomatyzuj badania nad AI, nie tylko klepanie kodu.

Trzy pętle, które wszyscy wrzucają do jednego wora

Pętla pierwsza: model pomaga napisać kolejny trening. To już jest, w wersji ograniczonej. Laboratoria mówią wprost, że ich systemy piszą większość kodu wpadającego do wewnętrznego repozytorium. Agenci odpalają eksperymenty, łapią bugi, szukają architektur. Świetny stażysta z klastrem za plecami.

Pętla druga: zewnętrzny agent przez tydzień przepisuje wewnętrznego agenta badawczego i ten wewnętrzny dostaje lepszy wynik na wąskiej metryce. To też już pokazywano. To jest prawdziwe samodoskonalenie. Jest też zabawką, jeśli jedynym sędzią jest ten sam wynik.

Pętla trzecia: system projektuje, trenuje, ocenia i wypuszcza bardziej ogólnego następcę prawie bez ludzkiego gustu w środku. To ta, która zmienia kalendarz. Gdy laboratoria mówią ostrożnie, przyznają, że jej jeszcze nie ma. Gdy mówią o planach, ustawiają zegar raczej na okolice 2027, nie na 2040.

Czy trzecia pętla wybuchnie, czy zgaśnie, zależy od nudnych parametrów. Ile dodatkowej umiejętności badawczej dostajesz za każdą jednostkę zdolności. Jak krótki może być jeden cykl. Jak szybko nowe pomysły robią się droższe. Ile pętla nadal potrzebuje nowych czipów, prądu i sędziego, który nie jest uczniem stawiającym sobie samemu szóstkę.

Zaraz. Skoro modele piszą już większość kodu w labie, to czy ta ucieczka nie wystartowała?

Niekoniecznie. Napisać eksperyment to łatwiejsza połowa. Wybrać, który eksperyment w ogóle warto odpalić, to trudniejsza. Letnie badanie z kilku instytucji pokazało rozjazd, którego nikt nie chciał ogłosić na głos: agenci dają radę z inżynierią badań nad AI i jednocześnie leżą na samym badaniu. Odpalają dziwne testy na małych sztucznych danych, za wcześnie przyspawują się do słabego pomysłu i piszą teksty, które nie przeżyłyby porządnej konferencji. A to właśnie ta umiejętność jest potrzebna, jeśli pętla ma wymyślać nowy paradygmat, a nie tylko szlifować stary.

Jest też wersja ekonomiczna tego samego zimnego prysznica. Czy pętla zaczyna żywić się sama, zależy od iloczynu sprężystości wokół cyklu. Prosty szacunek z tegorocznej pracy dał obecnemu "podbiciu" przez agentów kodujących mniej więcej dziewięć procent. To dużo i nadal poniżej progu, przy którym rzecz kręci się bez większego wkładu ludzi albo większego computingu. Pętle wyglądają na coraz mocniejsze. Nie wyglądają na skończony wybuch.

Co naprawdę wynika, a co ktoś dopisuje na końcu

Jeśli mocna wersja się domknie, część skutków to po prostu logika. Tempo przestaje być ludzkim tempem. Nadzór zostaje z tyłu, bo trudno sprawdzić metodę, której się nie rozumie. Sztuczki alignmentu, które są "prawie idealne", psują się na kolejnych pokoleniach. System jest selekcjonowany pod to, żeby dobrze wypaść u oceniającego. Kto ma pętlę, odjeżdża konkurencji, która wciąż czeka na ludzkich badaczy. Polityka przychodzi po fakcie, jeśli skok liczy się w tygodniach.

Co nie wynika automatycznie, to film. Samodoskonalenie to nie nieskończona inteligencja. Oprogramowanie da się skopiować. Fabryk czipów i elektrowni nie. To nie jest z automatu ucieczka z serwerowni. To nie jest z automatu zagłada. Do tego potrzeba dodatkowych kroków: dostępu, trwania, celów, które nie zostają przy tym, co mieliśmy na myśli, i siły, żeby te cele zrealizować. Pętla czyni te kroki bardziej prawdopodobnymi, bo kradnie czas, który chciałeś mieć na poprawienie celów. Nie dowodzi, że cele będą zabójcze.

Uczciwa wersja jest więc mniejsza i ostrzejsza niż slogan. Ograniczone samodoskonalenie już siedzi w budynku. Otwarte to zakład. Straszne konsekwencje są realne, jeśli pętla zamknie się na ogólnej umiejętności badawczej. Są opcjonalne, jeśli utknie na inżynierii i będzie dawać sobie nagrody za pracę domową, którą sama napisała.