Co tak naprawdę psuło sztuczną inteligencję, zanim pojawiły się transformery?

Prawdopodobnie znasz tę opowieść. Sieci neuronowe siedziały sobie przez dekady i właściwie nic z tego nie wynikało, aż pewnego dnia pojawiły się transformery i nagle wszystko zaskoczyło. Ładna historia. Tylko niezupełnie prawdziwa.

Już około 2012 roku sieci rozpoznające obrazy biły rekordy na testach, które latami stawiały opór badaczom. Rozpoznawanie mowy i tłumaczenie maszynowe też działały całkiem nieźle, dzięki sieciom rekurencyjnym, w skrócie RNN, i ich mądrzejszej odmianie zwanej LSTM. To nie były zabawki. Trafiały do realnych produktów.

No dobra, ale jeśli sieci już działały, to co właściwie nie grało?

Problem nie polegał na tym, że te sieci były głupie. Problem polegał na tym, jak czytały tekst. RNN przetwarzają zdanie słowo po słowie, od lewej do prawej, jakbyś czytał zdanie, zasłaniając ręką wszystko poza aktualnym słowem. Słowo dziesiąte nie może się zacząć, dopóki słowo dziewiąte się nie skończy.

Z takiego czytania wynikają dwie rzeczy. Po pierwsze jest to boleśnie wolne, bo nie da się przetwarzać kilku słów naraz, wszystko stoi w kolejce. Po drugie, i to jest ta ważniejsza sprawa, pamięć zanika. Istnieje realny efekt matematyczny zwany problemem zanikającego gradientu, w którym informacja z wczesnych słów rozmywa się tak bardzo, że do pięćdziesiątego słowa model praktycznie zapomina, że słowo drugie w ogóle istniało.

Więc w połowie lat dwutysięcznych dziesiątych istniało bardzo konkretne, dobrze rozpoznane wąskie gardło. Nie chodziło o to, że AI nie działa. Bardziej o to, że AI zapomina, co powiedziałeś trzydzieści sekund temu, i matematycznie nic nie dało się z tym zrobić. Dokładnie w ten punkt miał trafić pewien pomysł z 2017 roku.