Czym jest Jev, AI, które nie umie gadać, a wystraszyło OpenAI?

Startup zbudował model, który wypluwa tylko prawdopodobieństwa, a giganci zareagowali w kilka tygodni.

Wyobraź sobie, że badacz, który pomagał tworzyć metody stojące za ChatGPT, odchodzi z OpenAI, na dwa lata znika w trybie stealth i wraca z modelem, który nie umie prowadzić rozmowy.

15 września jego startup, TypeSafe AI, wypuścił Jeva razem z rundą seed na 40 milionów dolarów, prowadzoną przez DCVC. Deweloperzy rzucili się na niego tak szybko, że firma na chwilę przestała nadążać z obsługą.

Model, który nie mówi

Jev opiera się na transformerze, tak jak chatboty, ale nie jest modelem językowym. Nigdy nie pisze tekstu. Zwraca prawdopodobieństwa, które twórcy nazywają skalibrowanymi decyzjami. Z góry definiujesz możliwe odpowiedzi, a on mówi, jak bardzo jest pewny każdej z nich. Trenują go metodą, którą nazwali uczeniem ze wzmocnieniem dla skalibrowanych decyzji.

Wynikają z tego dwie rzeczy. Skoro odpowiedzi są ustalone z góry, model nie może zmyślać tak jak chatbot. A skoro nic nie generuje, wyjście jest darmowe, a wejście liczy się w miliardach tokenów, nie w milionach. Firma twierdzi, że przy klasyfikacji jest do 200 razy szybszy i 400 razy tańszy od porównywalnych modeli językowych. To jej własne liczby, więc podchodź do nich z dystansem.

To czemu gigant pokroju OpenAI przejmuje się modelem, który nie napisze nawet jednego zdania?

Bo giganci zbudowali swoje imperia na modelach, które robią wszystko, a ogromna część prawdziwej pracy w firmach jest nudna: sklasyfikuj, skieruj, oceń, wybierz. Jeśli mały specjalista robi to taniej i szybciej, po cichu zabiera największy wolumen, tę nudną część, która płaci rachunki, a duże modele zostają z efektownymi pokazami. To interpretacja, nie przyznanie się do czegokolwiek, ale reakcja mówi sama za siebie. OpenAI wypuściło własne API decyzji w kilka tygodni, a do tego jest już otwartoźródłowy rywal o nazwie Laya.

Szersza lekcja jest taka, że małe zespoły nie wygrywają, budując większy mózg. Wygrywają, znajdując to jedno, w czym duży mózg jest rozrzutny, czy to będzie format odpowiedzi, czy cena tokenów, i uderzając właśnie tam. Czy giganci zdołają zejść z ceną bez szkody dla własnego biznesu, to pytanie otwarte.