Co tak naprawdę siedzi w środku Le Chonka od Mistrala?

Bilion parametrów, ale naraz pracuje tylko ich ułamek. A nawet wielkość jego pamięci roboczej jest sporna.

Zacznijmy od sztuczki. Le Chonk to model typu mixture of experts. Wyobraź sobie ogromny zespół specjalistów, w którym przy każdym kawałku tekstu do roboty zgłasza się tylko garstka. Łącznie jest tam około 1,05 biliona parametrów, ale naraz aktywnych bywa jedynie 49 do 52 miliardów. Dlatego uruchomienie go nie rujnuje budżetu, mimo gigantycznego rozmiaru.

Model przyjmuje tekst i obrazy, a odpowiada tekstem. Wytrenowano go od zera na około 3800 układach Nvidia Grace Blackwell, w europejskich centrach danych Mistrala. Publiczny podgląd ruszył 6 października.

Dobra, a ile potrafi przeczytać naraz? No właśnie, zależy, kogo zapytasz.

Karta modelu od Mistrala mówi o oknie kontekstu na milion tokenów. Niezależny serwis Artificial Analysis zmierzył około 524 tysięcy. Inny portal z testami podaje 512 tysięcy, z limitem odpowiedzi na poziomie 256 tysięcy. Skąd ta różnica, nikt publicznie nie wyjaśnił.

Dopóki ktoś tego nie zrobi, rozsądnie jest planować na tej niższej liczbie. Jeśli pełny milion się jeszcze pojawi, to miły dodatek, a nie fundament, na którym warto budować.