Ta sama cena za token, to skąd taka różnica w rachunku?

Dwa modele z identycznym cennikiem mogą wystawić zupełnie różne faktury. Cały myk siedzi w tym, co dzieje się pomiędzy tokenami.

Cennik wygląda tak: Sonnet 5.5, GPT-6 Sol i GPT-6.1 Sol kosztują tyle samo, dwa dolary za milion tokenów wejściowych i dziesięć za milion wyjściowych. Flagowa Astra to dziesięć i pięćdziesiąt. Wygląda na remis.

Ale to nie remis. Cena tokena mówi tylko, ile kosztuje jedno słowo, a nie ile słów model zużyje, żeby dojść do odpowiedzi. Jedna z recenzji ujęła to tak, że Sonnet 5.5 jest tani za token, ale może być drogi za zadanie. Podobno w niezależnym indeksie zużywał rekordowe ilości tokenów. W przykładzie z AutomationBench Sonnet kosztował około 1,14 dolara za zadanie, a nowy Sol około 0,30. W innym niezależnym pomiarze Sonnet potrzebował średnio około 859 sekund na zadanie, a GPT-6 Sol około 392.

Czyli cennik kłamie? Nie do końca. On po prostu odpowiada na inne pytanie.

Mówi, ile kosztuje token. Ciebie obchodzi, ile kosztuje skończona robota. Anthropic twierdzi, że Sonnet 5.5 jest do 30 procent tańszy na zadanie niż poprzednik i może to być prawda, ale to porównanie z własnym starym modelem, a nie z konkurencją.

Zanim się zdecydujesz, puść własne zadania i policz końcową fakturę, a nie cenę za milion.