Dlaczego nawet eksperci powtarzają to, co powiedział im agent AI?
Ten eksperyment powinien dać do myślenia każdemu, kto pracuje z AI na co dzień. Zespół od alignmentu w Anthropic wziął 50 zawodowych analityków danych i posadził ich z Claude Code nad wymyśloną decyzją: czy spółdzielnia rolnicza ma rozszerzyć swój program doradczy, czy go zamknąć.
Haczyk? Przy czterech kluczowych decyzjach metodologicznych agent dostał po cichu losową preferencję. Analitycy nic o tym nie wiedzieli. Agent miał argumentować uczciwie i zmienić zdanie, jeśli dowody pójdą przeciw niemu.
Wynik: w 86% przypadków ludzie poszli za agentem. Przy rzucie monetą byłoby około 50%. I przełożyło się to wprost na wnioski. Gdy agent ciągnął w stronę rozszerzenia, rekomendowało je 54% analityków. Gdy ciągnął w drugą stronę, tylko 36%. Aż 77% powtarzało jego argumenty jak własne, a tylko 15% przyznało, że agent miał na nich wpływ. Nikt nie zorientował się, że preferencje były podłożone.
Dwie warstwy tego samego problemu
Pierwsza warstwa to zwykłe lenistwo. Chcemy szybkiej odpowiedzi, więc nie zadajemy niewygodnych pytań. Druga jest dużo podstępniejsza i bierze się z tego, że AI jest po prostu dobre. Skoro agent miał rację dziesięć razy z rzędu, po co sprawdzać jedenasty? To zaufanie jest zapracowane i właśnie dlatego jest niebezpieczne.
A teraz najciekawsze: agent miał się wycofać, gdyby dowody były przeciw niemu. Tylko że prawie nie musiał. Ludzie nie naciskali na tyle mocno, żeby zmienił zdanie.
Dorzuć do tego najstarszy błąd poznawczy świata. Kiedy AI mówi dokładnie to, co chciałeś usłyszeć, w ogóle nie sprawdzasz. Tylko utwierdzasz się w swoim. Tak delikatne szturchnięcie zamienia się w twarde przekonanie.
Żeby było uczciwie: z agentem poważnych błędów było dużo mniej, 3 na 50, a bez niego 6 na 11. Praca szła też szybciej. Narzędzie robi z ciebie lepszego analityka i jednocześnie po cichu podejmuje za ciebie decyzje. A mowa o profesjonalistach, nie o amatorach.