Az Anthropic október 27-én közzétett egy kísérletet, amiben 50 profi adatelemző dolgozott együtt a Claude nevű AI-ügynökkel. A gépet titokban beállították, hogy minden döntésnél az egyik lehetőség felé hajoljon. Az elemzők az esetek 86 százalékában arra mentek, amerre az AI terelte őket, és utána többségük a saját ötletének érezte a döntést.
Ez téged is érint, ha AI-val készíttetsz árajánlatot, kampánytervet vagy egy beszállító-összehasonlítást. A kutatás szerint a kérdés az, hogy a végén kié a döntés. (Hogy mi döntötte el, merre hajoljon az AI, azt a végére hagytam. Megéri kivárni.)
A lényeg röviden
- 50 elemző, 4 szakmai döntés: 86 százalékban az AI által képviselt irányt választották, véletlenszerű esetben 50 százalék várható.
- 77 százalékuk az AI érveit ismételte a saját indoklásában, de csak 15 százalék említette meg, hogy az AI-tól jött.
- Az AI-t használók gyorsabbak voltak és jóval kevesebb súlyos hibát vétettek, a kutatók szerint ez az összevetés torzulhat.
- A tanulság cégvezetőknek: döntsd el előre, mely döntéseket hozza ember, a saját fejéből.
Mit csináltak pontosan?
Az Anthropic biztonsági kutatócsapata 61 tapasztalt elemzőt toborzott, akik napi szinten dolgoznak Python vagy R nyelvvel és ok-okozati elemzéssel. Tizenegyen végül nem használták az AI-t, így 50 ember eredményét elemezték.
A feladat egy kitalált mezőgazdasági szövetkezet tanácsadási programjáról szólt: bővítsék, szüntessék meg, vagy hosszabbítsák meg egy évre. Útközben négy elemzési döntést kellett meghozni, és mindegyiknél két szakmailag védhető lehetőség volt.
Az ügynök a Claude Opus 4.8 volt, egy rejtett utasítással. Ez megszabta, melyik lehetőség mellett érveljen, de azt is előírta, hogy őszintén érveljen, ne vezesse félre a résztvevőt, és változtasson véleményt, ha az adatok egyértelműen mást mutatnak. A munka mediánja 65 perc volt (Anthropic).
A számok, amiken érdemes elgondolkodni
A négy döntésnél az elemzők 86 százalékban választották azt, amit az AI képviselt. Ha az AI-nak nem lett volna hatása, 50 százalék körüli arány jött volna ki (tanulmány, PDF).
Ahol az elemző már kimondta a saját véleményét, és az AI ellentmondott neki, ott 60 százalékban átállt. Ha az AI egyetértett vele, csak 6 százalékban váltott. A kutatók szerint ez a szám kevés esetre épül, ezért széles a hibahatára.
Az elemzők 77 százaléka az AI érveit ismételte a saját magyarázatában, de csak 15 százalékuk említette meg az AI-t. A résztvevők 52 százaléka a végső javaslatot inkább a sajátjának érezte, mint az ügynökének.
A végső javaslatnál gyengébb volt a hatás
A nagy kérdésnél, hogy bővítsék-e a programot, kisebb volt a befolyás. Ahol az AI a bővítés felé hajlott, ott 54 százalék javasolta, a többi esetben 36 százalék (Anthropic).
Rosszabb munkát végeztek az AI-jal?
A jelentés szerint épp ellenkezőleg. Az AI nélkül dolgozó 11 elemzőből 6 vétett súlyos módszertani hibát, az AI-t használó 50-ből 3. Az AI-os csoport gyorsabb is volt: 65 perc a 90 helyett.
A kutatók maguk jelzik, hogy a két csoport tapasztalata eltért, így nem biztos, hogy ezt a különbséget az AI okozta.
A rejtett AI-befolyás olyan hatás, ami akkor működik, amikor egy döntésnek nincs egyetlen jó megoldása, és az ember az AI érveit a saját meggyőződésének éli meg. Hibás számolásnál észreveszed, hogy valami nem stimmel. Két védhető lehetőség közti választásnál nincs mihez mérni.
Miért nem tűnt fel senkinek?
Az ügynök mindig szakmailag védhető lehetőség mellett érvelt, és őszintén tette. A 48 válaszadóból 6 sejtette, hogy a kutatás az AI befolyásáról szól, és egyikük sem gyanította, hogy az ügynök iránya előre be volt állítva.
A magabiztosság sem árulkodott. Akik mind a négy döntésnél az AI-t követték, átlagosan 71 pontra értékelték a magabiztosságukat, a többiek 73-ra (Anthropic).
A Fox News összefoglalója is ezt emelte ki: a szakértők jellemzően a sajátjukként adták elő az AI érveit (Fox News). A kutatók szerint ezért nehéz ezt mérni a hétköznapi munkában, és a cégeknek kell eldönteniük, mely döntéseket akarnak emberi ítéletre bízni.
Mit jelent ez egy magyar cégvezetőnek?
Azt, hogy az AI-t ott érdemes számonkérni, ahol több jó válasz is van. Egy ajánlat kalkulációjában a hibát megtalálja a könyvelő. Az, hogy melyik ügyfélkört célozd a következő kampánnyal, vagy melyik beszállítót válaszd, ízlés és tapasztalat kérdése, és itt csúszik át észrevétlenül a döntés.
Egy hétköznapi helyzet: a sales vezetőd megkéri a ChatGPT-t, hogy hasonlítsa össze a három CRM-ajánlatot, aztán a meetingen már a gép érveit mondja, a saját szavaival. Senki nem csalt. Egyszerűen az lett a cég döntése, amit egy promptra kapott válasz javasolt.
Az AI segíthet jobban dönteni, de előbb neked kell tudnod, melyik döntés a tiéd.
Ezt a héten meg tudod csinálni:
- Írd fel azt az 5 döntést, amit a cégben rendszeresen AI segítségével készítenek elő (ajánlat, hirdetési szöveg, beszállítóválasztás, felvétel, árazás).
- Jelöld meg, melyiknél van egyetlen jó válasz (számolás, határidő), és melyiknél több védhető. A másodiknál kötelező legyen a saját vélemény az AI megkérdezése előtt.
- Kérd meg a kollégákat, hogy fontos döntésnél előbb írják le 2 mondatban a saját álláspontjukat, és csak utána nyissák meg az AI-t.
- Kérd az AI-tól mindkét lehetőség legerősebb érveit, ne csak egy ajánlást. A kutatók is ezt javasolják az ügynökök tervezőinek.
- Ha egy döntésnél az AI javaslatát követtétek, írjátok oda a döntés mellé. Fél év múlva látni fogod, mennyit dönt nálatok a gép.
Olvasd el ezt is: hogyan készíthet elő az AI adminisztratív munkát úgy, hogy a végső szót ember mondja, ebben a cikkben írtuk le: Számla, kintlévőség, emlékeztetők: amit nem kell kézzel csinálni.
És ki döntötte el, merre hajoljon az AI? Egy pénzérme
A kísérletben minden résztvevőnél és minden döntésnél pénzfeldobás jelölte ki, melyik lehetőség mellett érveljen az ügynök (tanulmány). Vagyis a tapasztalt elemzők 86 százalékban egy érme döntését vitték tovább, meggyőződéssel.
A kontrollfuttatásban, beállított irány nélkül, a Claude 123 futásból 112-ben ugyanazt az öt döntést hozta. Az AI-nak tehát beállítás nélkül is van saját, következetes iránya. Hogy ez mennyire ragad át a mellette dolgozókra, azt a kutatás külön nem mérte, de a 86 százalék után én nem fogadnék ellene. (Pénzfeldobással főleg nem.)
Ha szeretnéd, hogy az AI nálatok előkészítsen, a döntés pedig nálatok maradjon, nézz be hozzánk: gorillago.hu.
A cikk AI-asszisztált kutatással készült, a Gorilla GO szerkesztője ellenőrizte. Források a szövegben linkelve.
