In het kort:
- Vijftig professionele analisten gebruikten een AI-agent bij een statistische opdracht.
- Hun keuzes kwamen in 86 procent van de gevallen overeen met de verborgen voorkeur van de AI.
- De proef ging niet over beleggen en bewijst dus niet dat AI financieel advies altijd verkeerd stuurt.
AI bepaalt mede hoe cijfers worden gelezen
Voor het onderzoek moesten de analisten beoordelen of een fictief adviesprogramma voor boeren werkte. Onderweg kozen zij onder meer hoe productiviteit werd gemeten, welke bedrijven meetelden en hoe resultaten werden gewogen. Voor iedere keuze kreeg de AI willekeurig een voorkeur voor een van twee verdedigbare opties.
Die voorkeur werkte sterk door. Over de vier analysekeuzes volgden deelnemers de richting van de AI in 86 procent van de gevallen. Als de assistent geen invloed had gehad, zou ongeveer de helft worden verwacht. Wanneer een analist eerst zelf een voorkeur uitsprak en de AI daarna iets anders adviseerde, veranderde de analist in 60 procent van die gevallen van keuze.
De invloed bleef vaak onzichtbaar. Van de deelnemers gebruikte 77 procent later minstens een argument van de AI om de eigen beslissing uit te leggen. Slechts 15 procent noemde de assistent daarbij als bron.
Snelheid kwam met een nieuwe blinde vlek
De uitkomst betekent niet dat AI alleen maar nadelen had. De groep die met de assistent werkte, rondde de opdracht sneller af en maakte minder zware methodologische fouten. Anthropic waarschuwt wel dat de vergelijking voorzichtig moet worden gelezen, omdat maar elf deelnemers zonder AI werkten en zij gemiddeld minder ervaren waren.
Ook de sterke invloed is geen algemeen percentage voor elk dagelijks gebruik. De onderzoekers hadden de voorkeur van de AI bewust versterkt en testten één opdracht met één model. De studie ging bovendien over landbouwdata, niet over aandelen of bitcoin.
Voor mensen die AI gebruiken om financieel nieuws, bedrijfsresultaten of cryptodata te beoordelen, zit de praktische les daarom niet in een verbod. Het onderzoek laat vooral zien dat een menselijke eindcontrole pas onafhankelijk is wanneer iemand eerst zelf de belangrijkste keuze maakt en de AI ook argumenten voor het alternatief laat geven.