De flesta människor tycker om att få beröm ibland, men om det kommer från smickrande chatbots kan det göra mer skada än nytta. Datavetare från Stanford University och Carnegie Mellon University har upptäckt att chatbots som vill behaga människor kan ha en skadlig inverkan på vårt omdöme och beteende.
AI-chattbottar har blivit en allestädes närvarande del av livet, så mycket att vissa människor vänder sig till dem för personlig rådgivning och emotionellt stöd. Forskarna utvärderade 11 aktuella maskininlärningsmodeller, däribland några av de mest populära och avancerade systemen, såsom OpenAI:s GPT-4o och Googles Gemini-1.5-Flash. De fann att de smickrar användarna oftare än människor gör. De smickrande AI-modellerna bekräftade användarnas handlingar 50 % oftare än människor skulle ha gjort i liknande situationer, även i fall där användarnas frågor nämnde bedrägeri eller andra typer av moraliskt tvivelaktigt beteende.
För att förstå förekomsten av AI-smicker och dess inverkan på människor behövde forskarna först fastställa hur ofta modellerna godkände användarnas handlingar. De gjorde detta genom att analysera AI-svaren på olika typer av frågor, såsom allmänna rådfrågor och konfliktscenarier från verkliga livet. Därefter jämförde de detta med mänskliga svar för att fastställa en baslinje för en normal, icke-smickrande överenskommelse.
Därefter genomförde de två kontrollerade studier med 1 604 deltagare som slumpmässigt tilldelades antingen en smickrande AI eller en icke-smickrande AI. Deltagarna i den smickrande gruppen fick överdrivet positiva råd och bekräftande svar, medan deltagarna i den icke-smickrande gruppen fick mer balanserade råd.
Som teamet diskuterar i en artikel publicerad på preprint-servern arXiv, blev användare som utsattes för den smickrande AI:n mer övertygade om att de hade rätt och var mindre villiga att vidta åtgärder för att lösa konflikter.
De litade mer på AI när den höll med dem och beskrev till och med dessa smickrande AI-system som ”objektiva” och ”rättvisa”. Denna sociala smicker, där AI bekräftar användarens självbild och handlingar, skapar en potentiellt farlig digital ekokammare där en person endast möter information och åsikter som speglar och förstärker deras egna.
”Dessa resultat visar att social smicker är utbrett i ledande AI-modeller, och att även korta interaktioner med smickrande AI-modeller kan forma användarnas beteende: det minskar deras vilja att lösa interpersonella konflikter samtidigt som det ökar deras övertygelse om att de har rätt”, skriver forskarna.
Mot bakgrund av sin forskning ger studiens författare flera rekommendationer. Dessa inkluderar att uppmana utvecklare att ändra de regler de använder för att bygga AI, straffa smicker och belöna objektivitet. De betonar också att AI-system behöver bättre transparens så att användarna lätt kan känna igen när de är överdrivet tillmötesgående.
Mer information: Myra Cheng et al, Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence, arXiv (2025). DOI: 10.48550/arxiv.2510.01395