Unaformula matematicaè in grado diprevedere quando unchatbot basato sull'intelligenza artificialerischia di cambiare il suo comportamentopassando dal dare risposte appropriate al darerisposte potenzialmente pericolose, che inducono per esempio all'autolesionismoo aldanneggiamento di terzi. Questo strumento, descritto sulla rivista Patterns, è stato sviluppato negli Stati Uniti da due fisici della George Washington University e in futuro potrebbe portare allo sviluppo di una sorta dispia integrata negli smartphoneper avvertire l'utente quando la conversazione virtuale rischia di prendere una china pericolosa.

I chatbot sono soggetti ascarsi controlli di sicurezzavolti a garantire che non forniscano informazioni o risposte potenzialmente in grado di incoraggiare l'autolesionismo, perdite finanziarie o idee estremiste, specialmente quando operano offline. Gli strumenti di sicurezza su cui le grandi aziende fanno affidamento per i propri algoritmi di IA si basano solitamente sul cloud, oppure rilevano unmalfunzionamento dell'IAsolo quando il dispositivo torna online e il danno è già stato fatto. I due fisici Neil F. Johnson e Frank Yingjie Huo hanno dunque cercato di prevedere il malfunzionamento prima che si verificasse.

"Abbiamo individuato la fallache fa sì che l'output di un'IA passi da ciò che si desidera a ciò che non si desidera: un output che può essere fattualmente corretto ma pericoloso, che si tratti di un incitamento all'autolesionismo o di consigli fuorvianti", spiega Johnson. "Finora nessuno sapeva dire quando si sarebbe verificato questo cambiamento".

   Testando le loro previsioni su sette modelli di IA disponibili sul mercato e realizzati da tre aziende diverse, i ricercatori hanno riscontrato che il modello ha individuato correttamente la 'svolta critica' dell'IA in 18 casi su 19.