Note sparse su "Inganni e Potere: il gaslighting" (Edizione Spartaco, 2024) e Tecnologie Persuasive

Si legge con piacere "Inganni e Potere: il gaslighting" (Edizione Spartaco, 2024), scritto da Rita Raucci, Stefania Sparaco, Maria Giovanna Petrillo e Claudio Lombardi. Il libro si compone di quattro saggi che inquadrano in modo diverso, ma complementare, il tema della manipolazione psicologica che va sotto il nome di "gaslighting". Partendo dall'analisi degli aspetti giuridici e da quelli riguardanti i rapporti di genere del fenomeno, gli autori arrivano poi a discuterne le sue fattispecie tecnologiche e sociali, attraversando cinema e letteratura. 

Il gaslighting, ho scoperto, è un tipo particolare di manipolazione in cui il manipolatore, in virtù di un rapporto di potere asimmetrico instaurato con la vittima (che può essere causato da aspetti affettivi, di status, genere etc), riesce a far credere a quest'ultima di essere (o non essere) qualcosa (es. può farle/fargli credere di "essere pazza/o", come accade alla Paula del film "Gaslight" di Cukor, o, ad esempio, di "non essere abbastanza <in gamba/adatt*/all'altezza della situazione> etc...",  come invece può, più prosaicamente, accadere nella vita di tutti i giorni a ciascun* di noi). 

In altri termini: il gaslighting è una forma di manipolazione che mira a far dubitare la vittima (e chi le sta intorno, quando si passa dal circuito interpersonale a quello sociale) di sé stessa tramite l'utilizzo e la diffusione di informazioni false e inganni di diverso tipo.

Il libro è di particolare interesse perché il tema della manipolazione si intreccia con quello della persuasione: argomento principe della dialettica e della retorica.

Questo intreccio è particolarmente importante quando si passa dalla dimensione interpersonale a quella sociale dove, in special modo nel contesto attuale, la tecnologia - e, nello specifico, chi governa questa forma di (sesto?) potere - assume un ruolo di rilievo.

Il tema della progettazione di tecnologie persuasive (in cui i tentativi di "persuasione automatizzata" sono rivolti al miglioramento della vita delle persone: ad es. ad assumere delle consuetudini comportamentali più sane quali non fumare, vaccinarsi, alimentarsi correttamente etc.) rappresenta un ambito di ricerca di grande interesse scientifico.

In tale contesto di studi, un dato che emerge in modo significativo è che non è così facile persuadere le persone a credere o (ancora più difficile) a fare qualcosa che non siano già disposte a credere/fare.

Questa limitazione è riconosciuta anche in studi recenti che evidenziano, invece, le potenzialità persuasive dei sistemi di IA generativa. 

Ad esempio: un recente lavoro pubblicato su Nature Human Behavior mostra come, nel contesto dei cosiddetti micro-dibattiti (conversazioni dialogiche dalla durata limitata), l'IA abbia un effetto persuasivo su utenti umani ma solo quando, accedendo a informazioni personali relative ai suoi interlocutori, personalizza le proprie risposte (quando non lo fa, non ci sono differenze tra dibattiti svolti con IA rispetto a quelli esperiti con umani). Sul tema della personalizzazione dei contenuti (e degli effetti persuasivi dell'IA) un risultato diverso (addirittura opposto) invece emerge da questa ricerca su Science (su 77.000 utenti) che, pur collocandosi nell'alveo degli studi che mostra una efficacia persuasiva dei sistemi di AI generativa, evidenzia anche come ciò non avvenga affatto quando l'interazione è personalizzata bensì quando l'AI opera nel framework della cosiddetta "Rational persuasion" (che si differenzia e contrappone rispetto a modalità di utilizzo di tecniche "manipolatorie"). Vale a dire: i modelli risultano essere persuasivi quando forniscono maggiormente affermazioni suscettibili di fact-checking (ossia potenzialmente "controllabili": sarebbe l'illusione di tale controllo ad orientare gli utenti a fidarsi delle affermazioni ricevute). Su questa linea, un ulteriore recentissimo lavoro dai laboratori Google su un campione di circa 10000 persone,  dimostra ancora come l'utilizzo del potenziale manipolatorio di tali sistemi - messo in azione laddove esplicitamente richiesto dai ricercatori - non correli con l'efficacia manipolatoria degli stessi (il cambiamento di opinione si verifica in certi casi ma non in altri e non si sa bene perché).  Anche i lavori dell'ultimo decennio del gruppo di Quattrociocchi, hanno mostrato - con studi condotti su larga scala e su tutte le principali piattaforme social -  come le persone non siano marionette guidate da algoritmi onnipotenti. Ma cercano attivamente le informazioni che confermano le proprie convinzioni (confirmation bias). Le piattaforme, di fatto, sembrano amplificare queste dinamiche umane, ma non le creano.

In modo simile, alcuni risultati della mia stessa attività di ricerca sul connubio tra tecnologia e persuasione confermano questo trend di risultati in divenire e ancora fortemente contradditori. Ad esempio, i saggi "Influencing the Others’ Minds" (2014), When Personalization Is Not an Option" (2019) e "A Storytelling Robot" (2023) e "Gamified Platform (2024) mostrano l'efficacia parziale di alcune tecniche persuasive - come, ad esempio, l'appello all'autorità - quando applicate nell'ambito dell'interazione umano-macchina (nei contesti di siti di e-commerce, di piattaforme mobile, testate giornalistiche online, serious games e robot simulati) e, di converso, la completa inefficacia di altre strategie, ad es. l'appello alla maggioranza, ritenute altresì efficaci sin dai tempi della Retorica aristotelica. Da ultimo, questo lavoro effettuato con robot fisici e pubblicato su IEEE Affective Computing mostra, in controtendenza rispetto a quanto ci si potesse aspettare e ad altri studi analoghi sugli effetti persuasivi dei discorsi empatici tra persone (human-human interaction), che avere un robot in grado di ingaggiare un dialogo in consonanza emotiva ed empatica con un interlocutore umano, non ne aumenta l'efficacia persuasiva. 

Su una sottile linea rossa che collega cautela e scetticismo si colloca anche un nuova pubblicazione su Science che mostra come i sistemi di AI "adulatori" (Sycophantic AI), vale a dire quelli che tendono a confermare sempre le opinioni dell'utente anche quando andrebbero corrette, riscuotono una maggiore fiducia e vengono percepiti come qualitativamente migliori dagli utenti umani; rafforzando, di fatto, negli stessi utenti, le proprie idee precostituite su un determinato argomento e creando, di fatto, delle nuove echo-chambers (persuasivamente inespugnabili) fatte non più da gruppi digitali di utenti ma da coppie umani-sistemi di IA. In questo scenario, il successo di un qualsiasi tentativo manipolatorio (incluso quello di gaslighting) che sia contrario al sistema di credenze originali dell'individuo (o degli individui) target sembra un risultato con una possibilità molto bassa di successo.

Insomma: dalla letteratura sul tema delle tecnologie persuasive emerge un quadro senza una teoria chiara, ricco di risultati frastagliati e di non facile interpretazione. Ciò rende questo filone di ricerca un terreno fecondo di esplorazione a analisi scientifica. All'interno di questo cosmo di conoscenza in formazione e divenire costante, tuttavia, emerge in modo sistematico un aspetto, poco raccontato nella narrativa mediatica sul tema: anche quando l'evidenza empirica evidenzia reali effetti persuasivi operati tramite sistemi tecnologici, vengono tracciati confini e perimetri abbastanza netti che si conciliano poco con la narrazione mainstream della "dittatura degli algoritmi" (o di chi li governa). Questo è un aspetto da tenere in considerazione quando si parla di manipolazione sociale: un fenomeno che sembra ancora pervicacemente legato a dinamiche e tendenze cognitive tutte umane (troppo umane?). Almeno per ora...

Da questo punto di vista, il libro fornisce una prospettiva equilibrata: evitando di scendere in narrazioni apocalittiche, propone una disamina ragionata dei possibili rischi cui alcuni tipi di deriva tecnologica possono portare ed è una chiamata all'azione che chiede di fare luce su un fenomeno complesso.

Riferimenti

Akbulut, Canfer, Rasmi Elasmar, Abhishek Roy, Anthony Payne, Priyanka Suresh, Lujain Ibrahim, Seliem El-Sayed et al. "Evaluating Language Models for Harmful Manipulation." arXiv preprint arXiv:2603.25326 (2026).

Augello, A., Città, G., Gentile, M., & Lieto, A. (2023). A storytelling robot managing persuasive and ethical stances via act-r: an exploratory study. International Journal of Social Robotics, 15(12), 2115-2131.

Buracchio, Giorgia, Ariele Callegari, Massimo Donini, Cristina Gena, Antonio Lieto, Alberto Lillo, Claudio Mattutino et al. "Emotion Alignment in Human-Robot Interaction: Effects on Communication Styles and Persuasion."IEEE Transactions on Affective Computing. 

Capecchi, S., Lieto, A., Patti, F., Pensa, R. G., Rapp, A., Vernero, F., & Zingaro, S. (2024). A gamified platform to support educational activities about fake news in social media. IEEE Transactions on Learning Technologies, 17, 1765-1779. (2025),  

Cheng, M., Lee, C., Khadpe, P., Yu, S., Han, D., & Jurafsky, D. (2026). Sycophantic AI decreases prosocial intentions and promotes dependence. Science, 391(6792), eaec8352.

Cinelli, M., De Francisci Morales, G., Galeazzi, A., Quattrociocchi, W., & Starnini, M. (2021). The echo chamber effect on social media. Proceedings of the national academy of sciences, 118(9), e2023301118.

Gena, C., Grillo, P., Lieto, A., Mattutino, C., & Vernero, F. (2019). When personalization is not an option: An in-the-wild study on persuasive news recommendation. Information, 10(10), 300.

Hackenburg, Kobi, Ben M. Tappin, Luke Hewitt, Ed Saunders, Sid Black, Hause Lin, Catherine Fist, Helen Margetts, David G. Rand, and Christopher Summerfield. (2025) "The levers of political persuasion with conversational artificial intelligence." Science 390, no. 6777 : eaea3884.

Lieto, A., & Vernero, F. (2014). Influencing the Others’ Minds: An Experimental Evaluation of the Use and Efficacy of Fallacious-Reducible Arguments in Web and Mobile Technologies. PsychNology Journal, 12(3), 87-105.

Salvi, F., Horta Ribeiro, M., Gallotti, R., & West, R. (2025). On the conversational persuasiveness of GPT-4. Nature Human Behaviour, 9(8), 1645-1653.

Zollo, F., Bessi, A., Del Vicario, M., Scala, A., Caldarelli, G., Shekhtman, L., ... & Quattrociocchi, W. (2017). Debunking in a world of tribes. PloS one, 12(7), e0181821.

Morte di un cibernetico napoletano

Sono stato alla commemorazione in onore di Giuseppe Trautteur (condivido qui un suo ricordo di Guglielmo Tamburrini) tenutasi a Napoli presso l'Istituto Italiano per gli Studi Filosofici, a Palazzo Serra di Cassano.

Giuseppe Trautteur è stato - in Italia - un pioniere e un riferimento (per generazioni di studiosi) della cibernetica (poi scienze cognitive) e dell'intelligenza artificiale. Conosciuto grazie a Roberto Cordeschi e Marcello Frixione durante i loro anni salernitani, l'ho poi incontrato successivamente in diverse occasioni.

Tra i ricordi più belli e recenti che conservo con lui c'è un panel del 2017 (da cui è tratta la foto in basso) che organizzai a Bari come evento della conferenza AI*IA 2017, coordinata da Floriana Esposito e dal gruppo barese di AI. Quel panel (intitolato: Can AI and Cognitive Science still live together happily ever after) è stato il primo evento congiunto tra Associazione Italiana per l'Intelligenza Artificiale e Associazione Italiana di Scienze Cognitive e vide come partecipanti: Amedeo Cesta, Antonio Chella, Fabio Paglieri, Oliviero Stock e Giuseppe Trautteur.

Ho visto Giuseppe un'ultima volta lo scorso febbraio, quando venne a moderare (un po' a sorpresa), a Napoli, una sessione di questo evento in cui presentavo un mio lavoro https://sites.unimi.it/brio/brio-meeting-unina-unit/. Di quest'ultima volta ricordo, come sempre, le sue osservazioni brillanti. 

La sua perdita è incolmabile: una persona con un sapere così ampio (e al contempo profondo) è impossibile da ritrovare, specialmente nella ipersettorializzazione (spesso miope) dell'accademia italiana di oggi. La scorsa settimana, nell'ambito della decima edizione del workshop internazionale su Artificial Intelligence and Cognition (AIC 2025) tenutosi nell'ambito della conferenza ECAI a Bologna (foto in basso), non ho potuto fare a meno di dedicare l'evento alla sua memoria (un piccolo attestato di riconoscenza, in attesa di eventi ben più importanti che andranno organizzati per ricordare il suo lascito intellettuale e scientifico).

Ieri è stato molto bello ascoltare i numerosi ricordi delle tante persone che hanno avuto la fortuna di collaborare - in vario modo - con lui. 

La sensazione di fondo che ho percepito è stata, però, da parte di tutti i presenti e di coloro che sono intervenuti, la difficoltà a trovare le parole giuste: quelle in grado descrivere in modo adeguato la grandezza dello scienziato e dell'uomo. Tutte e tutti erano consci del fatto che la verbalizzazione del ricordo - seppure lucida, chiara, sincera, affettuosa - non restituiva la pienezza dell'esperienza vissuta.

Mi è venuto in mente l'epilogo del celebre film di Martone "Morte di un matematico napoletano", dedicato alla vita di Renato Caccioppoli, in cui è evidente - durante il commiato finale dal grande matematico - la costernazione per l'inadeguatezza del linguaggio nell'afferrare pezzi di vita irripetibili. Con Giuseppe Trautteur, se ne va l'ultimo grande l'ultimo grande cibernetico della scuola napoletana fondata da Edoardo Caianiello.

Feedback by Péter Érdi

The notion of feedback represents one of the most important contribution of the cybernetics to the science of (any) complex systems design. In the cybernetic tradition, machines capable of adapting themselves actively to the environments via trial-and-error process based on negative feedback (used for autocorrection) were called “servomechanisms” or “negative feedback automata”. A recent example of machines using these type of mechanisms comes from the Artificial Intelligence, since current artificial neural networks (at least the once that are more successful nowadays) make use, in their supervised learning phase, of a well knoan feedback mechanism called "backpropagation". 

The book "Feedback, how to destroy or save the worlds" (Springer, 2024) by Péter Érdi is an intellectual journey in the science of feedback and shows, with clear examples coming from different fields, how either the design or the discovery of feedback mechanisms is crucial for the advancement of science, technology, economics and society since feedback is a crucial component of any complex system.

The book focuses not only on the well known importance of negative feedback (e.g. for learning) but also, and more importantly, on the importance of understanding what are feedback mechanisms governing the behavior of a certain system and upon which it is possibile to intervene (using both positive and negative corrective signals) in order to lead to (biological/computational/mechanical/physical/chemical...) states that can lead to homeostatsis, market stability, environmental sustainability and so on.

If there is any chance of saving this World, the realization of powerful feedback mechanisms able to avoid catastrophic outcomes represents one of the few elements to put in place. And, in this state of affairs, the science of feedback (Cybernetics) strikes back and seems to be even more relevant today!

Why Hinton is Wrong about AI taking over (and about conscious AI)

Recently the The Nobel Prize and ACM, Association for Computing Machinery Turing Award Winner Geoffrey Hinton relaunched his ideas and fears about "AI's taking over" (see this recent interview https://www.youtube.com/watch?v=vxkBE23zDmQ, when he claims that "AI is already conscious" because - among the other things - 1) it has its own goals, 1) it can create subgoals and, 3) since - if implanted in a biological tissue of biological entity that biological entity remains conscious such biological entity remains conscious, as a consequence also the implanted device is (yes he said that). First: the fact that AI systems have goals (always provided by the humans) and create subgoals to achieve them is not new (see e.g. the subgoaling procedure in the cognitive architecture SOAR that relies on the means-end analysis heuristics, used already in the General Problem Solver developed by Newell, Shaw and Simon in 1959! I repeat: 1959!). So these two points do not make any sense. Also the fact that AI systems are able to invent new knowledge (going beyond subgoaling procedures) to solve new problems is not something new: in 2018-2019 with my colleague Gian Luca Pozzato and our students we developed a system that used the TCL logical framework, https://www.antoniolieto.net/tcl_logic.html, to invent new knowledge for solving problems via concept combination, blending and fusion (the paper is here: https://doi.org/10.1016/j.cogsys.2019.08.005 ). None of these things make an AI system conscious: they are just general heuristic procedures that allow a system to have yet another strategy (provided by us) to perform better on unknown tasks. In addition: the discourse that an AI system can functionally replace biological cells/neurons/tissues without making the system subject to this replacement “unconscious” (and therefore - this is how the reasoning of Hinton goes - the AI system is also “conscious”) is a complete nonsense since there is a confusion on many levels. The first confusion concerns the distinction between functional and structural systems (discussed extensively in my book Cognitive Design for Artificial Minds https://www.amazon.com/Cognitive-Design-Artificial-Minds-Antonio/dp/1138207950). The second one - connected to the first - concerns the attribution to a functional component of a “structural” (i.e. cognitive/biological) explanation. This is a sort of ascription fallacy that is also described in the book (and that is very common nowadays). More specifically: of course we can have bionic systems that are integrated - via partial or total replacement - with biological cells and tissues but functional replacement does not imply any biological/cognitive attribution (on this please also see this paper https://doi.org/10.3389/frobt.2022.888199) Think for example to the exoskeletons controlled via semi-invasive medical devices to record brain activity: these systems “function as” our biological counterpart and communicate well with other biological components leading to locomotion. But… Would you say that they (i.e.: the semi-invasive component implanted in our brain in this case…to follow Hinton’s unreasonable reasoning chain) are conscious (just because the biological entity that have them implanted is conscious)? That’s plain wrong and non sense. These kind of claims are completely unjustified and wrong from a scientific perspective and have nothing to do with the typical concerns and legitimate discussions about the risks coming from the societal and ethical impact that AI has any technology.

Large Language Models, Super Human Intelligence and the Methodological Hallucinations of Modern AI

In the last months a major source of confusion related to the interpretation of the behavior exhibited by the current state of the art AI systems (e.g. Large Language Models like GPT4 and chatGPT for natural language processing) is due to the wrong ascription of cognitive capabilities to them. This confusion, when genuine (and not generated ad-hoc like in this case), is factually wrong since it prefigures Strong AI scenarios that are scientifically ungrounded (while there are reasons to urgently consider other ethical issues regarding the impact on the society of these techologies from the point of view of the biases introduced, their potential misuse, their impact on the job market etc.) 

In particular, the expression “Strong AI” was introduced by John Searle to identify the position assuming that computational models, embodied or not, can have a “mind”, a “consciousness” etc. in the same way of human beings. On the other hand, the expression "Weak AI” synthesizes the position according to which computational models can simulate human behaviour and thinking abilities but cannot pretend to possess any kind of “real” cognitive state. 

In Cognitive Design for Artificial Minds (Routledge Books/ Taylor & Francis, 2021) I show how the current #AI and cognitive modelling research are perfectly aligned with the weak-AI hypothesis. In particular, current AI systems, can be described (at the very best) as "shallow”, imprecise and often biologically and cognitively implausible technological depictions of biological brains, from which our intelligent capabilities arise. They are what I call "functionally designed" systems: they apparently "function as" biological brains (i.e. are able to superficially reproduce the same output) but the mechanisms determining that behavior/output are completely different from the ones we know from biology, neuroscience, physiology and cognitive psychology. 

As a consequence, we cannot ascribe theories and faculties explaining biological phenomena to interpret the behavior of such artifacts since the differences and the asymmetries between these classes of systems are enormous (a corollary of this consequence is that also the discourse about the eventual emergence of intentional or "conscious" signals from such systems is literally science fiction). 

 Now: the fact that for "functionally designed" AI systems it is not possible to generate artifacts that can be "intelligent" or "conscious" exactly like us (or like other biological entities) makes it irrelevant also the fear about super intelligent machines. We already have a huge number of systems achieving super-human performances in a number of different tasks (ranging from computer vision to NLP). However their incredible performance is not a symptom of the acquisition of the underlying competence that, in our brains, explains a certain intelligent behavior. 

 And what about the class of “constrained” artificial systems then (i.e. those designed and implemented by explicitly taking into account neuroscientific and/or psychological theories and constraints to build computational models of cognition)? Also for this category of systems, built by adopting what I call in the book a "structural design approach" (Chapter 2), I showed how they can be used to actually simulate the human-like mechanisms determining a given behaviour, and this can enable the understanding of some hidden mechanistic dynamics. Such computational models, therefore, can be used (and are used) to better understand biological or mental phenomena without pretending that that they are the real phenomena that they are modelling. By using a famous analogy proposed by Searle himself: "just as a model of the weather is not the weather, a model of the human mind is not a human mind". 

As a consequence of this state of affairs, both these classes of artificial systems (that are build by following different design principles and with different goals) methodologically fall within the "weak AI" approach.  This consideration - that I argue and detail extensively in Cognitive Design for Artificial Minds - is in contrast with the nowadays popular (but uncorrect) vulgata that see them as instances of the “Strong AI” hypothesis (and that is one of the main sources of confusion on these topics). 

The fact that both the fields of AI and Computational Cognitive Science build models and systems falling within the weak AI hypotheses does not make weaker any of the two disciplines: AI researchers, indeed, continue to build better systems and technologies with the purpose that they can (in principle) be useful for the human beings and that can, in principle, perform better than humans in specific tasks; computational cognitive scientist, on the other hand, continue to build computational simulation of biological/cognitive processes without pretending to build any system able to really be described as “intelligent” or “conscious” in the proper human sense. 

 It is just incredible to see nowadays many comments (including those of AI experts) that are not able to recognize the asymmetries between the incredible technologies that have been built and what biological brains do in the way they are built. It would be about time to dismiss the alarmist claims about the AI and their (hypothetical) existential risks for humanity. They represent nothing less than hallucinations (generated by humans this time) determined by the methodological fog enveloping the modern AI field.