UNA CONVERSAZIONE SUL TEMA DELL’ALCOL CON CHAT GPT3

Si tratta di un esperimento portato avanti dagli operatori dell’Osservatorio Permanente su Giovani e l’Alcol, realizzato prima che il Garante della Privacy italiano chiudesse temporaneamente il sistema di IA CHAT GPT per uno scarso livello di protezione dei dati personali degli utenti. La conversazione sul tema dell’alcol è scaturita dalla curiosità di capire come funziona e come si interfaccia con le persone un software di intelligenza artificiale, che sempre più rapidamente si stanno proponendo come interfacce “naturali” e attendibili sulla rete. Gli obiettivi di questa conversazione, che si è svolta durante una seduta sul sito OpenAI attraverso una serie di domande sul tema “alcol, salute e società” in lingua inglese e italiana, erano quelli di verificare 4 livelli: ” (…) 1. il livello di accuratezza e precisione delle risposte, 2. il grado di aderenza al contesto delle risposte date, sia dal punto di vista della conversazione in corso, sia dal lato delle relazioni interne tra gli enunciati generati, 3. la presenza o meno di incoerenze o vere e proprie contraddizioni nell’argomentazione prodotta, 4. ogni altro segnale interessante ricavabile dalla lettura del testo”.
Le domande poste al sistema sono state 24, e rientravano in tre macro aree relative all’alcol: “(…) a. il significato culturale e antropologico del bere; b. il rapporto tra alcol e salute, con riferimento ai rischi del bere in eccesso, al rischio cancro e ai possibili benefici soprattutto sulla salute CV; c. la natura e l’efficacia delle politiche di regolazione sulle bevande alcoliche”.
La prima considerazione fatta è quella sulla diversità delle risposte nelle due lingue,  che in inglese risultano più accurate, mentre in italiano sono meno ricche e articolate; a riprova di questo il numero di righe di risposta generate nella prima risultano 452, mentre nella seconda solo 215.
Dall’analisi condotta sui testi nelle due lingue, in base a 6 criteri definiti (affidabilità/precisione, affidabilità /opinione, sfondo contestuale, incoerenze, contraddizioni, ridondanze) è emerso che il sistema risponde in modo accurato, “(…) con un alto livello di risposte che oltre alla precisione sono vere (quasi il 44% in inglese e oltre il 46% in italiano) a cui si affianca un 19,9% e un 13,9%, rispettivamente, di risposte altamente attendibili”. Ma come sottolineano gli “intervistatori” attendibile non vuol dire affidabile, come si evince da alcune risposte che il sistema fornisce ad esempio sul Rum e la birra che definisce “bevande rinfrescanti”.
Il sistema riesce anche in buona parte a contestualizzare correttamente le risposte nella conversazione, soprattutto nella lingua italiana, dove è più carente sull’aspetto informativo. Altro aspetto che viene segnalato è l’incoerenza di parte dei testi (13% in inglese e 12% in italiano) nel senso che “(…) appaiono non convincenti, vuoi per il luogo dove sono collocati, dove non ce lo si attenderebbe, vuoi per assenza di rilevanza nell’argomentazione in cui compaiono”.
Per quanto riguarda invece le contraddizioni, anche se non sono statisticamente rilevanti, riguardano tematiche molto serie come il rischio di cancro e l’accesso alle bevande alcoliche, e al momento il sistema non sembra in grado di auto-correggersi. I conduttori dell’esperimento concludono che “(…) ChatGPT-3 è un sistema tutto sommato ben allenato, piuttosto potente in termini di riscontro informativo, capace di discriminare con una certa sicurezza i contesti di conversazione, competente nel generare enunciati sensati e variati in lingua naturale e disinvolto nell’interazione. Per contro il sistema non è privo di incoerenze, anche banali, e di contraddizioni, non frequenti ma palesi. E non sembra in grado di rispondere attivamente a suggerimenti di correzioni né tanto meno di fare autocritica, cioè di auto correggersi”.

Link alla Newsletter N. 53 a cura dell’Osservatorio Permanente su Giovani e Alcol