ChatGPT genera un intero documento di ricerca scientifica

ChatGPT all’opera. Ed è così che riesce a elaborare, in meno di un’ora, un documento di ricerca, sotto gli input di 2 scienziati che hanno voluto verificare le capacità dell’intelligenza artificiale nel produrre una ricerca scientifica.

Il risultato generato –  nella struttura prevista dell’articolo scientifico – è di contenuto “scorrevole e perspicace”, riporta nature.com.  Tuttavia, i ricercatori che hanno concepito e realizzato tale impresa, si sono dichiarati  preoccupati e perplessi per le insidie che può generare, suscitando in altri esperti il dubbio sull’utilità del ChatGPT.

Roy Kishony biologo e data scientist presso il Technion – Israel Institute of Technology di Haifa, autore dell’esperimento, insieme al suo allievo, lo scienziato Tal Ifargan, a prova conclusa, ha lanciato dalla rivista scientifica nature.com l’invito a “una discussione su come possiamo ottenere i benefici con meno svantaggi”.

Stimolare un dibattito sull’ IA ha portato i 2 scienziati a esplorare le capacità di ChatGPT come “copilota” in un lavoro di ricerca e relativa pubblicazione. Un esperimento lungo il quale hanno incontrato “molti ostacoli”, che vanno superati, sostengono, se si vuole che l’intelligenza artificiale di ChatGPT rechi vantaggi senza essere perniciosa.

Le allucinazioni. Per colmare le lacune

Il sistema ha generato un manoscritto “con una solida analisi dei dati, ma tutt’altro che perfetto” ha dichiarato Kishony e, soprattutto, ha “colmato le sue lacune inventando” producendo “false citazioni e informazioni imprecise”. Quest’ultimo è un fenomeno noto del sistema chiamato allucinazione.

Il pericolo dunque risiede nel cosiddetto P-hacking*, ha sottolineato lo scienziato, vale a dire, potrebbe favorire pratiche disoneste dei ricercatori, come testare diverse ipotesi di un set di dati, per poi riportare soltanto quello che producono un risultato significativo.

L’altra preoccupazione, ma questa è comune a qualsiasi argomento, la facilità con cui si possono produrre articoli in riviste di bassa qualità.

L’esperimento

ChatGPT, come oramai è noto ai più, è uno strumento di intelligenza artificiale (IA o AI se si usa l’acronimo inglese di artificial intelligence), in grado di comprendere e generare un testo simile a quello umano.

Per realizzare il loro scopo, Kishony e Ifargan, hanno scaricato un set di dati pubblici dal Sistema dei Centri di Controllo e Prevenzione degli Stati Uniti, costituito dai risultati di sondaggi telefonici relativi alla salute: informazioni riguardanti 250mila persone intervistate sul diabete, il consumo di frutta e verdura e l’attività fisica.

Dopo di che hanno chiesto a ChatGPT di scrivere un codice in grado di individuare dal set più informazioni e maggiori elementi da analizzare. Il primo tentativo è stato un fallimento: l’intelligenza artificiale aveva prodotto un codice “pieno di errori”, che “non funzionava”. Gli scienziati allora hanno inoltrato al sistema i messaggi di errore chiedendogli di correggerli, fino a ottenere il codice idoneo per esplorare il set di dati.

Il passo successivo è stato chiedere a ChatGPT di ‘collaborare’ per sviluppare un obiettivo di studio riguardo, appunto, il miglioramento della vita dei diabetici. Il sistema ha “suggerito di esplorare l’incidenza dell’attività fisica e del regime alimentare sul rischio della patologia, elaborando un codice ad hoc. Quindi è giunto alla conclusione “che mangiare più frutta e verdura e fare esercizio è connesso a un minore rischio di diabete”.

Il passo finale è stato invitare al sistema di riassumere i risultati in un articolo scientifico, secondo il metodo del manoscritto di genere, ossia un abstract, introduzione, metodi e sezioni di discussione e poi di perfezionarlo.

I commenti. Pericoli e inutilità

Alla luce del lavoro di Kishony e Ifargan, nature.com riporta i commenti di autorevoli esperti come Vitomir Kovanović, sviluppatore di tecnologie di intelligenza artificiale per l’istruzione presso l’University of South Australia  e di Shantanu Singh, biologo computazionale presso il Broad Institute del MIT che opera in collaborazione con l’Università di Harvard, a Cambridge, nel Massachusetts.

Per Vitomir Kovanović “è necessaria dare una maggiore visibilità agli strumenti di intelligenza artificiale nei documenti di ricerca. Altrimenti, sarà difficile valutare se i risultati di uno studio sono corretti. Probabilmente dovremo fare di più in futuro, se produrre documenti falsi sarà così facile”.

Per Shantanu Singh i sistemi di IA “potrebbero essere usati per generare documenti da set di dati o per sviluppare ipotesi. Ma poiché per i ricercatori è difficile rilevare allucinazioni e bias (termine scientifico che indica tendenza, inclinazione, distorsione ndr), non credo che scrivere interi articoli, almeno nel prossimo futuro, sarà particolarmente utile”.

*nota – P-hacking:  manipolazione inappropriata dell’analisi dei dati per consentire di presentare un risultato favorito come statisticamente significativo. Da Oxford Languages

Immagine – copertina by pixabay. Nella pagina Roy Kishhony, data scientist presso il Technion – Israel Institute of Technology di Haifa, autore dell’esperimento con il suo allievo, lo scienziato Tal Ifargan – Photo by Technion