Un programma televisivo italiano ha distrutto un’intelligenza artificiale senza saperlo, ecco la storia completa
Ecco come un test a quiz italiano ha mostrato tutti i limiti di ChatGPT, il chatbot più potente del momento, con un semplicissimo gioco di logica
Per 15 anni della mia vita, ogni sera, io e mia madre vedevamo in un televisore cinque parole, con scritta bianca in uno sfondo blu. Il nostro obiettivo era quello di trovare una parola, una sola, che potesse collegare le cinque parole. Sembra semplice vero? 🙃
Eppure un gioco così semplice, che può sembrare quasi elementare, banale e poco creativo, è stato per anni l’ultimo passaggio, l’ultimo atto, il mostro finale, di un famoso gioco a quiz chiamato l’Eredità. Stiamo parlando di un grande classico: un gioco a quiz in cui sette concorrenti si sfidano in diverse prove ad eliminazione, fino ad arrivare, appunto alla fase finale del gioco, “l’imperdibile Ghigliottina”, come titola lo stesso Rai Play.
Questa fase, dal nome poco politicamente corretto, è una fase ad un solo concorrente. Come dicevamo, al concorrente vengono messe davanti cinque parole e deve indovinarne una sesta che possa collegare tutte e cinque.
E così, per anni, io e mia madre abbiamo seguito le avventure degli sfidanti della “ghigliottina”. La ghigliottina “mieteva vittime” durante i miei studi del liceo, durante i miei primi lavori in un etichetta discografica, durante i miei studi universitari. Quando non ero a casa alle 7 di sera (e succedeva molto spesso) ricevevo una foto dal tablet di mia madre la nostra chat di whatsapp diventava una partita di scarabeo: esempio in figura sottostante 👇
Mentre il gioco della ghigliottina continuava, e io e mia madre provavamo disperatamente ad indovinare parole (ci riuscivamo, diciamo, 3 volte su 10), anche la mia carriera universitaria è andata avanti.
In particolare, è andata avanti nella direzione dell’ intelligenza artificiale. Dopo la mia laurea triennale in Fisica, ho cominciato a studiare Intelligenza Artificiale nella mia laurea magistrale (Physics of Complex Systems and Big Data), e mi sono completamente innamorato di questo mondo.
Con il tempo, sono diventato bravino 🙃, ho lavorato con Accenture nella mia tesi magistrale (finita con lode e in anticipo), ho cominciato a scrivere articoli su Towards Data Science, (che è qui su Medium la piattaforma più famosa di Intelligenza Artificiale), a realizzare corsi di formazione sull’Intelligenza Artificiale e ho cominciato a usare l’intelligenza artificiale nel mio percorso di ricerca negli Stati Uniti, all’Università di Cincinnati, in cui sto conseguendo il dottorato in Ingegneria Aerospaziale e Meccanica. L’intelligenza artificiale è stato il mio primo amore, la scelta di una carriera, il motore delle mie giornate, “il mistero profondo, la passione e l’idea”, come direbbe Venditti 😅
Negli ultimi tempi, in particolare, uno strumento di intelligenza artificiale sta diventando famosissimo. Si chiama ChatGPT.
ChatGPT può fare cose come tradurre un testo, sintetizzarlo, scrivere una ricetta che non esiste, scrivere una canzone come De Andrè, fare l’analisi del testo, fare letteralmente qualsiasi cosa che riguardi un testo.
Quando dico qualsiasi cosa intendo…qualsiasi cosa.
Anche scrivere codice? Sì. Anche scrivere un’opera che non esiste? Sì. Anche fare il compito in classe che per me è difficilissimo perché non ho studiato niente? Studia, ma sì.
L’università di New York e Los Angeles hanno bloccato o fortemente limitato l’accesso a ChatGPT usando le reti pubbliche dell’università (leggi qui). Nell’università di Cincinnati, dove lavoro, ChatGPT funziona perfettamente ma in uno degli articoli di Intelligenza Artificiale ho ricevuto un warning (una sorta di richiamo) per aver utilizzato ChatGPT come correttore di un testo (in quanto non nativo anglosassone).
Insomma è uno strumento molto potente, con tante implicazioni legali ed enormi potenzialità in futuro.
Ma quindi sa anche fare la ghigliottina dell’eredità? Ecco…quello no.
ChatGPT sarebbe un concorrente pessimo per l’eredità.
Non voglio che vi fidiate, vi porto la prova.
La soluzione di queste cinque parole:
- Angelo
- Palla
- Eco
- Segno
- Cara
E’ Pelle:
- La famosa Pelle D’angelo
- La palla di Pelle d’Apollo (quella storia dei pesci che vennero a galla)
- L’eco-pelle, che è un tipo di cuoio
- Un segno sulla pelle, come quelli che ci facevamo da bambini
- Vendere cara la pelle, che vuol dire impegnarsi al massimo.
Ecco. Se vedete la chat con mia madre, vedete che pelle è stata la mia prima risposta:
Vediamo come ChatGPT non avrebbe indovinato nemmeno se avesse partecipato alla stessa puntata per 10 volte:
Come è possibile? Come può un oggetto così potente fallire in un compito come la gighliottina quando può letteralmente scrivere un testo di una canzone come Fabrizio De Andrè? 👇
Cerchiamo di capirci qualcosa di più. Seguitemi.
1. Che cos’è ChatGPT?
Cerchiamo di andare oltre qualsiasi entusiasmo e diventiamo freddi per un attimo. Dimentichiamoci di tutte le paure e gli effetti di questo algoritmo e cerchiamo di definirlo con dettaglio.
Il nome GPT viene da Generative PreTrained Transformer.
E’ sicuramente un algoritmo che genera testo. Quindi è generativo, o in inglese generative, nessuna sorpresa fin quì.
Poi ci dicono che è pretrained…che vuol dire? Pre-trained, significa pre-addestrato. Tutti i modelli di intelligenza artificiale sono, necessariamente addestrati. Per addestrati intendo che se il nostro modello di intelligenza artificiale deve fare un compito, ad esempio distinguere le foto dei gatti da quelle dei cani, il nostro algoritmo deve aver “visto” diverse foto di gatti con l’etichetta gatto e diverse foto dei cani con l’etichetta cane. Queste foto, con relative etichette, verranno dati come esempi alla macchina, che quando vedrà una nuova foto avrà imparato (proprio perché è stato appunto addestrato) dagli esempi, e saprà dirci se quella foto è la foto di un cane o di un gatto.
In questo caso, il nostro modello è preaddestrato a dare risposte. Su una quantità di dati incredibili, e con una immensa potenza computazionale. Da un certo punto di vista, il discorso diventa molto semplice:
Se ChatGPT non è stato addestrato, abbastanza volte, ad associare cinque parole ad una sesta, farà fatica a farlo.
E’ importante ricordare che l’Intelligenza Artificiale non è magia nera, ma è un ottimizzazione di un modello su dei dati. Se i dati sono scarsi, o di qualità infima, o non sono i dati giusti, il modello non performerà bene, e questo sembra proprio il caso.
Non fraintendetemi, la quantità di dati usata per ChatGPT è immensa (e probabilmente ben trattata), ed è per questo che sembra magia nera. Semplicemente non è stato addestrato abbastanza su questo tipo di task.
Infine è un transformer. No, non stiamo parlando di macchine che diventano robot e salvando il mondo. Stiamo parlando di modelli di Intelligenza Artificiale che sono estremamente efficienti nel trattare il linguaggio.
2. Come fa l’Eredità a mettere in crisi ChatGPT?
Ora, noi non sappiamo come funzioni esattamente ChatGPT, non abbiamo accesso ai loro dati nè alla loro potenza. Il codice è “closed-source” che vuol dire, in poche parole, segreto al pubblico.
Quello che sappiamo è che questi modelli tendono ad essere dei buoni strumenti di correzione di testo e degli ottimi strumenti di “supporto”.
Hai bisogno di tradurre un testo? Di avere una notizia di cultura generale? Di sintetizzare un testo? Di scrivere un tema al liceo su Leopardi? Di scrivere un codice standard in Python? Usa ChatGPT e risparmierai tempo e fatica.
Al contempo, questi modelli fanno fatica ad essere creativi. La creatività è un principio che è estrapolato dalle nostre esperienze, ma è anche un qualcosa di, in parte, completamente nuovo. Un modello che è addestrato a svolgere compiti in base a quello che ha già visto fa fatica, per definizione, a creare cose nuove che siano creative.
Se avete già visto almeno una puntata dell’eredità sapete che il gioco è tutt’altro che banale, ma se invece non vi è mai capitato di vederne una, vi spiego il motivo. Le parole possono essere collegate da film, libri, canzoni, storie di cronaca, modi di dire. Possono essere collegamenti a volte molto semplici, a volte molto fantasiosi, a volte al limite della creatività e all’inizio del delirio. In alcuni momenti la parola viene in un lampo, in altri momenti la parola non è chiara neanche dopo avervela spiegata.
Il gioco tende ad essere molto poco meccanico e molto più artistico. Molto meno procedurale e molto più creativo. Molto meno regolamentato e molto più folle.
Questi sono esattamente i punti dove l’intelligenza artificiale fa fatica ad essere la migliore versione di sè stessa.
3. Può migliorare?
Laddove il modello in genere funziona ma fa fatica in alcune sue parti, la soluzione tende ad essere sempre la stessa: aggiungere dati. Non faccio fatica a credere che se prendessimo tutti gli episodi di tutte le edizioni dell’eredità e inserissimo quei dati all’interno del modello (procedura che si chiama fine-tuning) possiamo avere un’intelligenza artificiale molto più performante di così, e magari in grado di vincere qualche partita, invece di perdere così miseramente.
Può diventare il miglior giocatore del mondo?
Non credo.
Tempo fa un gioco chiamato Jeopardy venne stravinto (contro un essere umano) da un’Intelligenza Artificiale di IBM (guarda qui). Il gioco però era estremamente nozionistico. Il giocatore più forte era quello che sapeva più cose. Tutto qui.
In questo gioco sapere tutte le cose del mondo non basta. ChatGPT è stato addestrato con milioni di testi, quindi “conosce” moltissime cose, ma non sa risolvere la ghigliottina perché fatica in un compito creativo.
4. Conclusioni
Questo esempio dovrebbe (spero) aver comunicato un concetto importante:
Laddove il compito è complesso, e richiede tanta creatività, l’intelligenza artificiale non può, ad oggi, sostituire l’essere umano.
Non potrà farlo mai?
Yann Lecun, che è uno dei più grandi (se non il più grande) scienziato di AI in Meta (ex Facebook), ci spiega come per costruire macchine creative sia necessario un cambio di paradigma. In poche parole, istruire macchine potentissime con milioni di Giga di dati non sembra essere la via corretta per sprigionare la creatività da dei pezzi di ferro 😅
Nel frattempo, quindi, godiamoci l’Eredità e cerchiamo di diventare bravi ad indovinare quella maledetta sesta parola. Io, intanto, provo solo a diventare più bravo di mia madre.
5. Su di me! :)
Grazie mille per aver letto la mia storia. Se l’articolo ti è piaciuto e vuoi tenerci in contatto, fai una o più delle seguenti opzioni:
A. Seguimi su Linkedin, dove scrivo tutte le mie storie
B. Iscriviti alla mia newsletter, per non perderti neanche un articolo
C. Scrivimi a piero.paialunga@hotmail.com
Alla prossima!
