Risultati di ricerca

Un gruppo di ricercatori, composto da Luke Hewitt, Ashwini Ashokkumar, Isaias Ghezae e Robb Willer delle Università di Stanford e di New York , ha condotto uno studio per esplorare se i grandi modelli di linguaggio (LLM) possano essere impiegati per prevedere i risultati di esperimenti nel campo delle scienze sociali. A tal fine, è stato creato un archivio contenente 70 esperimenti di sondaggio, rappresentativi a livello nazionale e condotti negli Stati Uniti. Questi esperimenti includevano un totale di 476 effetti derivanti da trattamenti sperimentali e coinvolgevano 105.165 partecipanti. Per testare le capacità predittive di un modello di linguaggio avanzato e accessibile al pubblico, nello specifico GPT-4, il modello è stato utilizzato per simulare le risposte di campioni rappresentativi di cittadini americani agli stimoli proposti negli esperimenti.   Le previsioni prodotte dalle risposte simulate da GPT-4 hanno mostrato una forte correlazione con i reali effetti dei trattamenti sperimentali, con un coefficiente di correlazione r pari a 0,85. Questo livello di accuratezza si è rivelato comparabile o addirittura superiore a quello raggiunto dagli esseri umani che avevano tentato di fare previsioni analoghe in precedenza. Inoltre, è stato riscontrato che l'accuratezza del modello rimaneva elevata anche per esperimenti non ancora pubblicati, i cui dati non potevano quindi essere presenti nel set di addestramento del modello, con un coefficiente di correlazione r che in questi casi raggiungeva 0,90.   Lo studio ha valutato la precisione predittiva dei modelli di linguaggio attraverso diversi sottogruppi demografici, discipline accademiche e nove recenti megastudi, che includevano ulteriori 346 effetti di trattamenti. I risultati complessivi indicano che questi modelli possono costituire un potente strumento a supporto dei metodi sperimentali, sia nella ricerca scientifica che nella pratica quotidiana, offrendo alle imprese la possibilità di simulare il comportamento dei consumatori, valutare strategie di marketing e prevedere l'accettazione di nuovi prodotti o servizi. Tuttavia, permangono alcune limitazioni significative, come i bias demografici e la tendenza a sovrastimare l'intensità degli effetti, insieme a potenziali rischi di abuso. Per massimizzare l'efficacia di questi modelli, le aziende dovrebbero integrare le previsioni dell'AI con dati reali e intuizioni umane, ottimizzando così processi decisionali e strategie di mercato.   I modelli linguistici di grandi dimensioni (LLM) mostrano capacità nel riprodurre il modo in cui le persone pensano, comunicano e si comportano. Questi modelli riescono a imitare abilità umane complesse, tra cui l'interazione sociale, il giudizio morale, la negoziazione e il supporto emotivo. La crescente abilità degli LLM di simulare il linguaggio umano solleva interrogativi su come possano essere utilizzati nelle scienze sociali e comportamentali. È rilevante chiedersi se questi modelli possano essere impiegati per prevedere i risultati di esperimenti comportamentali, offrendo così vantaggi significativi nella costruzione di teorie e interventi nel campo comportamentale.   Un insieme di analisi è stato condotto per verificare se un modello linguistico avanzato, come GPT-4, possa prevedere con precisione gli effetti sperimentali osservati in un ampio archivio di esperimenti preregistrati e rappresentativi a livello nazionale. Gli esperimenti sono stati realizzati nell'ambito del programma interdisciplinare finanziato dalla NSF, Time-Sharing Experiments in the Social Sciences (TESS), e in un archivio di studi recenti di replicazione. Questi archivi comprendono esperimenti in diverse discipline, tra cui psicologia sociale, scienze politiche, sociologia, politiche pubbliche e sanità pubblica. GPT-4 è stato utilizzato per simulare risposte a stimoli sperimentali da parte di ampi campioni di popolazione demograficamente diversificati negli Stati Uniti. Le risposte medie generate in diverse condizioni sperimentali sono state poi confrontate per ottenere le dimensioni degli effetti previste dai modelli linguistici, che sono state messe in correlazione con gli effetti sperimentali originali. È stata valutata l'accuratezza di queste previsioni sia per la popolazione americana nel suo insieme, sia per sottogruppi di interesse accademico, con l'obiettivo di testare la capacità degli LLM di prevedere gli effetti dei trattamenti osservati in questi esperimenti.   Oltre a questo primo insieme di test, sono stati raccolti e analizzati altri esperimenti di grandi dimensioni con molteplici trattamenti, compresi studi con misurazioni comportamentali, test sul campo di interventi e valutazione dell'impatto. L'obiettivo è stato quello di esplorare più a fondo il valore e i limiti attuali delle previsioni basate sui modelli linguistici per i risultati sperimentali. Se fosse possibile prevedere con elevata precisione i risultati degli esperimenti nelle scienze sociali, ciò potrebbe avere conseguenze rilevanti sia a livello teorico che pratico. Pur non potendo sostituire i partecipanti umani, i modelli linguistici offrono la possibilità di condurre studi pilota in modo rapido ed economico. Ciò può supportare i ricercatori nell'identificazione delle idee di ricerca più promettenti, facilitare la formulazione di teorie e ipotesi, oltre a migliorare la stima della dimensione di effetti sconosciuti. In questo modo, diventa più agevole determinare la dimensione del campione necessaria per gli studi e stabilire priorità per quelli da replicare.   Questa abilità potrebbe avere rilevanti applicazioni pratiche. Ad esempio, i responsabili delle politiche pubbliche potrebbero utilizzare gli LLM per analizzare varie strategie di comunicazione, con l'intento di incentivare comportamenti desiderati, come quelli legati alla salute o alla partecipazione a programmi di welfare. Attualmente, il metodo più efficace per anticipare i risultati degli esperimenti è raccogliere previsioni da esperti o dal pubblico. Tuttavia, questo approccio può risultare dispendioso sia in termini di tempo che di risorse economiche. Un'alternativa più economica e scalabile, basata sui modelli linguistici di grandi dimensioni, potrebbe rendere le previsioni più accessibili e ampiamente utilizzate.   Negli ultimi tempi, la capacità dei LLM di simulare con precisione le risposte umane in esperimenti di sondaggio rappresentativi ha attirato l'attenzione di ricercatori e scienziati sociali. In questi studi, un trattamento sperimentale viene applicato a un campione rappresentativo della popolazione e le variabili dipendenti vengono misurate all'interno di un sondaggio. L'obiettivo è comprendere come gli LLM possano rispecchiare le risposte umane su temi complessi come personalità, giudizi morali e opinioni politiche. Tuttavia, i risultati ottenuti finora sono stati piuttosto variabili, suggerendo che, sebbene vi siano segnali promettenti, molte sfide rimangono irrisolte.   L'attenzione è rivolta alla capacità dei LLM di prevedere come cambia qualcosa quando viene fatto un intervento o un'azione in modo casuale. Questa abilità è cruciale per l'analisi causale nelle scienze sociali. Mentre simulare semplici risposte a sondaggi può sembrare un compito relativamente semplice per un LLM, la previsione dei risultati di esperimenti complessi si rivela decisamente più ardua. Ciò richiede non solo di emulare le risposte umane, ma anche di cogliere come queste risposte possano variare in base a condizioni sperimentali differenti.   Alcuni studi pionieristici hanno dimostrato che gli LLM possono effettivamente simulare con successo gli esiti di esperimenti economici conosciuti, sia nella loro versione originale che in forme modificate. Questi risultati iniziali sono incoraggianti e suggeriscono che i modelli di intelligenza artificiale potrebbero essere utili strumenti nella previsione di effetti sperimentali. Tuttavia, rimane una significativa lacuna: non esistono studi che abbiano analizzato in modo sistematico un vasto campione di esperimenti, soprattutto quelli non pubblicati e quindi non presenti nei dati di addestramento degli LLM. Questa mancanza rappresenta una barriera alla piena comprensione delle capacità predittive degli LLM.   Nonostante i progressi, l'impiego degli LLM per simulare comportamenti umani e prevedere risultati sperimentali è ancora soggetto a limitazioni. Una delle principali preoccupazioni riguarda i potenziali bias dei modelli, in particolare nei confronti di gruppi storicamente sottorappresentati o con limitato accesso a internet. Questo solleva interrogativi sulla precisione delle stime prodotte dagli LLM, specialmente quando applicate a tali gruppi. Per affrontare queste preoccupazioni, sono stati condotti test per valutare l'accuratezza delle previsioni degli LLM in vari campi, tra cui psicologia, scienze politiche, sociologia e politiche pubbliche, utilizzando diverse metriche di valutazione.   Un ulteriore punto di riflessione riguarda i potenziali rischi sociali derivanti dall'uso di queste tecnologie. Se gli LLM riuscissero a prevedere con estrema precisione i risultati di esperimenti su vasta scala, potrebbero sorgere nuove sfide etiche e sociali. Ad esempio, c'è la preoccupazione che tali modelli possano essere sfruttati per sviluppare interventi dannosi, come la creazione di contenuti manipolativi progettati per fuorviare efficacemente il pubblico. Questo ha spinto i ricercatori a indagare se gli LLM attualmente disponibili al pubblico possano essere utilizzati in modo improprio, ponendo così questioni urgenti sulla regolamentazione e sull'uso responsabile di questa tecnologia.   Gli LLM predicono gli esiti degli esperimenti sociali negli Stati Uniti I ricercatori hanno condotto uno studio con l'obiettivo di determinare se i modelli di linguaggio di grandi dimensioni attualmente disponibili siano capaci di prevedere in modo accurato sia la direzione, ossia se un intervento avrà un effetto positivo o negativo, sia l'entità, ovvero quanto significativo sarà l'effetto, degli esiti sperimentali in ambito di scienze sociali. Lo studio si concentra specificamente su esperimenti condotti negli Stati Uniti, esplorando la capacità di questi modelli di anticipare i risultati dei cambiamenti sociali misurati attraverso diverse variabili. Per realizzare questo obiettivo, è stato creato un archivio di dati contenente 50 esperimenti multidisciplinari basati su sondaggi, condotti tra il 2016 e il 2022 attraverso il progetto Time-Sharing Experiments for the Social Sciences (TESS), finanziato dalla National Science Foundation, utilizzando campioni rappresentativi della popolazione statunitense. Inoltre, sono stati inclusi 20 esperimenti aggiuntivi provenienti da un recente progetto di replicazione, anch'essi condotti su campioni rappresentativi a livello nazionale. Ogni esperimento è stato rianalizzato utilizzando i dati originali e applicando un approccio analitico coerente per stimare i contrasti sperimentali.   L'archivio creato ha caratteristiche importanti. Gli esperimenti inclusi sono di alta qualità, ben progettati e con un'ampia base di dati, il che rende i risultati più affidabili. Inoltre, questi esperimenti sono stati pianificati in anticipo, valutati da altri esperti e condotti su campioni che rappresentano in modo accurato la popolazione degli Stati Uniti. Ciò rende possibile valutare la precisione delle previsioni derivate dai LLM anche per sottogruppi demografici specifici. Inoltre, l'archivio è ampio e diversificato, comprendendo esperimenti progettati da 77 scienziati sociali e comportamentali provenienti da diversi campi, come scienze politiche, psicologia, sociologia, politiche sociali e comunicazione. Gli esperimenti esaminano diversi tipi di interventi, come ad esempio il modo in cui le informazioni vengono presentate, l'importanza di certi temi e l'influenza delle identità sociali. Questi studi coprono una vasta gamma di risultati, tra cui opinioni politiche e culturali, pregiudizi verso le minoranze e livelli di felicità. Un altro punto di forza dello studio risiede nell'adozione di un'analisi uniforme, che ha permesso di stimare in modo coerente gli effetti sperimentali, evitando i bias dei ricercatori. Ciò ha incluso anche l'analisi di effetti che non erano stati originariamente ipotizzati dai ricercatori, e che quindi difficilmente sarebbero stati riportati nelle pubblicazioni. Inoltre, molti dei risultati sperimentali non erano stati pubblicati o resi pubblici prima della finestra temporale di addestramento di GPT-4, permettendo una valutazione accurata della capacità predittiva del modello su dati a cui non avrebbe potuto essere esposto.   Tuttavia, l'archivio presenta anche delle limitazioni. La principale riguarda il fatto che gli esperimenti rappresentano esclusivamente la popolazione statunitense, limitando la possibilità di estendere le previsioni a contesti esterni. Inoltre, benché l'archivio includa esperimenti provenienti da diverse discipline, alcune aree importanti, come la psicologia cognitiva, l'economia comportamentale e il marketing, non sono state rappresentate. Infine, tutti gli esperimenti inclusi si basano su sondaggi in cui ai partecipanti venivano presentati testi da leggere e poi dovevano rispondere riportando le proprie opinioni o sentimenti. Sono stati esclusi esperimenti svolti in situazioni reali o quelli che utilizzavano immagini, video o altri tipi di stimoli visivi o multimediali.   Per ottenere previsioni dai modelli di linguaggio sugli esiti degli esperimenti nell'archivio, sono stati usati i materiali originali degli studi, come i testi usati per stimolare le risposte dei partecipanti, le variabili da misurare e le scale di valutazione. Invece di far prevedere direttamente ai modelli i risultati finali degli esperimenti, è stata adottata una strategia diversa: si è usato il modello per simulare le risposte che i partecipanti avrebbero dato agli stimoli sperimentali. Per farlo, ai modelli è stato fornito un messaggio introduttivo, un profilo casuale di un partecipante con dettagli demografici (come età o sesso), il testo dello stimolo sperimentale e la domanda che misurava il risultato atteso, insieme alla scala di valutazione. Il modello ha quindi previsto come il partecipante avrebbe risposto dopo aver visto lo stimolo.   Per ridurre il rischio che i risultati fossero influenzati da un unico modo di porre le domande ai modelli, i ricercatori hanno utilizzato una tecnica chiamata "ensemble". In pratica, hanno fatto in modo che i modelli rispondessero a domande formulate in modi diversi, scelte casualmente da un grande archivio di possibili domande. Poi, hanno calcolato una media delle risposte dei modelli per ogni esperimento e per ogni risultato misurato.   Per valutare quanto fossero precise le previsioni, i ricercatori hanno scelto a caso una situazione di controllo per ogni studio e confrontato le previsioni fatte dai modelli con i risultati effettivi degli esperimenti. Questo processo è stato ripetuto 16 volte, e hanno usato il valore mediano della correlazione tra previsioni e risultati reali come principale misura di accuratezza. Per avere maggiore certezza nei risultati, i ricercatori hanno fatto dei calcoli aggiuntivi per correggere eventuali errori o imprecisioni nei dati originali. Hanno poi riportato sia i valori corretti che quelli originali, in modo da mostrare entrambe le versioni.   Previsioni sperimentali: GPT-4 più preciso con l'aiuto umano Per valutare se i modelli linguistici avanzati come GPT-4 possano essere utilizzati per prevedere i risultati di esperimenti, è stato effettuato un confronto tra le previsioni generate dal GPT-4 e i risultati reali degli esperimenti. In un'analisi basata su 476 misure di effetto provenienti da 70 esperimenti, è emerso che le previsioni di GPT-4 erano fortemente correlate con i risultati reali (correlazione di 0,85, con un aggiustamento a 0,91). Considerando esclusivamente i confronti diretti, le previsioni di GPT-4 sono risultate corrette nel 90% dei casi.   È stato inoltre osservato un miglioramento significativo dell'accuratezza delle previsioni attraverso le varie generazioni dei modelli linguistici, passando da GPT-3 (con 1,2 miliardi di parametri) al più avanzato GPT-4 (stimato avere circa 1 trilione di parametri). Questo suggerisce la possibilità di un'ulteriore precisione nei modelli futuri nel simulare le risposte dei partecipanti agli esperimenti.   L'accuratezza delle previsioni è aumentata con l'utilizzo di un maggior numero di prompt, come evidenziato nell'analisi. Infine, GPT-4 ha raggiunto un'elevata precisione nel prevedere i risultati di esperimenti condotti in una vasta gamma di discipline accademiche.   Per verificare se i modelli di linguaggio di grandi dimensioni (LLM), come GPT-4, si limitino a replicare i risultati sperimentali dai dati di addestramento, è stato effettuato un confronto. È stata confrontata la precisione predittiva per studi pubblicati o resi disponibili online prima della data di cut-off dei dati di addestramento di GPT-4 (settembre 2021) con quella per studi non ancora pubblicati entro la fine del 2021, che quindi non potevano essere inclusi nei dati di addestramento. I risultati hanno indicato che la precisione predittiva era leggermente superiore per gli studi non pubblicati (88% di previsioni corrette) rispetto a quelli già pubblicati (87% di previsioni corrette).   Come ulteriore verifica, è stato chiesto a GPT-4 di identificare gli autori di ciascun esperimento da una lista di 10 possibili autori, basandosi sul titolo dello studio. Anche negli studi in cui GPT-4 non ha identificato correttamente l'autore, è emersa una forte correlazione tra le previsioni del modello e i risultati sperimentali originali. In sintesi, sono emerse evidenze significative che la generazione attuale di modelli di linguaggio di grandi dimensioni possa essere utilizzata per prevedere con precisione sia l'entità che la direzione degli effetti osservati nei sondaggi condotti negli Stati Uniti. Questo significa che i modelli sono in grado di anticipare non solo se un intervento o cambiamento porterà a un aumento o a una diminuzione di un certo fenomeno (direzione dell'effetto), ma anche quanto grande sarà questo cambiamento (intensità dell'effetto). È stato inoltre osservato un miglioramento continuo dell'accuratezza tra le successive generazioni di LLM. È importante sottolineare che l'elevata precisione dei modelli non sembra essere semplicemente dovuta al fatto che stanno ripetendo risultati che già conoscevano dai dati utilizzati per il loro addestramento. Per avere un punto di confronto sull'accuratezza delle previsioni, è stato coinvolto un gruppo di 2.659 cittadini americani. A queste persone sono stati forniti i dettagli degli esperimenti presenti nell'archivio, e si è chiesto loro di fare previsioni sugli effetti che gli esperimenti avrebbero prodotto. Anche se le previsioni fatte dalle persone sono risultate piuttosto accurate (con un livello di correlazione tra le previsioni e i risultati reali pari a 0,79 e 0,84), il modello GPT-4 è riuscito a fare previsioni ancora più precise, superando le capacità delle persone e dei modelli delle generazioni precedenti.   In un'analisi aggiuntiva, sono state considerate due possibili spiegazioni per la somiglianza nell'accuratezza tra le previsioni umane e quelle generate dai modelli LLM. La prima ipotesi è che le previsioni fornite dagli LLM contengano informazioni simili a quelle utilizzate dagli esseri umani. La seconda ipotesi è che le previsioni degli LLM offrano informazioni distinte e non ridondanti rispetto a quelle umane.   L'analisi ha mostrato che sia le previsioni generate dal modello di intelligenza artificiale GPT-4 (con un valore di b = 0,35) sia quelle fatte dagli esseri umani (con un valore di b = 0,32) sono entrambe positivamente associate ai risultati reali degli esperimenti, e queste associazioni sono indipendenti l'una dall'altra.   Il valore "b" misura quanto le previsioni (sia quelle fatte dall'AI che dagli esseri umani) sono legate ai veri risultati degli esperimenti. In pratica, indica quanto bene le previsioni riescono a "catturare" o anticipare i risultati effettivi. Inoltre, il segno positivo di b indica che, quando le previsioni aumentano, anche i risultati reali tendono ad aumentare, mostrando una relazione diretta.   In altre parole, un valore di b più alto significa che c'è una connessione più forte tra ciò che viene previsto e ciò che accade realmente. Nel caso specifico, b = 0,35 per GPT-4 e b = 0,32 per le previsioni umane indicano che entrambi i metodi di previsione sono buoni indicatori dei risultati reali, con GPT-4 che mostra una leggera superiorità.   Questo risultato suggerisce che sia l'intelligenza artificiale che le persone possono fare previsioni utili ma in modi diversi. Per esempio, l'IA potrebbe individuare modelli o dettagli che gli esseri umani potrebbero non notare, mentre le persone possono basarsi su esperienza e intuizioni che l'IA non possiede. Di conseguenza, combinare entrambe le fonti di previsione potrebbe migliorare la precisione complessiva nel prevedere i risultati di esperimenti futuri, sfruttando i punti di forza di entrambi.   Questa scoperta suggerisce che le previsioni fatte dall'intelligenza artificiale e quelle fatte dagli esseri umani offrono ciascuna un tipo di informazione utile ma diversa. Per esempio, l'AI potrebbe notare schemi o dettagli che gli esseri umani potrebbero trascurare, mentre le persone potrebbero fare affidamento su esperienze o intuizioni che l'IA non possiede. Di conseguenza, combinare le previsioni di entrambe le fonti potrebbe aumentare la precisione complessiva nel prevedere i risultati di esperimenti futuri, sfruttando i punti di forza di entrambi.   In effetti, quando si sono confrontate le previsioni fatte sia dalle persone che dai modelli di intelligenza artificiale, si è scoperto che, combinando i risultati di entrambi, le previsioni erano più vicine alla realtà rispetto a quando si consideravano solo le previsioni delle persone o solo quelle del modello. Questo suggerisce che, per ottenere previsioni più accurate negli esperimenti di scienze sociali, è utile unire le intuizioni umane con quelle generate dall'intelligenza artificiale.   Tuttavia, è emerso che GPT-4, pur essendo piuttosto preciso, tendeva a esagerare la grandezza degli effetti previsti negli esperimenti. In altre parole, GPT-4 stimava che l'impatto di un cambiamento sarebbe stato più grande di quanto non fosse effettivamente. Questo ha portato a un errore medio del 10,9%, mentre le previsioni fatte dalle persone avevano un errore medio leggermente inferiore, pari all'8,4%.   Per rendere le previsioni di GPT-4 più precise, i ricercatori hanno applicato una correzione: hanno ridotto l'ampiezza delle previsioni di GPT-4 del 56%. In pratica, hanno abbassato i valori previsti dal modello per avvicinarli ai risultati reali. Dopo questa correzione, l'errore medio nelle previsioni di GPT-4 è sceso al 5,3%, rendendolo più preciso rispetto alle previsioni umane, che avevano un errore medio del 6,0%. Inoltre, combinando le previsioni di GPT-4 corrette con quelle delle persone, si è ottenuto un errore medio ancora più basso, del 4,7%, dimostrando che la collaborazione tra intelligenza artificiale e intuizioni umane può produrre previsioni molto accurate. Accuratezza delle previsioni sperimentali di GPT-4 per gruppi demografici diversi Nella valutazione delle previsioni fornite da modelli linguistici di grandi dimensioni, come GPT-4, è emerso un possibile problema legato alla presenza di bias, specialmente nei risultati che riguardano gruppi minoritari o sottorappresentati. Quando questi modelli vengono utilizzati per fare previsioni su sondaggi, sembra che siano meno precisi nel prevedere i risultati per questi gruppi, il che suggerisce che anche gli effetti sperimentali previsti da questi modelli potrebbero essere meno affidabili per tali sottogruppi. Tuttavia, si ipotizza che la capacità predittiva di questi modelli potrebbe essere più accurata nel contesto degli effetti sperimentali rispetto ai sondaggi, poiché gli effetti sperimentali tendono a variare meno tra le diverse sottopopolazioni.   Per testare questa ipotesi, è stato adottato un metodo che utilizza profili demografici specifici, confrontando le previsioni prodotte da modelli come GPT-4 con i risultati sperimentali effettivi, suddivisi per sottogruppi. Nel caso di GPT-4, le previsioni per 476 effetti sperimentali hanno mostrato un livello simile di accuratezza tra vari gruppi demografici. Ad esempio, le previsioni erano molto precise sia per le donne che per gli uomini, con correlazioni di 0.80 e 0.72 rispettivamente, e una volta corrette per il campionamento, entrambe raggiungevano un valore di 0.90. Anche tra partecipanti neri e bianchi, le correlazioni grezze erano rispettivamente 0.62 e 0.85, mentre le correlazioni corrette erano 0.86 e 0.90. Per i partecipanti democratici e repubblicani, le correlazioni grezze erano 0.69 e 0.74, con valori corretti di 0.85 e 0.86. La correlazione più bassa tra i partecipanti neri è stata attribuita principalmente alla ridotta dimensione del campione, ma una volta corretto questo fattore, la precisione delle previsioni si è avvicinata a quella degli altri gruppi.   Questa uniformità nell'accuratezza delle previsioni potrebbe riflettere il fatto che gli effetti sperimentali tendono a essere piuttosto simili tra i vari gruppi demografici negli Stati Uniti. Solo una piccola parte degli effetti del trattamento negli esperimenti esaminati, infatti, è risultata significativamente influenzata da variabili come il genere (6,3%), l'etnia (7,2%) e l'appartenenza politica (15,4%).   Infine, è stata esaminata anche la capacità dei modelli linguistici di prevedere gli effetti di interazione, cioè come un trattamento sperimentale possa influenzare in modo diverso persone con caratteristiche diverse. I risultati hanno mostrato che i modelli avevano una capacità variabile nel prevedere come un trattamento sperimentale potesse influenzare persone con caratteristiche diverse. Questa capacità era piuttosto debole in alcuni casi e un po' più forte in altri. Per esempio, quando si guardava a come il trattamento influenzava il genere, l'etnia e l'appartenenza politica, le correlazioni grezze (che indicano quanto bene il modello riusciva a prevedere questi effetti) erano rispettivamente -0.01, 0.16 e -0.03. Questi numeri mostrano che, nel caso del genere e dell'appartenenza politica, il modello non prevedeva bene le differenze (valori vicini a zero o negativi indicano una scarsa capacità di previsione).   Tuttavia, quando i risultati venivano corretti per tener conto di alcuni fattori, la capacità predittiva migliorava, con valori di 0.17 per il genere, 0.55 per l'etnia e 0.41 per l'appartenenza politica. Questi valori corretti indicano una moderata capacità del modello di prevedere differenze basate su etnia e appartenenza politica, mentre per il genere rimaneva relativamente debole.   Previsioni efficaci degli interventi sociali con i modelli di linguaggio Gli studi di previsione relativi agli interventi sperimentali sul campo o tramite sondaggi possono beneficiare dell'uso di modelli di linguaggio per simulare gli esiti delle sperimentazioni con una certa accuratezza. Questi modelli potrebbero essere utilizzati per prevedere i risultati di interventi mirati a generare impatti socialmente positivi, come promuovere atteggiamenti democratici, supportare azioni per contrastare il cambiamento climatico o aumentare l'intenzione di vaccinarsi. Il problema è che esistono molte più idee su come affrontare tali questioni sociali rispetto alla capacità di testarle o implementarle nella realtà. Per questo, i decisori politici spesso si affidano alle previsioni degli esperti, basate sulla loro esperienza, per selezionare quali interventi dovrebbero essere testati o implementati.   Un sistema basato su LLM potrebbe diventare un supporto utile per identificare in modo rapido ed economico gli interventi più efficaci, soprattutto se le sue previsioni risultano essere altrettanto precise, o persino superiori, rispetto a quelle degli esperti umani. Per indagare questa possibilità, sono stati raccolti e analizzati dati da un archivio supplementare contenente nove grandi esperimenti, denominati "mega-studi". Questi mega-studi hanno testato l'efficacia di numerosi interventi mirati a influenzare vari comportamenti e atteggiamenti sociali su un campione totale di oltre 1,8 milioni di partecipanti. Gli studi provengono da diverse discipline, come la psicologia, l'economia, la scienza politica, la sociologia e il marketing, e alcuni di questi includevano anche le previsioni degli esperti riguardo la probabile efficacia degli interventi.   La difficoltà di prevedere i risultati di questi mega-studi risiede nel fatto che molti interventi sono progettati per avere effetti nella stessa direzione rispetto all'obiettivo prefissato. Questo porta a differenze relativamente piccole tra le condizioni di trattamento, rendendo complicato per gli LLM distinguere l'efficacia degli interventi in maniera precisa. Inoltre, alcune sperimentazioni sono state condotte in contesti reali e non utilizzavano esclusivamente trattamenti testuali, complicando ulteriormente la possibilità di descrivere gli stimoli e i contesti degli studi nei prompt utilizzati dagli LLM.   Per valutare quanto bene i modelli linguistici di grandi dimensioni riescano a prevedere l'efficacia degli interventi in vari studi, è stata confrontata la differenza tra i risultati effettivi dei trattamenti e le previsioni fatte dai modelli. Successivamente, è stata calcolata una media complessiva di questi confronti per ottenere una valutazione generale delle capacità predittive dei modelli. I risultati hanno indicato che le previsioni derivate dagli LLM sono state più accurate per gli esperimenti basati su sondaggi rispetto a quelli condotti sul campo. Ad esempio, le previsioni degli LLM per gli esperimenti basati su sondaggi hanno ottenuto una correlazione positiva con gli effetti reali, risultando nel 79% delle previsioni nella direzione corretta. Al contrario, per gli esperimenti sul campo, la correlazione era inferiore e solo il 64% delle previsioni indicava la direzione giusta.   LLM e rischi di abuso nella creazione di campagne di disinformazione L'uso dei LLM potrebbe comportare rischi legati alla loro capacità di prevedere i risultati di esperimenti che potrebbero avere conseguenze socialmente dannose. Sebbene questa capacità possa essere sfruttata per scopi positivi, come la moderazione dei contenuti, esiste il potenziale per un uso improprio, ad esempio, nella creazione di campagne di messaggi nocivi come quelli anti-vaccinazione. Gli LLM disponibili al pubblico sono progettati con protezioni di base per impedire la generazione diretta di contenuti dannosi, ma tali misure potrebbero non essere sufficienti a prevenire il loro utilizzo per selezionare contenuti dannosi tra diverse opzioni.   Per valutare questo rischio, è stato condotto un test su modelli di linguaggio disponibili, esaminando se, con le protezioni attive, possano essere usati per identificare messaggi dannosi. I dati di un recente esperimento hanno mostrato l'impatto di post su Facebook relativi alla vaccinazione sulla riduzione delle intenzioni di vaccinarsi contro il COVID-19. Le previsioni generate da GPT-4 sugli effetti di questi post erano significativamente correlate con le stime dell'effetto reale, suggerendo che il modello è in grado di individuare i contenuti con il maggiore impatto negativo sulle intenzioni di vaccinazione. Nello specifico, i cinque post identificati da GPT-4 come i più dannosi sono stati stimati nel loro impatto come capaci di ridurre le intenzioni di vaccinazione del 2,77%.   Questo risultato evidenzia che le protezioni attuali non sono sufficienti per impedire l'uso degli LLM nella creazione di contenuti efficaci per causare danni sociali. Inoltre, è stato osservato che la capacità predittiva dei modelli è aumentata con le generazioni successive, comparabile anche a modelli avanzati sviluppati da altre aziende, come Claude 3 Opus di Anthropic.   I risultati indicano che le aziende che forniscono accesso pubblico agli LLM potrebbero ridurre il rischio di abuso implementando protezioni aggiuntive di "secondo livello". Queste misure potrebbero limitare la capacità dei modelli di simulare esperimenti su trattamenti socialmente dannosi. Tuttavia, per consentire l'uso legittimo di queste capacità, ad esempio nella ricerca accademica o nella moderazione dei contenuti su piattaforme social, potrebbero essere previsti permessi speciali per derogare a tali protezioni in casi giustificati.   Conclusioni Lo studio esplorativo condotto sulle capacità dei modelli di linguaggio di grandi dimensioni nel prevedere i risultati degli esperimenti nelle scienze sociali fornisce indicazioni chiave per il mondo aziendale, con implicazioni rilevanti per diverse aree, tra cui il marketing, la previsione delle vendite, l'accettazione dei prodotti e servizi, e l'adattamento della forza lavoro a nuove metodologie o riorganizzazioni.   In primo luogo, le scoperte suggeriscono che i LLM, come GPT-4, potrebbero diventare uno strumento strategico per le aziende nella simulazione delle reazioni dei consumatori a nuove campagne di marketing, prima ancora di investire risorse considerevoli in esperimenti sul campo o focus group tradizionali. Grazie alla loro capacità di prevedere con alta precisione l'efficacia di messaggi pubblicitari, promozioni e interventi sul comportamento dei consumatori, questi modelli offrono un'alternativa rapida ed economica rispetto ai metodi convenzionali. Un esempio pratico potrebbe essere la simulazione di reazioni a nuovi slogan o contenuti multimediali, evitando costosi test pilota e permettendo ai team di marketing di concentrarsi sui messaggi più promettenti già nella fase iniziale della progettazione.   In ambito previsionale delle vendite, l'uso dei LLM può rappresentare un'importante innovazione. I modelli possono simulare le risposte dei consumatori a variazioni di prezzo, modifiche nei punti vendita o a nuove modalità di distribuzione, prevedendo non solo l'accettazione o il rifiuto del cambiamento, ma anche la portata dell'impatto sul comportamento d'acquisto. In tal senso, gli LLM potrebbero potenzialmente sostituire o complementare strumenti tradizionali di forecasting, come i sondaggi o i modelli statistici basati su dati storici, migliorando la precisione delle previsioni in tempi più brevi e con minori risorse economiche impiegate.   Dal punto di vista dell'accettazione di nuovi prodotti o servizi, la capacità degli LLM di simulare reazioni demograficamente diversificate diventa cruciale. Le aziende che cercano di entrare in nuovi mercati o di lanciare prodotti innovativi possono utilizzare queste simulazioni per prevedere la ricezione di tali offerte su scala nazionale o internazionale, testando la risposta di specifici gruppi target senza la necessità di sondaggi estesi o analisi preliminari complesse. Questa tecnologia potrebbe ridurre i rischi di insuccesso, migliorando l'efficacia delle strategie di lancio di prodotti grazie alla possibilità di ottimizzare la messaggistica e il posizionamento prima di impegnarsi finanziariamente.   Inoltre, per quanto riguarda l'adattamento della forza lavoro a nuovi modelli di lavoro o riorganizzazioni, l'uso degli LLM può fornire insights preziosi sulle reazioni dei dipendenti a cambiamenti significativi all'interno delle aziende. La simulazione delle reazioni dei dipendenti a politiche organizzative, cambiamenti culturali o nuovi strumenti di lavoro può aiutare i leader aziendali a prevedere con maggiore precisione le possibili resistenze o le aree critiche su cui intervenire, riducendo tempi e costi legati all'implementazione di tali cambiamenti. Invece di affidarsi esclusivamente a sondaggi interni o consulenze esterne, che possono risultare costosi e limitati nella loro capacità di prevedere reazioni su larga scala, i modelli LLM offrono un'opzione scalabile e versatile per facilitare la transizione.   Tuttavia, lo studio evidenzia anche alcune limitazioni importanti. La precisione degli LLM è ancora influenzata da bias demografici, che potrebbero limitare la loro applicabilità in contesti particolari o per segmenti di mercato non adeguatamente rappresentati. Inoltre, gli LLM tendono a sovrastimare l'intensità degli effetti previsti, il che può portare a errori nelle stime di impatto. Le aziende dovranno considerare queste limitazioni e, quando possibile, integrare le previsioni dei modelli con dati reali o test mirati per garantire un approccio più equilibrato e accurato.   In conclusione, l'integrazione dei LLM nelle pratiche aziendali presenta vantaggi significativi in termini di velocità, costo ed efficacia delle previsioni rispetto ai metodi tradizionali, ma richiede un'attenzione costante ai potenziali rischi e bias. Le aziende che sapranno combinare le intuizioni derivanti dall'uso dei LLM con l'esperienza umana e i dati reali avranno una marcia in più nella pianificazione strategica e nell'implementazione di innovazioni di successo.

Un gruppo di ricercatori, tra cui Charlie Snell, Jaehoon Lee, Kelvin Xu e Aviral Kumar, con il supporto di Google DeepMind e l'Università di Berkeley , ha esplorato un approccio innovativo nell'ottimizzazione dei modelli di linguaggio di grandi dimensioni (LLM). In particolare, hanno focalizzato l'attenzione sull'ottimizzazione del calcolo durante la fase di test (test-time compute), dimostrando come questo possa risultare più efficace rispetto al semplice aumento del numero di parametri del modello. Il loro studio ha rivelato che, invece di continuare a espandere le dimensioni del modello, una gestione più efficiente delle risorse computazionali durante il test può portare a risultati significativamente migliori. Per comprendere appieno il concetto, tradizionalmente, per elevare la qualità del testo generato, si tende ad accrescere la complessità del modello, aumentando il numero di parametri, che rappresentano i "mattoni" informativi utilizzati dal modello per effettuare previsioni. Tuttavia, questo approccio comporta un notevole consumo di memoria e risorse computazionali, rendendo l'utilizzo di modelli molto sofisticati costoso e difficile da gestire.   L'alternativa esplorata in questo studio propone di concentrare gli sforzi sull'ottimizzazione di come vengono utilizzate le risorse di calcolo al momento del test, cioè quando il modello viene effettivamente utilizzato per generare un output, come una risposta testuale. Invece di rendere il modello stesso più grande e complesso, si cerca di far sì che le risorse già disponibili siano impiegate nel modo più efficiente possibile.   In questo studio, viene analizzata la possibilità di aumentare la potenza di calcolo durante il processo di inferenza nei LLM, con l'obiettivo di rispondere a una domanda specifica: se a un LLM viene concesso di utilizzare una quantità fissa ma significativa di risorse computazionali durante l'inferenza, quanto può migliorare le sue prestazioni su un compito complesso? La risposta a questa domanda ha implicazioni non solo per le prestazioni raggiungibili dai LLM, ma anche per il futuro dell'addestramento di questi modelli e su come bilanciare l'uso delle risorse tra inferenza e addestramento.   Nonostante l'importanza del tema, poche ricerche hanno cercato di comprendere come i vari metodi di inferenza si adattino a diversi contesti durante i test. Inoltre, i risultati delle ricerche esistenti tendono a essere sfavorevoli per molte di queste strategie. La ricerca di Snell e colleghi esamina due meccanismi principali per aumentare l'efficienza computazionale durante l'inferenza. Il primo meccanismo si basa su modelli di ricompensa che analizzano i processi in modo dettagliato. Il secondo meccanismo riguarda l'aggiornamento della distribuzione del modello in modo adattivo, in base alla risposta fornita dal sistema durante il test. È stato osservato che l'efficacia di queste strategie varia significativamente in base alla complessità del compito affrontato.   L'osservazione ha condotto allo sviluppo di una strategia denominata "scaling ottimale della computazione". Tale strategia si propone di distribuire le risorse computazionali in modo più efficiente, adattandole alle specifiche esigenze del compito da svolgere durante la fase di test. Questo approccio ha consentito di aumentare l'efficienza nell'utilizzo delle risorse computazionali di oltre quattro volte rispetto a metodi tradizionali, i quali si basano sulla selezione del migliore risultato tra un certo numero di tentativi. Inoltre, è stata effettuata una valutazione confrontando vari modelli in base al numero di operazioni matematiche fondamentali eseguite, note come FLOPs (Floating Point Operations). Dai risultati ottenuti, è emerso che, in situazioni in cui un modello più piccolo riesce a raggiungere un certo livello di successo, l'allocazione mirata di risorse computazionali aggiuntive durante il test può migliorare le prestazioni fino a superare quelle di un modello quattordici volte più grande.   Questi risultati indicano che un uso ottimizzato e mirato delle risorse, anziché un aumento indiscriminato della complessità del modello, può condurre a migliori risultati in termini di efficienza e prestazioni, specialmente in contesti in cui modelli più semplici sono già in grado di fornire risultati significativi.     Pre-addestramento o calcolo durante il test nei LLM cosa scegliere È stata condotta un'analisi comparativa delle prestazioni di scalabilità ottimale del calcolo durante il test del modello PaLM 2-S* e di un altro modello di dimensioni circa 14 volte maggiori, addestrato in precedenza, senza alcun calcolo aggiuntivo durante la fase di test (per esempio, utilizzando una tecnica chiamata campionamento greedy, che implica selezionare sempre l'opzione migliore senza considerare altre possibilità). Entrambi i modelli sono stati addestrati utilizzando una quantità di dati indicata con X token, e la loro capacità di fare previsioni è stata testata su un insieme di dati indicato con Y token.   Addestrare un modello più grande richiede un maggiore impiego di operazioni aritmetiche, misurate in FLOPs, sia durante la fase di addestramento che durante quella di inferenza (cioè, quando il modello fa previsioni). Quando al modello più piccolo viene aggiunto calcolo extra durante il test, in modo da eguagliare il numero di operazioni aritmetiche richieste dal modello più grande, si è valutata la performance in termini di accuratezza delle previsioni.   Dai risultati ottenuti è emerso che, nel caso delle revisioni (verifiche o controlli), quando la quantità di dati utilizzati per l'inferenza (Y) è molto inferiore rispetto a quella utilizzata per l'addestramento (X), l'aggiunta di calcolo durante il test tende a essere più vantaggiosa rispetto a un ulteriore addestramento del modello. Tuttavia, con l'aumento del rapporto tra dati di inferenza e dati di addestramento, il calcolo aggiuntivo durante il test continua a essere vantaggioso per compiti più semplici, mentre per compiti più complessi risulta più utile avere un modello pre-addestrato più grande.   L'analisi dei benefici derivanti dalla capacità di espandere il calcolo durante il test mostra che uno degli approcci più consolidati è il metodo chiamato campionamento best-of-N. Questo approccio consiste nel generare simultaneamente N possibili risposte utilizzando un modello linguistico di base, per poi scegliere quella con il punteggio più alto secondo un valutatore appreso o un modello di ricompensa. Nonostante l'efficacia di questa tecnica, esistono altre strategie per sfruttare l'aumento delle risorse di calcolo durante il test, con l'obiettivo di migliorare le prestazioni dei modelli linguistici di grandi dimensioni (LLM). Un esempio è la modifica della distribuzione delle proposte da cui vengono generate le risposte. Questo può includere, ad esempio, la richiesta al modello di riesaminare e correggere sequenzialmente le risposte iniziali fornite. Inoltre, l'adattamento del valutatore, ad esempio tramite l'addestramento di un verificatore più sofisticato basato su processi complessi, può aumentare notevolmente l'efficacia dell'espansione del calcolo durante il test.   Per valutare i benefici della scalabilità del calcolo durante il test, sono stati effettuati esperimenti sul benchmark MATH utilizzando modelli PaLM-2, appositamente ottimizzati per correggere errori nelle risposte. Questi modelli sono in grado, ad esempio, di migliorare la distribuzione delle proposte o di verificare la correttezza dei singoli passaggi di una risposta tramite un modello di ricompensa basato su processi (PRM). I risultati degli esperimenti hanno dimostrato che l'efficacia di una strategia di calcolo durante il test dipende dalla natura specifica del problema e dal modello di base impiegato.   Quando si tratta di risolvere problemi semplici, è spesso più efficiente far sì che un modello di linguaggio (LLM) perfezioni progressivamente una singola risposta piuttosto che produrre diverse risposte separate in parallelo. Ad esempio, immagina di dover rispondere a una domanda come "Qual è la capitale della Francia?". Un modello di linguaggio ben addestrato è in grado di fornire subito una risposta corretta, come "Parigi". In questo caso, invece di generare più risposte, è più utile dedicare le risorse di calcolo a migliorare questa risposta, rendendola più chiara o arricchita di dettagli, magari specificando che Parigi è anche il centro culturale ed economico della Francia.   D'altro canto, quando ci si trova di fronte a problemi più complessi, come pianificare un viaggio in cui bisogna decidere le tappe migliori in base a vari fattori (ad esempio il budget, il tempo disponibile, le preferenze personali), è più utile generare diverse risposte in parallelo. Ogni risposta potrebbe rappresentare una diversa strategia di viaggio, come un itinerario che si concentra sulle città d'arte o un altro che privilegia le destinazioni naturali. Qui, il modello esplora contemporaneamente molteplici soluzioni, permettendo di valutare quale sia la più adatta. Inoltre, è possibile utilizzare una sorta di "albero delle decisioni" dove ogni scelta porta a ulteriori opzioni, valutate attraverso un sistema di punteggi che aiuta a identificare la soluzione ottimale.   Questi risultati evidenziano l'importanza di adottare una strategia di calcolo adattiva, definita "compute-optimal", in cui l'approccio viene scelto in base al tipo di problema, con l'obiettivo di massimizzare l'efficacia del calcolo supplementare. Inoltre, si è dimostrato che la difficoltà di una domanda, valutata dal punto di vista del modello di linguaggio di base, può essere utilizzata per prevedere quanto sarà efficace il calcolo durante il test, permettendo di implementare concretamente questa strategia "compute-optimal".   Allocando in modo ottimale il calcolo durante il test, si può raggiungere un notevole miglioramento della scalabilità, superando le prestazioni del metodo "best-of-N" con un impiego di calcolo ridotto di circa quattro volte, tanto nel processo di revisione quanto nell'esplorazione delle soluzioni. Questo rappresenta un avanzamento significativo nella gestione efficiente delle risorse computazionali, con effetti positivi sulle prestazioni complessive del sistema.   Questa strategia migliorata di scalabilità si concentra sull'esplorazione del potenziale del calcolo durante il test come alternativa all'ulteriore pre-addestramento. In particolare, è stato effettuato un confronto basato sui FLOPs tra un modello più piccolo con un aumento del calcolo durante il test e un modello 14 volte più grande che ha subito un pre-addestramento più intensivo. I risultati di questa analisi rivelano che, per domande di facile e media difficoltà, così come per alcune domande più complesse in specifiche condizioni di pre-addestramento e carico di inferenza, il calcolo aggiuntivo durante il test risulta spesso più vantaggioso rispetto a un ulteriore pre-addestramento.   Questa osservazione suggerisce che, in alcuni scenari, potrebbe essere più efficiente investire meno nel pre-addestramento di modelli più piccoli e compensare con un calcolo più intensivo durante il test per migliorare le prestazioni. Tuttavia, per le domande più difficili, l'efficacia dell'aumento del calcolo durante il test sembra essere limitata, mentre si riscontra un miglioramento più significativo con un pre-addestramento aggiuntivo. Questo evidenzia che, sebbene il calcolo durante il test possa essere una strategia efficace in molti casi, non è in grado di sostituire completamente il valore di un pre-addestramento più esteso.   In generale, anche con tecniche relativamente semplici, il calcolo durante il test si dimostra spesso preferibile rispetto all'approccio basato su un pre-addestramento intensivo, suggerendo un futuro in cui i modelli potrebbero richiedere meno FLOPs durante la fase di pre-addestramento e sfruttare maggiormente il calcolo durante l'inferenza per ottenere risultati ottimali.   Prospettiva unificata sulle tecniche di calcolo durante il test per modelli LLM In questo contesto, si esaminano e integrano diverse strategie che utilizzano il calcolo durante la fase di test di un modello, concentrandosi successivamente su alcuni metodi concreti. L'idea principale è quella di introdurre un calcolo supplementare in questa fase per adattare in modo dinamico la distribuzione delle previsioni generate dal modello, basandosi su un determinato input o "prompt". L'obiettivo finale è ottenere risultati più accurati rispetto a quelli ottenuti semplicemente utilizzando il modello di linguaggio naturale (LLM) senza ulteriori interventi.   Per comprendere meglio, immaginiamo di avere un modello che genera testi in base a un prompt, come ad esempio: "Descrivi un tramonto." Senza modifiche, il modello potrebbe produrre una descrizione generica, come "Il tramonto è bellissimo, con colori arancioni e rossi che tingono il cielo." Tuttavia, se si utilizza un calcolo aggiuntivo, possiamo ottenere una descrizione più specifica e raffinata, magari menzionando dettagli come "Le nuvole si stagliano contro un cielo infuocato, riflettendo sfumature dorate che sfumano lentamente nel viola profondo."   Esistono fondamentalmente due approcci per indurre queste modifiche nella distribuzione delle risposte generate dal modello. Il primo approccio riguarda l'input: si arricchisce il prompt originale con un insieme aggiuntivo di parole o "token", forzando così il modello a considerare questi elementi per produrre una distribuzione modificata delle risposte. Ad esempio, se si aggiungono parole come "dettagliato" o "vivido" al prompt iniziale, il modello sarà spinto a generare una descrizione del tramonto più ricca e dettagliata.   Il secondo approccio si concentra invece sull'output: una volta che il modello ha generato diverse possibili descrizioni del tramonto, si interviene su questi risultati per migliorarli ulteriormente. Ad esempio, se il modello propone varie descrizioni, si può selezionare quella più adatta o combinarne diverse per ottenere un risultato finale che sia il più preciso possibile.   In pratica, è possibile modificare la distribuzione proposta dal modello attraverso un miglioramento che va oltre il semplice condizionamento del prompt iniziale. Questo può avvenire utilizzando strumenti come verificatori o sistemi di punteggio che, come filtri aggiuntivi, analizzano l'output generato e scelgono la versione migliore. Questo processo può essere paragonato a tecniche come il campionamento Markov chain Monte Carlo (MCMC), dove si cerca di campionare da una distribuzione complessa partendo da una distribuzione più semplice e utilizzando una funzione di punteggio per avvicinarsi al risultato desiderato.   La modifica della distribuzione proposta, sia tramite l'ampliamento dei token di input sia attraverso l'uso di un verificatore, rappresenta quindi due direzioni indipendenti ma complementari che sono al centro di questo studio. Ad esempio, si può immaginare di voler ottenere una descrizione che non solo sia dettagliata ma anche coerente con un certo stile letterario: in questo caso, l'uso combinato di entrambi gli approcci potrebbe portare a un risultato finale che soddisfi entrambi i criteri.   Modifica della distribuzione proposta Per migliorare l'efficacia di un modello nel risolvere compiti di ragionamento specifici, una strategia efficace consiste nell'ottimizzare direttamente la distribuzione delle risposte proposte dal modello stesso. Questo può essere realizzato attraverso tecniche di finetuning ispirate al reinforcement learning (RL), come i metodi STaR o ReSTEM. In questo contesto, immagina di addestrare un modello per risolvere puzzle logici. Con il finetuning basato su RL, si affina il modello affinché diventi progressivamente più abile nel risolvere tali puzzle, senza introdurre ulteriori informazioni o indizi (token di input). L'obiettivo finale è che il modello, con il tempo, sviluppi soluzioni sempre più vicine alla risposta ottimale per quel tipo di problema.   Oltre a questa metodologia, esiste un approccio alternativo chiamato auto-critica, che permette al modello di migliorare autonomamente le proprie risposte durante la fase di test. Ad esempio, immagina un modello che, dopo aver proposto una soluzione a un problema, sia in grado di rivedere e criticare autonomamente la propria risposta, cercando di migliorarla. Tuttavia, se si fa affidamento esclusivamente su suggerimenti esterni (prompting) per guidare il modello durante il test, la revisione potrebbe risultare inefficace. Ad esempio, se il modello deve risolvere un problema complesso di matematica, come dimostrare un teorema o risolvere un'equazione differenziale avanzata, potrebbe non riuscire a correggere i propri errori solo sulla base di suggerimenti esterni, come indicazioni generali o piccoli spunti forniti attraverso un prompt. In situazioni di questo tipo, il modello rischia di ripetere lo stesso errore o di produrre soluzioni approssimative, senza un miglioramento significativo. È in questi casi che il finetuning diventa essenziale, permettendo al modello di essere ulteriormente addestrato con esempi specifici e iterazioni continue, affinando così la sua capacità di comprendere il problema e di fornire una soluzione corretta e precisa.   Il processo di finetuning, quindi, consente al modello di affinare le proprie risposte, specialmente quando si trova ad affrontare problemi complessi che richiedono un ragionamento approfondito. Questo si ottiene utilizzando dati generati dal modello stesso durante la sua esecuzione, in un approccio noto come "on-policy". Per esempio, immagina di avere un modello che deve scegliere la strategia migliore per vincere a scacchi. Durante il finetuning, il modello genera diverse mosse e analizza i risultati per identificare quale strategia funziona meglio. Un'altra tecnica utile in questo contesto è il "Best-of-N", che prevede che il modello generi diverse soluzioni per lo stesso problema, come dieci possibili mosse in una partita a scacchi, e selezioni la migliore tra queste. Attraverso questo processo, il modello viene guidato a produrre risposte sempre più precise e ottimizzate.   Ottimizzazione del verificatore L'ottimizzazione del verificatore è un elemento essenziale nella gestione e nella selezione delle risposte migliori all'interno di un insieme di soluzioni proposte. Questo strumento è incaricato di scegliere o aggregare la risposta ottimale tra quelle disponibili. Per comprendere meglio, si può pensare a un sistema di votazione: il verificatore agisce come un giudice che analizza diverse proposte e decide quale sia la migliore. Un metodo tradizionale utilizzato per questo scopo è il campionamento Best-of-N, in cui vengono generate N soluzioni complete e il verificatore seleziona quella che ritiene più adeguata. Immaginiamo di dover scegliere il miglior piatto tra dieci proposte di uno chef. Il campionamento Best-of-N equivale a far preparare dieci piatti diversi e poi scegliere quello che più soddisfa i gusti del giudice. Questo metodo, sebbene efficace, può essere ulteriormente migliorato. Un modo per rendere il processo ancora più efficiente è attraverso l'addestramento di un verificatore più avanzato, che non si limita a giudicare solo il piatto finale, ma che valuti anche ogni singolo passo della preparazione. Questo verificatore potrebbe essere basato su un modello di ricompensa del processo (PRM), che esamina la correttezza di ogni fase della preparazione del piatto. Ad esempio, potrebbe valutare se la scelta degli ingredienti è stata corretta, se la cottura è stata eseguita al punto giusto e così via. Questo approccio, simile a una sorta di "assaggio" in ogni fase della preparazione, consente di esplorare in modo più approfondito le diverse possibilità, aumentando le probabilità di selezionare non solo il miglior piatto finale, ma anche di capire quale processo porta alla migliore qualità. In pratica, mentre nel campionamento Best-of-N si giudica solo il risultato finale, l'addestramento di un verificatore più sofisticato permette di identificare la soluzione migliore già durante il processo di creazione, offrendo una maggiore efficienza e precisione nella selezione.   Come ottimizzare il calcolo durante la fase di test per modelli linguistici Per ottimizzare il calcolo durante la fase di test e migliorare le prestazioni di un modello linguistico su un determinato prompt, è fondamentale capire come gestire al meglio le risorse computazionali disponibili. In pratica, si tratta di trovare il modo più efficiente per utilizzare il calcolo a disposizione per risolvere un problema specifico, considerando il budget limitato. Quando ci si trova a dover risolvere un problema con un prompt e un budget di calcolo definito, è essenziale analizzare le varie modalità di utilizzo del calcolo in fase di test. Ogni modalità può avere un'efficacia diversa a seconda del contesto e della natura del problema. La chiave è identificare quale approccio massimizzi l'efficacia del modello con le risorse disponibili. In questo contesto, un aspetto cruciale è il confronto tra l'ottimizzazione del calcolo in fase di test e l'utilizzo di un modello pre-addestrato di dimensioni notevolmente maggiori. Modelli più grandi possono offrire prestazioni migliori, ma richiedono anche maggiori risorse computazionali. Di fronte a un budget limitato, potrebbe non essere possibile utilizzare tali modelli nella loro interezza, rendendo quindi necessaria un'attenta valutazione su come allocare le risorse di calcolo disponibili. La strategia più efficace dipenderà dal tipo di problema da risolvere, dalle specifiche del prompt, e dalle caratteristiche del modello utilizzato. Se il modello pre-addestrato è molto grande, ma il budget di calcolo è limitato, potrebbe essere necessario trovare un compromesso o adottare tecniche di ottimizzazione per ridurre la quantità di calcolo necessaria senza compromettere troppo le prestazioni. In alternativa, potrebbe essere utile esplorare l'uso di modelli più piccoli e più agili che possono essere meglio sfruttati con le risorse disponibili. La decisione finale su come scalare e ottimizzare il calcolo in fase di test richiede una comprensione approfondita sia del problema specifico che delle capacità del modello, nonché un'analisi accurata del trade-off tra precisione e risorse computazionali. Nel contesto dell'ottimizzazione della distribuzione delle proposte o dell'esecuzione di ricerche con un verificatore, ci sono vari iper-parametri che possono essere regolati per determinare come allocare il budget di calcolo durante la fase di test. Ad esempio, si potrebbe utilizzare un modello affinato per generare le proposte e un Modello di Ricompensa Obiettivo (ORM, Objective Reward Model) come strumento di verifica. Questo modello valuta la correttezza di ogni passaggio o risposta proposta, facilitando decisioni più informate durante il processo di verifica. In questo scenario, una possibile strategia potrebbe essere quella di impiegare tutto il budget di calcolo per generare in parallelo un certo numero di campioni indipendenti dal modello e poi applicare la tecnica del "migliore di N", selezionando la migliore tra le risposte generate. In alternativa, si potrebbe optare per campionare più revisioni in sequenza utilizzando un modello di revisione e selezionare la risposta migliore all'interno della sequenza con l'ORM. Un'altra opzione è trovare un compromesso tra queste due strategie estreme, bilanciando la generazione parallela e sequenziale delle proposte. L'idea di fondo è che i problemi più semplici potrebbero trarre maggiore vantaggio dal processo di revisione, poiché i campioni iniziali del modello sono probabilmente già vicini alla soluzione corretta e richiedono solo un affinamento ulteriore. D'altro canto, per problemi più complessi, potrebbe essere preferibile esplorare una gamma più ampia di possibili soluzioni, il che renderebbe più efficace il campionamento indipendente e parallelo di molte soluzioni. Nel contesto dei verificatori, esistono anche diverse opzioni per gli algoritmi di ricerca, come il beam-search, il lookahead-search e il best-of-N. Ognuno di questi algoritmi può comportarsi in modo diverso a seconda della qualità del verificatore e della distribuzione delle proposte disponibili. In generale, procedure di ricerca più sofisticate possono risultare particolarmente utili nei problemi più complessi rispetto a tecniche più semplici come il best-of-N o la maggioranza.   Scaling LLM: Strategia di scalabilità ottimale per il calcolo durante il test Lo scaling LLM ottimale per il calcolo durante il test si concentra sull'allocazione efficiente delle risorse computazionali disponibili in quel momento, con l'obiettivo di risolvere un problema specifico nel modo più efficace possibile. Quando si parla di calcolo al momento del test, si fa riferimento a diverse tecniche che possono essere adottate per migliorare le prestazioni di un modello nella fase di test, come revisioni o confronti con un verificatore. La chiave di questa strategia è la scelta degli iperparametri, ovvero quei parametri di configurazione che massimizzano i benefici in termini di prestazioni per un input specifico.   Formalmente, si definisce Target(theta, N, q) come la distribuzione dei token di output che un modello genera in risposta a un determinato prompt q, utilizzando specifici iperparametri theta e un certo budget computazionale N. L'obiettivo è individuare gli iperparametri theta che migliorano al massimo la precisione della distribuzione target rispetto alla risposta corretta attesa per il problema in questione. In pratica, si cerca la configurazione ideale degli iperparametri che permetta al modello di avvicinarsi il più possibile alla risposta corretta, dato un certo limite di risorse computazionali.   Questo processo di ottimizzazione è espresso matematicamente attraverso una formula che rappresenta il punto di massima accuratezza raggiungibile: theta*(q, y*(q))(N) = argmax theta (E[y∼Target(theta, N, q)][1{y=y*(q)}]).   Qui, y*(q) rappresenta la risposta corretta per il prompt q, mentre theta*(q, y*(q))(N) identifica la configurazione ottimale degli iperparametri per ottenere la miglior precisione possibile con le risorse computazionali disponibili. Questo approccio permette di ottimizzare il processo decisionale del modello, garantendo un uso efficace delle risorse e, di conseguenza, migliorando le prestazioni complessive del sistema durante la fase di test. Per comprendere meglio i concetti esposti, immaginiamo di dover utilizzare un modello di intelligenza artificiale per risolvere un problema specifico, come il riconoscimento di oggetti in un'immagine. Supponiamo di avere a disposizione un certo numero di risorse computazionali, ad esempio, potenza di calcolo, memoria e tempo di esecuzione, che possiamo sfruttare durante la fase di test del modello. Il nostro obiettivo è ottenere la massima precisione possibile nel riconoscimento degli oggetti, scegliendo la configurazione degli iperparametri (come la dimensione del modello, il tasso di apprendimento, o il numero di strati della rete neurale) che meglio si adatta al compito specifico e alle risorse disponibili. Ad esempio, se disponiamo di un budget computazionale limitato, potremmo dover scegliere un modello meno complesso ma che riesca comunque a fornire risultati accurati. Nel nostro esempio, "theta" rappresenta la configurazione degli iperparametri, "N" il budget computazionale a disposizione, e "q" l'immagine da analizzare. La distribuzione dei risultati che il modello genera è "Target(theta, N, q)", che ci dice con quale probabilità il modello riconosce correttamente gli oggetti nell'immagine data. Il nostro obiettivo è scegliere una configurazione di "theta" che massimizzi questa probabilità, avvicinando il più possibile la risposta del modello alla realtà, ovvero alla corretta identificazione degli oggetti presenti nell'immagine. Così, attraverso la formula fornita, il modello viene ottimizzato per selezionare gli iperparametri che, dati i vincoli di risorse, forniscono la massima accuratezza possibile. In pratica, questo significa che stiamo cercando di far sì che il modello identifichi correttamente il maggior numero di oggetti nell'immagine, utilizzando al meglio le risorse computazionali disponibili. Questo approccio è fondamentale per garantire che, anche in situazioni con risorse limitate, il modello possa operare in modo efficiente e fornire risultati precisi.   Scaling LLM: Come stimare la difficoltà delle domande per ottimizzare le risorse computazionali Per esaminare le caratteristiche di scaling durante il test dei vari meccanismi presentati, si propone un'approssimazione di una strategia di calcolo considerata ottimale, indicata come θ* (q, y*(q)(N)). Questa strategia viene definita in funzione di una statistica relativa a un particolare prompt, la quale fornisce una stima della difficoltà del prompt stesso. La difficoltà del prompt è un fattore centrale nella definizione della strategia ottimale che, sebbene non sia una soluzione esatta al problema originario, può comunque apportare miglioramenti significativi rispetto a strategie più semplici che distribuiscono le risorse computazionali in maniera casuale o uniforme. Per procedere con la stima della difficoltà delle domande, ciascuna di esse viene classificata in uno dei cinque livelli di difficoltà. Questa categorizzazione discreta permette di stimare θ* (q, y*(q)(N)) su un set di validazione, tenendo conto del budget di calcolo disponibile durante il test. Una volta stabilite le stime, le strategie ottimali vengono applicate al set di test, scegliendo la migliore strategia computazionale per ogni livello di difficoltà in maniera indipendente. In questo processo, la difficoltà della domanda si rivela quindi un parametro sufficiente per progettare una strategia ottimale di allocazione delle risorse. La difficoltà di un problema viene determinata utilizzando un approccio sviluppato da Lightman e colleghi, che misura la complessità di una domanda basandosi sulle prestazioni di un modello di linguaggio di base. In questo metodo, si valuta il tasso di successo del modello su un campione di 2048 esempi per ciascuna domanda del set di test. I risultati ottenuti vengono poi suddivisi in cinque categorie, ognuna corrispondente a un livello crescente di difficoltà. Questo sistema di classificazione, fondato sulle prestazioni effettive del modello, si è dimostrato più preciso rispetto ai tradizionali livelli di difficoltà predefiniti presenti nel dataset MATH. Tuttavia, questo metodo di valutazione richiede l'utilizzo di una funzione speciale, chiamata "funzione oracolare", che serve a verificare la correttezza delle risposte. Durante la fase di utilizzo reale del modello, quando si lavora con prompt per i quali non si conosce già la risposta, questa funzione non è disponibile. Per superare questa limitazione e rendere praticabile una strategia di calcolo ottimale, è necessario prima stimare la difficoltà del problema e successivamente applicare la strategia più appropriata. Questa stima della difficoltà viene fatta utilizzando una nozione chiamata "difficoltà predetta dal modello". In questo caso, un verificatore calcola la media del punteggio finale su 2048 campioni per ogni problema, senza controllare se le risposte siano effettivamente corrette. Questo approccio differisce dalla "difficoltà oracolare", che invece si basa sulla verifica della correttezza delle risposte fornite. Quando si utilizza un modello per stimare la difficoltà di un compito, non è necessario conoscere esattamente la risposta corretta. Tuttavia, stimare la difficoltà richiede un calcolo aggiuntivo durante il processo di inferenza, aumentando così il carico computazionale. Questo incremento di risorse necessarie può essere integrato nel costo complessivo della strategia di inferenza. Un modo per farlo è utilizzare lo stesso processo di calcolo sia per la verifica della difficoltà sia per la ricerca della soluzione, ottimizzando così l'intero procedimento. Questa situazione si ricollega al concetto di bilanciamento tra esplorazione e sfruttamento nel contesto del reinforcement learning. Nella pratica, bisogna trovare un equilibrio tra il tempo e le risorse impiegate per stimare la difficoltà di un problema e quelle necessarie per applicare l'approccio computazionale più efficiente. Questa tematica rappresenta una direzione di ricerca molto importante per il futuro, poiché le scelte fatte in fase di stima della difficoltà possono influenzare notevolmente le prestazioni del modello. Nei primi esperimenti, tuttavia, si tende a ignorare questo costo aggiuntivo per semplificare l'analisi e concentrarsi sulla dimostrazione dei benefici ottenuti da una gestione più efficace del calcolo durante i test. Per evitare problemi legati all'uso dello stesso insieme di test sia per la stima della difficoltà che per la selezione della strategia migliore, si adotta una tecnica di validazione incrociata. Questa tecnica divide i dati in due gruppi per ogni livello di difficoltà. La strategia ottimale viene scelta basandosi sulle prestazioni di uno dei gruppi e poi viene misurata sull'altro gruppo. Infine, i risultati complessivi vengono calcolati come media delle prestazioni ottenute su entrambi i gruppi di test. Immaginiamo di voler risolvere un problema di matematica con l'aiuto di un potente calcolatore. Il problema in questione può avere vari livelli di difficoltà: potrebbe essere semplice come sommare due numeri o complesso come risolvere un'equazione differenziale. Quando ci troviamo di fronte a questo problema, vogliamo usare il calcolatore in modo intelligente, ottimizzando le risorse disponibili per ottenere la risposta nel minor tempo possibile e con la massima precisione. Per fare questo, dobbiamo prima stimare quanto sia difficile il problema. È come quando ci viene data una domanda di matematica e dobbiamo decidere se possiamo risolverla mentalmente, con carta e penna, o se abbiamo bisogno di usare una calcolatrice avanzata. La stima della difficoltà ci aiuta a decidere quante risorse del calcolatore dobbiamo usare per risolvere il problema in modo efficiente.   Immaginiamo di avere una serie di problemi di matematica e vogliamo scegliere la migliore strategia per ciascuno di essi. Prima di tutto, classifichiamo i problemi in base alla loro difficoltà. Questo è simile a suddividere le domande di un esame in gruppi: facili, medie e difficili. Per ogni gruppo, decidiamo quale strategia usare: ad esempio, per i problemi facili possiamo usare una semplice calcolatrice, mentre per i problemi difficili possiamo usare un software di matematica avanzata. Tuttavia, non sempre sappiamo in anticipo quanto sia difficile un problema. Per questo, possiamo fare delle stime basandoci su problemi simili che abbiamo già risolto. È come se avessimo un compagno di classe che ci dicesse quanto è difficile un problema basandosi su problemi simili che ha già visto. Questa stima ci permette di scegliere la strategia giusta senza dover risolvere il problema completamente prima. Ma stimare la difficoltà richiede del tempo e delle risorse. È come se dovessimo fare una piccola parte del lavoro in anticipo per capire quanto sia difficile il resto del lavoro. Questo processo aggiunge un costo al nostro calcolo complessivo, ma ci aiuta a risparmiare tempo e risorse nel lungo termine, evitando di sprecare troppo tempo su problemi facili o di non dedicare abbastanza risorse ai problemi più difficili. Alla fine, l'obiettivo è trovare un equilibrio: non vogliamo spendere troppo tempo a stimare la difficoltà, ma neanche troppo poco, altrimenti rischiamo di scegliere una strategia non ottimale. Questo approccio è simile a quando dobbiamo decidere se esplorare nuove strategie o sfruttare quelle che già conosciamo, come avviene nel campo dell'apprendimento per rinforzo. er assicurarci che la nostra strategia funzioni bene, possiamo usare una tecnica chiamata validazione incrociata. In pratica, dividiamo i problemi in due gruppi: usiamo uno dei gruppi per scegliere la strategia migliore e poi vediamo come funziona sull'altro gruppo. Questo ci aiuta a evitare errori che potrebbero sorgere se usassimo gli stessi problemi sia per stimare la difficoltà che per scegliere la strategia. In questo modo, possiamo gestire meglio il calcolo durante i test, ottenendo risultati più precisi ed efficienti, anche quando non conosciamo in anticipo la difficoltà dei problemi che dobbiamo risolvere.   Configurazione sperimentale  La configurazione sperimentale adottata per condurre l'analisi è stata attentamente definita, tenendo conto delle varie scelte progettuali dei verificatori e delle diverse distribuzioni delle proposte. Questo passaggio preliminare è fondamentale per garantire che l'analisi sia condotta in modo rigoroso e che i risultati ottenuti possano essere interpretati con precisione. Dopo aver stabilito questa configurazione, si procede con l'esposizione dei risultati dell'analisi, che verranno presentati e discussi nelle sezioni successive, offrendo una panoramica completa delle conclusioni raggiunte.   Dataset Il calcolo durante il test diventa particolarmente vantaggioso quando i modelli possiedono già una solida base di conoscenze necessarie per rispondere a una domanda. In queste situazioni, la sfida principale non è tanto reperire le informazioni di base, ma piuttosto elaborare inferenze complesse a partire da queste conoscenze preesistenti. Per questo motivo, si presta particolare attenzione al benchmark MATH, un riferimento che include problemi matematici tipici delle competizioni scolastiche di livello superiore. Questi problemi variano in termini di difficoltà, offrendo una gamma diversificata di sfide. Negli esperimenti condotti, viene utilizzata una suddivisione specifica del dataset, composta da 12.000 domande destinate all'addestramento e 500 domande riservate ai test, come riportato nello studio di Lightman et al.   Modelli   L'analisi è stata realizzata impiegando il modello di base PaLM 2-S* (Codey), che viene ritenuto un esempio significativo delle capacità attuali dei modelli linguistici di grandi dimensioni (LLM). I risultati ottenuti con questo modello sono considerati rilevanti anche per altri modelli simili, suggerendo una possibile trasferibilità delle conclusioni. Un elemento di particolare importanza è che questo modello dimostra una prestazione notevole nel benchmark MATH, pur non avendo ancora raggiunto il suo massimo potenziale. Questa caratteristica lo rende particolarmente adatto come banco di prova per l'analisi, offrendo un equilibrio tra capacità avanzate e margini di miglioramento.   Verificatori di processo per scalare il calcolo al test-time in modo efficiente Il calcolo al test-time può essere migliorato in modo significativo ottimizzando l'uso dei verificatori, rendendo possibile l'esecuzione di operazioni più complesse e su scala maggiore. Per ottenere questo risultato, è fondamentale esplorare e comprendere a fondo i diversi metodi disponibili per implementare la ricerca al test-time utilizzando verificatori di processo (PRM). Questi approcci offrono la possibilità di gestire il calcolo in maniera più efficiente durante la fase di test, grazie alle loro caratteristiche intrinseche di scalabilità. L'analisi si concentra su come queste proprietà di scalabilità possano essere sfruttate per potenziare le prestazioni del calcolo, permettendo un miglioramento delle capacità computazionali senza compromettere l'efficacia del processo di verifica.   Addestramento dei PRM L'addestramento iniziale dei modelli Policy Reward Model (PRM) si è basato sull'utilizzo di etichette fornite da lavoratori umani. Un esempio significativo di questo processo è il dataset PRM800k, sviluppato da Lightman e collaboratori per l'addestramento dei loro modelli. Tuttavia, si è riscontrato che tale dataset non rispondeva adeguatamente alle specifiche necessità del progetto. In particolare, un modello PRM addestrato con questi dati ha mostrato vulnerabilità anche di fronte a strategie semplici come il campionamento best-of-N. Questo risultato è stato attribuito a un probabile disallineamento nella distribuzione dei campioni generati dai modelli GPT-4 presenti nel dataset rispetto a quelli generati dai modelli PaLM 2 utilizzati. Per evitare il dispendioso processo di raccolta di nuove etichette PRM da parte di lavoratori umani, è stata adottata una metodologia alternativa, basata sull'approccio proposto da Wang e colleghi. Questo metodo consente di addestrare i modelli PRM senza l'uso diretto di etichette umane, sfruttando invece stime di correttezza per ciascun passaggio, ottenute tramite la tecnica del roll-out Monte Carlo applicata a ogni fase della soluzione. In questo modo, le previsioni dei PRM per ciascun passaggio vengono considerate come stime del valore delle ricompense future, coerentemente con la politica di campionamento del modello di base, riflettendo così i risultati di ricerche recenti. Infine, è stato effettuato un confronto con un modello di riferimento Object Recognition Model (ORM), dal quale è emerso che il modello PRM ha costantemente superato l'ORM in termini di prestazioni. Per questo motivo, in tutti gli esperimenti di ricerca condotti, è stato impiegato un modello PRM.   Aggregazione delle risposte Durante la fase di test, i verificatori basati su processo possono essere impiegati per esaminare attentamente ogni singolo passaggio all'interno di un insieme di soluzioni generate dal modello principale. Per individuare la migliore soluzione tra N possibili opzioni utilizzando il PRM, è essenziale disporre di una funzione che riesca a combinare i punteggi assegnati a ciascun passaggio di ogni risposta. Questo permette di identificare il candidato che ha le maggiori probabilità di essere la risposta corretta. In questo processo, si inizia aggregando i punteggi relativi ai singoli passaggi di una risposta, ottenendo così un punteggio complessivo per quella risposta specifica. Questo passaggio è noto come aggregazione passo-passo. Una volta ottenuti i punteggi finali per tutte le risposte, si procede a un'ulteriore aggregazione, questa volta tra tutte le risposte, al fine di individuare quella con il punteggio più alto. Questo secondo passaggio è chiamato aggregazione inter-risposta e consente di determinare quale tra le risposte campionate rappresenti la soluzione migliore. In particolare, l'aggregazione progressiva e quella tra le risposte vengono gestite attraverso tecniche mirate per potenziare l'efficacia complessiva del modello. Nell'aggregazione passo-passo, anziché calcolare un punteggio finale attraverso metodi come il prodotto o il minimo dei punteggi ottenuti in ogni passaggio, si utilizza direttamente la previsione del modello PRM (Prediction Response Model) nell'ultimo passaggio come punteggio definitivo della risposta. Questa strategia si è dimostrata superiore rispetto ad altri metodi di aggregazione. Per quanto riguarda l'aggregazione inter-risposta, si adotta un approccio basato sulla selezione "best-of-N ponderata", seguendo la metodologia proposta da Li e colleghi. Questo metodo differisce dalla selezione best-of-N standard poiché tiene conto dei punteggi di correttezza del verificatore su tutte le soluzioni che conducono alla stessa risposta finale. Viene quindi scelta la risposta finale che ha ottenuto la somma totale dei punteggi più alta, garantendo così una selezione più accurata e affidabile.   Scaling LLM: strategie di ricerca per migliorare i modelli di linguaggio contro PRM Nel contesto dell'ottimizzazione dei modelli di linguaggio pre-addestrati durante la fase di test, i metodi di ricerca svolgono un ruolo cruciale nel determinare le risposte più efficaci. Questi metodi si basano sulla capacità intrinseca del modello, precedentemente addestrato con pochi esempi, di generare una serie di soluzioni possibili. Successivamente, queste soluzioni vengono attentamente valutate e selezionate in base a criteri specifici, con l'obiettivo di ottenere il risultato più adatto e preciso. In questo ambito, si distinguono tre principali approcci di ricerca, ognuno dei quali offre vantaggi specifici a seconda del contesto e delle esigenze operative.   Il primo metodo è chiamato Best-of-N weighted . In questo approccio, si generano N risposte indipendenti utilizzando il modello di base. Successivamente, tra queste risposte, si seleziona quella che risulta migliore in base al giudizio finale fornito dal PRM, il quale valuta l'adeguatezza di ogni soluzione proposta. Questo permette di scegliere la risposta più adatta tra quelle disponibili, garantendo che il risultato finale sia il più vicino possibile a ciò che il modello considera ottimale.   Il secondo approccio, noto come Beam search , si distingue per il suo processo di ottimizzazione. Qui, il PRM viene utilizzato per valutare le previsioni man mano che vengono generate. Questo metodo prende ispirazione dalla ricerca in ampiezza BFS-V, ma introduce alcune specificità. Si stabilisce un numero fisso di traiettorie, chiamate beam, e si definisce la larghezza del beam. Inizialmente, vengono generate N previsioni per il primo passo della soluzione. Queste previsioni vengono quindi valutate in base a una stima del PRM riguardante il valore delle ricompense future. Solo i passaggi migliori vengono selezionati per proseguire. Per ciascuno dei candidati scelti, si generano nuove previsioni per il passo successivo, ripetendo questo processo fino a quando la soluzione è completa o si raggiunge il numero massimo di iterazioni. Al termine, tra le N risposte finali, si applica nuovamente il metodo Best-of-N weighted per determinare la previsione definitiva, garantendo così un'ulteriore ottimizzazione del risultato.   Il terzo metodo, denominato Lookahead search , rappresenta un'evoluzione del beam search con un focus particolare sulla valutazione dei singoli passaggi. Invece di valutare immediatamente i candidati al termine di ogni passo con il punteggio del PRM, questo metodo esegue delle simulazioni, estendendo la previsione per un certo numero di passi successivi, chiamati rollouts. Se durante queste simulazioni si arriva alla fine della soluzione, il processo si interrompe anticipatamente. Lo scopo principale è quello di migliorare la precisione delle stime di valore per ogni passo, utilizzando la previsione del PRM alla fine della simulazione per valutare i candidati correnti. Di fatto, il beam search può essere visto come un caso particolare del lookahead search con una profondità di simulazione pari a zero. Aumentando questa profondità, si ottiene una stima più accurata, sebbene ciò comporti un aumento della complessità computazionale. Questo metodo può essere considerato una variante della ricerca Monte Carlo Tree Search (MCTS), da cui però sono stati rimossi gli elementi stocastici solitamente impiegati per esplorare nuove possibilità. Poiché il PRM è già stato addestrato, nella fase di test l'obiettivo è sfruttare il modello piuttosto che esplorare nuove soluzioni. Perciò, il lookahead search risulta un metodo efficace per applicare strategie simili alla MCTS nella fase di test, migliorando la precisione senza necessità di esplorazione stocastica.   Scaling LLM: risultati dell'analisi sul Test-Time Scaling per la ricerca con verificatori L'analisi effettuata si concentra sulla comparazione di diversi algoritmi di ricerca con l'obiettivo di identificare una strategia ottimale di scalatura del calcolo. Questa scalatura viene adattata alla difficoltà del prompt e applicata ai vari metodi di ricerca considerati. Per esaminare in modo dettagliato le differenze tra questi algoritmi, sono stati eseguiti test su diverse configurazioni, variando principalmente due parametri: la larghezza del raggio di ricerca, indicata come beam-width e rappresentata dal simbolo 𝑀, e il numero di passi di previsione, noto come lookahead steps e indicato con 𝑘.   Le configurazioni testate comprendono diverse modalità di ricerca. In primo luogo, è stata esaminata una ricerca a raggio in cui la larghezza del raggio viene calcolata come la radice quadrata del budget di generazione 𝑁. In secondo luogo, è stata considerata una ricerca a raggio con una larghezza del raggio fissa pari a 4. Successivamente, è stata valutata la ricerca con previsione, o lookahead, con un numero di passi 𝑘 = 3, applicata sia alla configurazione di ricerca a raggio basata sulla radice quadrata sia a quella con raggio fisso. Infine, è stata considerata una ricerca con previsione con 𝑘 = 1, applicata alla prima configurazione di ricerca a raggio. Per garantire un confronto equo tra questi metodi, è stato sviluppato un protocollo che consente di stimare il costo di ciascun metodo in base al budget di generazione. Nel caso della ricerca a raggio e del metodo best-of-N, il budget di generazione è direttamente proporzionale rispettivamente al numero di raggio e al valore di 𝑁. Tuttavia, la ricerca con previsione introduce un ulteriore livello di complessità: per ogni passo della ricerca principale, vengono simulati ulteriori 𝑘 passi, il che implica che il costo totale di questo metodo è dato dal prodotto di 𝑁 per (𝑘 + 1). I risultati evidenziano come, con budget di generazione ridotti, la ricerca a raggio mostri una performance significativamente superiore rispetto al metodo best-of-N. Tuttavia, all'aumentare del budget disponibile, questo vantaggio tende a ridursi, fino a quando la ricerca a raggio inizia a essere meno efficiente rispetto al best-of-N. La ricerca con previsione, invece, si dimostra generalmente meno efficace rispetto agli altri metodi, probabilmente a causa del carico computazionale aggiuntivo richiesto per simulare i passi futuri. Questo fenomeno di riduzione dei benefici può essere attribuito a un eccessivo sfruttamento delle previsioni del modello, che porta alla generazione di soluzioni ridondanti o troppo concise. L'analisi si è poi concentrata sulla variabile della difficoltà delle domande. Quando la ricerca a raggio, con un parametro 𝑀=4, viene confrontata con il best-of-N, risulta che, con un budget di generazione elevato, le prestazioni aggregate dei due metodi si equivalgono. Tuttavia, considerando domande di diversa complessità, emergono tendenze diverse: per le domande più semplici, la ricerca a raggio può addirittura peggiorare i risultati, mentre per quelle più difficili, questo metodo riesce a migliorare significativamente le prestazioni rispetto al best-of-N. Invece, per le domande più complesse, nessuno dei metodi analizzati riesce a portare a progressi significativi. In sintesi, si osserva che la difficoltà della domanda gioca un ruolo determinante nella scelta della strategia di ricerca ottimale in base al budget di calcolo disponibile. La selezione del metodo migliore varia notevolmente in funzione di questo parametro. Con budget limitati, una gestione ottimale del calcolo può consentire di superare il best-of-N utilizzando fino a quattro volte meno risorse. Invece, con budget più ampi, i benefici della previsione diminuiscono, anche se l'impiego di dati di difficoltà oracolo continua a mostrare dei vantaggi. Questi risultati indicano come un approccio adattivo nella gestione delle risorse di calcolo possa portare a significativi miglioramenti nelle performance. In conclusione, l'efficacia di un metodo di ricerca è strettamente legata al budget di calcolo disponibile e alla difficoltà delle domande. La ricerca a raggio risulta più efficace con domande complesse e budget limitati, mentre il best-of-N è preferibile per domande più semplici e con budget più elevati. Scegliendo la configurazione di ricerca più adatta in base alla difficoltà della domanda e al budget di calcolo, è possibile ottenere risultati vicini al best-of-N, utilizzando significativamente meno risorse.   Scaling LLM: Come ottimizzare la distribuzione delle proposte nei modelli di linguaggio Fino a questo punto, è stata analizzata la capacità del calcolo di adattarsi a contesti più ampi durante il test, con particolare attenzione al confronto tra la ricerca di soluzioni e l'uso di verificatori. Ora, l'attenzione si sposta verso un altro aspetto cruciale: la scalabilità legata alla modifica della distribuzione delle proposte. Questo processo prevede che il modello sia in grado di rivedere e migliorare progressivamente le proprie risposte nel corso della fase di test, consentendogli di affinare dinamicamente la distribuzione delle soluzioni proposte. Tuttavia, chiedere ai modelli di linguaggio attuali di correggere autonomamente i propri errori si dimostra spesso poco efficace, soprattutto quando si affrontano problemi complessi di ragionamento. Per superare queste limitazioni, si fa riferimento alla metodologia proposta da Qu et al., adattandola e perfezionandola per il contesto specifico in esame. L'obiettivo è permettere ai modelli di linguaggio di affinare iterativamente le proprie risposte, migliorando così la distribuzione delle proposte in maniera continua. Il primo passo consiste nel descrivere come vengono addestrati e utilizzati i modelli capaci di rivedere e affinare le proprie distribuzioni di proposte, basandosi in modo sequenziale sui tentativi precedenti di risposta. Questa fase di addestramento è cruciale per garantire che i modelli possano apprendere dai propri errori e migliorare progressivamente la qualità delle soluzioni offerte. Successivamente, si esaminano le proprietà di scalabilità dei modelli durante l'inferenza, ovvero la capacità del modello di mantenere o migliorare le proprie prestazioni man mano che affronta problemi di crescente complessità. L'analisi di questa fase è essenziale per comprendere l'efficacia del modello nell'adattarsi a contesti più ampi e complessi, garantendo risposte sempre più accurate e pertinenti.   Scaling LLM: Ottimizzazione dell'addestramento e dell'uso dei modelli di revisione Il processo di addestramento dei modelli di revisione è simile a quello utilizzato per i modelli standard, ma presenta alcune differenze sostanziali. In particolare, per addestrare questi modelli, è fondamentale disporre di traiettorie specifiche, ossia sequenze di risposte che iniziano con un errore e culminano in una risposta corretta. Questo tipo di traiettoria permette di eseguire un fine-tuning supervisionato, il cui scopo principale è quello di insegnare al modello a riconoscere e correggere gli errori commessi all'interno di un determinato contesto. In questo modo, il modello non tenta di ripartire da zero, ma apporta modifiche mirate alle risposte errate, migliorando progressivamente la sua capacità di generare risposte corrette nel contesto dato.   Nella generazione dei dati di revisione, un metodo proposto da Qu et al. ha mostrato buoni risultati nel creare più sequenze di risposte (multi-turn) in un contesto on-policy, ovvero in modo coerente con l'approccio di apprendimento. Tuttavia, questo metodo si è dimostrato poco pratico per l'infrastruttura impiegata nella ricerca a causa dell'alto costo computazionale. Per superare questa limitazione, è stato adottato un approccio alternativo: sono state generate 64 risposte simultaneamente utilizzando una temperatura più alta per favorire la diversità delle risposte e, da queste, sono state costruite le sequenze multi-turn necessarie. Ogni risposta corretta è stata abbinata a una serie di risposte errate prese dallo stesso gruppo, creando così un insieme di dati utile per un fine-tuning specifico. Nelle sequenze potevano essere incluse fino a quattro risposte errate, il cui numero esatto veniva determinato in modo casuale. La scelta delle risposte errate è stata fatta usando un criterio di distanza di edit tra caratteri, in modo da selezionare quelle più vicine, in termini di somiglianza, alla risposta corretta finale. Sebbene questo metodo non sia perfetto per determinare la correlazione tra le risposte, si è dimostrato adeguato ad addestrare efficacemente il modello di revisione, evitando associazioni casuali e non rilevanti.   Una volta completato l'addestramento del modello, durante il test è possibile generare una sequenza di revisioni. Anche se il modello è stato addestrato considerando al massimo quattro risposte precedenti, è possibile creare catene più lunghe utilizzando solo le quattro risposte riviste più recenti come contesto. All'aumentare della lunghezza di queste catene, si nota un miglioramento progressivo nella capacità del modello di selezionare la risposta corretta al primo tentativo (pass@1), dimostrando la capacità del modello di apprendere e migliorare sulla base delle revisioni delle risposte precedenti.   Durante l'inferenza, si verifica però un cambiamento nella distribuzione: mentre il modello è stato addestrato principalmente su sequenze contenenti solo risposte errate, durante il test può incontrare risposte corrette che vengono incluse nel contesto. Questo può portare il modello, inavvertitamente, a trasformare una risposta corretta in una errata nelle revisioni successive. È stato osservato che circa il 38% delle risposte corrette viene erroneamente trasformato in errato quando si utilizza un approccio più semplice (naïf). Per ridurre questo problema, è stato implementato un meccanismo di selezione basato sul voto di maggioranza o sulla valutazione tramite un verificatore, il quale sceglie la risposta più accurata tra quelle prodotte dal modello, migliorando così la probabilità di ottenere la risposta corretta.   Per verificare l'efficacia di questo approccio, è stato eseguito un confronto tra due modalità: il campionamento di N revisioni consecutive e il campionamento parallelo di N risposte alla stessa domanda. I risultati hanno dimostrato che, utilizzando sia il metodo del voto di maggioranza sia quello basato sul verificatore, il campionamento sequenziale delle revisioni fornisce prestazioni superiori rispetto al campionamento parallelo.   Scaling LLM: Risultati dell'analisi su test-time scaling e revisioni per migliori prestazioni L'analisi dei risultati ottenuti dal test di scaling durante l'esecuzione ha rivelato che la proposta di risposte in modo sequenziale porta a prestazioni migliori rispetto a un approccio parallelo. Questo suggerisce che, nell'affrontare un problema, il modo in cui le risposte vengono generate può influenzare significativamente l'efficacia complessiva. È importante considerare che il campionamento sequenziale e quello parallelo possiedono caratteristiche distinte.   Il campionamento parallelo, ad esempio, può essere visto come un metodo di ricerca globale, che esplora una vasta gamma di strategie differenti per risolvere un problema. In questo caso, i diversi candidati potrebbero adottare approcci molto vari tra loro, permettendo di esplorare soluzioni molto distanti. In contrasto, il campionamento sequenziale tende a comportarsi come un processo di raffinamento locale, concentrandosi sul miglioramento di risposte che già si avvicinano alla soluzione desiderata.   Questi aspetti complementari indicano l'importanza di bilanciare i due approcci. La distribuzione del budget computazionale dovrebbe quindi essere attentamente calibrata, destinando una parte delle risorse al campionamento parallelo per esplorare soluzioni diverse e un'altra parte alle revisioni sequenziali per perfezionare le risposte promettenti.   È stato rilevato che esiste un equilibrio ottimale tra il campionamento sequenziale e quello parallelo, che dipende dalla difficoltà del compito da svolgere. Per identificare come distribuire al meglio le risorse tra questi due approcci, sono stati condotti numerosi test con diverse combinazioni. I risultati hanno confermato che, dato un budget fisso per la generazione, esiste una proporzione ideale tra campionamento sequenziale e parallelo che permette di ottenere la massima accuratezza. Questo equilibrio, però, non è fisso: varia a seconda della complessità del quesito. Le domande più semplici traggono maggiore vantaggio dalle revisioni sequenziali, mentre quelle più complesse richiedono un bilanciamento più attento tra le due modalità di computazione per ottenere i migliori risultati. Questa scoperta supporta l'idea che il campionamento sequenziale e quello parallelo siano due strumenti complementari che, se usati insieme, possono migliorare significativamente l'accuratezza dei risultati durante il test, con effetti variabili in base alla natura specifica del prompt.   Un aspetto importante riguarda anche la strategia ottimale per l'allocazione delle risorse computazionali. Poiché l'efficacia del campionamento sequenziale e parallelo varia con la difficoltà del compito, è possibile individuare la proporzione ideale tra queste modalità in base alla sfida specifica da affrontare. I risultati indicano chiaramente che adottare questa strategia di scalabilità computazionale permette di migliorare notevolmente le prestazioni rispetto all'utilizzo esclusivo del campionamento parallelo. Infatti, mentre il campionamento parallelo tende a stabilizzarsi oltre un certo livello di budget, la strategia di scalabilità ottimale continua a migliorare l'efficacia delle prestazioni.   L'analisi mostra quindi che, trovando il giusto equilibrio tra campionamento sequenziale e parallelo, si può ottenere un'efficienza che supera di gran lunga quella del solo campionamento parallelo, con un incremento di prestazioni fino a quattro volte superiore. In sintesi, affinare la distribuzione delle proposte attraverso revisioni mirate si rivela una strategia estremamente efficace per ottimizzare la computazione durante i test, tenendo conto sia del budget disponibile che della difficoltà specifica del compito da affrontare.   Scaling LLM: ottimizzazione del calcolo tra pre-addestramento e inferenza nei modelli L'idea di bilanciare l'uso delle risorse di calcolo tra le fasi di pre-addestramento e inferenza di un modello è un concetto interessante che permette di ottimizzare le prestazioni complessive anche quando le risorse disponibili non sono elevate. In particolare, si considera come l'aumento del calcolo durante l'inferenza possa compensare una fase di pre-addestramento meno intensiva in termini di risorse. Questo approccio consente al modello di gestire distribuzioni più complesse, migliorando le sue prestazioni nonostante un pre-addestramento meno robusto.   L'analisi si concentra sul modo in cui le risorse di calcolo possono essere distribuite in modo più efficace tra le due fasi. La questione centrale riguarda la scelta strategica su come impiegare un budget di calcolo limitato: se sia più vantaggioso concentrarsi sull'aumento delle risorse durante la fase di pre-addestramento, oppure se sia più produttivo riservare una maggiore quantità di calcolo alla fase di inferenza, dove il modello viene effettivamente messo alla prova. La riflessione su questo bilanciamento è cruciale per ottimizzare le prestazioni del modello, massimizzando l'efficacia delle risorse a disposizione.   Quando si decide come distribuire le risorse di calcolo durante la fase di pre-addestramento di un modello, si affronta una scelta cruciale: è più opportuno investire nell'aumentare la quantità di dati utilizzati per l'addestramento o incrementare il numero di parametri del modello stesso? L'analisi di questa decisione si basa su un'ipotesi comune nel campo della scalabilità dei modelli, secondo cui i parametri vengono aumentati mantenendo invariata la quantità di dati di addestramento.   Per comprendere il legame tra le risorse di calcolo impiegate durante il pre-addestramento e quelle necessarie durante l'inferenza, si utilizzano approssimazioni matematiche. Queste approssimazioni suggeriscono che, aumentando il numero di parametri del modello, crescono in modo proporzionale sia le risorse richieste per il pre-addestramento, sia quelle necessarie per l'inferenza. Tuttavia, se si desidera ottenere un incremento delle prestazioni durante l'inferenza con un modello più piccolo, sarà necessario aumentare le risorse di calcolo impiegate in questa fase, in proporzione al rapporto tra il numero di token utilizzati per l'addestramento e quelli impiegati nell'inferenza.   Il valore di questo rapporto, indicato come R, varia a seconda del contesto in cui il modello viene utilizzato. Ad esempio, in ambienti produttivi su larga scala, potrebbe esserci un numero molto maggiore di token di inferenza rispetto a quelli utilizzati per l'addestramento, portando a un valore di R elevato. In altre situazioni, come nei sistemi di auto-miglioramento, il numero di token utilizzati per l'inferenza può essere inferiore rispetto a quelli utilizzati per l'addestramento, risultando in un valore di R basso.   I risultati degli esperimenti evidenziano che, in presenza di problemi particolarmente complessi o in situazioni in cui il numero di token di inferenza è elevato, può essere più efficiente investire risorse nel pre-addestramento. Al contrario, in situazioni dove le domande sono di difficoltà medio-bassa o dove le esigenze di inferenza sono limitate, può risultare più vantaggioso dedicare maggiori risorse durante l'inferenza.   In conclusione, non esiste una corrispondenza perfetta tra il calcolo impiegato nel pre-addestramento e quello utilizzato durante l'inferenza. In contesti con domande semplici o con bassi requisiti di inferenza, è possibile compensare una minore allocazione di risorse nel pre-addestramento con un maggiore impiego di calcolo durante l'inferenza. Tuttavia, per situazioni più complesse o con elevate esigenze di inferenza, investire risorse nel pre-addestramento risulta essere una strategia più efficace per migliorare le prestazioni complessive del modello.   Approcci futuri per migliorare la scalabilità del calcolo nei test con LLM Nella ricerca è stata condotta un'analisi dettagliata sulle diverse tecniche impiegate per migliorare la ricerca in relazione a un verificatore e per ottimizzare la distribuzione delle proposte generate da un modello linguistico di grandi dimensioni (LLM) durante il processo di test nel ragionamento matematico. È emerso che l'efficacia di un approccio è fortemente influenzata dalla complessità del problema in relazione alle capacità del modello di base utilizzato. Questo ha portato allo sviluppo del concetto di "scalabilità ottimale del calcolo" durante il test, un approccio che prevede una strategia adattativa, orientata dal prompt, per massimizzare le prestazioni entro i limiti di calcolo disponibili. L'implementazione di questa strategia ha consentito di incrementare l'efficienza del calcolo durante la fase di test da 2 a 4 volte, dimostrando l'importanza di un adattamento dinamico delle risorse computazionali in base alla difficoltà dei problemi affrontati.   Il confronto tra i benefici derivanti dall'aggiunta di calcoli durante il test e quelli ottenuti durante la fase di pre-addestramento ha rivelato un aspetto interessante: l'impiego di calcoli durante il test, utilizzando metodi apparentemente semplici come revisioni e ricerche, può portare a risultati positivi in alcuni tipi di prompt. Questo approccio ha mostrato, per la prima volta, che tali metodi possono superare i vantaggi ottenuti investendo risorse computazionali nel pre-addestramento. Tuttavia, il lavoro presenta alcune limitazioni che potrebbero essere affrontate in ricerche future.   Uno degli ambiti da perfezionare riguarda la scalabilità del calcolo durante i test. La ricerca si è focalizzata principalmente su due meccanismi fondamentali: il verificatore e la distribuzione delle proposte attraverso revisioni. Nonostante la combinazione di verificatori e revisioni abbia mostrato risultati promettenti, non sono state esplorate altre tecniche, come l'uso degli alberi PRM in combinazione con le revisioni. Inoltre, tecniche come la critica e ulteriori revisioni non sono state approfondite. In futuro, sarà necessario investigare come migliorare ulteriormente la scalabilità del calcolo durante il test, esplorando una gamma più ampia di approcci. È stato anche notato che questi metodi offrono solo piccoli vantaggi su problemi più complessi, suggerendo la necessità di sviluppare nuove strategie per superare queste limitazioni.   Un altro aspetto rilevante riguarda la valutazione rapida della difficoltà delle domande. In questo studio, è stata adottata una nozione di difficoltà della domanda come statistica sufficiente per approssimare una strategia ottimale di scalabilità del calcolo durante il test. Sebbene questo metodo si sia dimostrato efficace, la stima della difficoltà delle domande richiede una quantità significativa di risorse computazionali. Futuri studi potrebbero esplorare alternative per stimare la difficoltà in modo più efficiente, come il pre-addestramento o il fine-tuning di modelli in grado di prevedere direttamente la difficoltà, o alternando dinamicamente la valutazione della difficoltà con il tentativo di risolvere la domanda stessa.   Infine, il lavoro si è concentrato esclusivamente sulla scalabilità del calcolo durante il test e su quanto questo possa essere compensato da un pre-addestramento aggiuntivo. Tuttavia, è possibile che, in futuro, i risultati ottenuti applicando calcoli durante il test possano essere integrati nel modello di base, permettendo un ciclo iterativo di auto-miglioramento applicato al linguaggio naturale. Per questo motivo, sarà importante che futuri studi estendano questi risultati e approfondiscano come i risultati del calcolo durante il test possano essere utilizzati per migliorare ulteriormente il modello di base.   Conclusione L'ottimizzazione del calcolo durante la fase di test nei modelli di linguaggio di grandi dimensioni (LLM) offre una prospettiva innovativa che sfida l'approccio tradizionale basato sull'aumento dei parametri del modello. Questo cambiamento di paradigma, invece di puntare semplicemente sull'ampliamento della complessità del modello, promuove una gestione più intelligente e mirata delle risorse computazionali esistenti.   La riflessione strategica qui si concentra su come le imprese possano trarre vantaggio da un approccio simile nell'allocazione delle proprie risorse, non solo in ambito tecnologico, ma anche in altri contesti operativi. Tradizionalmente, per risolvere problemi complessi, si è spesso pensato che "più è meglio" – ovvero, più risorse, più personale, più investimenti. Tuttavia, questo studio suggerisce che potrebbe essere più efficace concentrare gli sforzi sull'ottimizzazione dell'uso delle risorse già disponibili, piuttosto che investire costantemente in nuovi strumenti o competenze.   Applicando questa logica al mondo aziendale, emerge che la vera sfida non è solo acquisire nuove risorse, ma saperle utilizzare in modo più efficiente. Per esempio, anziché ampliare un team di lavoro o aggiungere nuovi software, le imprese potrebbero focalizzarsi sull'ottimizzazione dei processi interni, migliorando le sinergie tra le diverse funzioni aziendali o implementando metodi di lavoro più efficaci. Ciò potrebbe comportare l'adozione di strategie di "scaling ottimale" che si adattino alle specifiche esigenze dell'organizzazione, migliorando la produttività senza un aumento esponenziale dei costi.   Inoltre, l'idea di bilanciare il pre-addestramento e l'inferenza nei modelli LLM è parallela alla necessità di trovare un equilibrio tra preparazione e azione nel contesto aziendale. In molti casi, le aziende investono pesantemente nella formazione e nello sviluppo delle competenze, ma potrebbero trarre benefici significativi dall'allocazione di risorse per ottimizzare l'esecuzione operativa – il "calcolo durante il test", se vogliamo mantenere la metafora.   Infine, la capacità di adattarsi dinamicamente alla complessità delle sfide – stimando la difficoltà dei problemi e allocando le risorse di conseguenza – è cruciale per il successo strategico. In un contesto in cui le risorse sono limitate, la priorità non dovrebbe essere semplicemente quella di fare di più, ma di fare meglio, utilizzando l'intelligenza e la flessibilità per massimizzare il ritorno sugli investimenti.   In sintesi, l'approccio ottimizzato al calcolo nei LLM non solo offre una nuova via per l'efficienza computazionale, ma rappresenta anche una lezione preziosa per le imprese: l'ottimizzazione strategica delle risorse disponibili può superare la mera espansione delle capacità, portando a risultati più sostenibili e significativi.

Lo studio intitolato "CompeteAI: Understanding the Competition Dynamics of Large Language Model-based Agents", condotto da Qinlin Zhao, Jindong Wang, Yixuan Zhang, Yiqiao Jin, Kaijie Zhu, Hao Chen e Xing Xie , esplora come i modelli linguistici di grandi dimensioni (LLM) possano essere utilizzati per simulare le dinamiche competitive. La ricerca introduce un quadro innovativo, "CompeteAI", che sfrutta LLM avanzati, come GPT-4, per ricreare scenari di competizione in un ambiente simulato, come una città virtuale in cui ristoranti competono per attrarre clienti. Attraverso questa simulazione, è stato possibile osservare come i LLM possano replicare strategie di mercato complesse, riflettendo comportamenti umani come la differenziazione dei prodotti e l'effetto Matteo, dove i successi iniziali si autoalimentano a discapito dei concorrenti meno fortunati. Queste intuizioni offrono un potenziale significativo per le aziende, suggerendo nuove modalità per testare strategie di mercato, gestire il rischio ed esplorare l'innovazione disruptive in un contesto simulato, evidenziando al contempo le sfide legate alla concentrazione del potere economico e alla necessità di regolamentazione. La competizione è una forza trainante che modella le società umane e influenza vari ambiti come l'economia, le strutture sociali e lo sviluppo tecnologico. Comprendere questi meccanismi di competizione è essenziale per capire come funzionano le società. La ricerca tradizionale sulla competizione si è basata principalmente su studi empirici, limitati dall'accessibilità dei dati e incapaci di studiare la competizione a livello micro, portando a una comprensione limitata. La modellazione basata su agenti (ABM) supera questa limitazione simulando le azioni e le interazioni degli agenti. Dai modelli basati su regole ai modelli basati su dati e sull'apprendimento automatico, i ricercatori hanno cercato di rendere gli agenti più realistici. Tuttavia, questi agenti non riescono ancora a simulare comportamenti umani complessi, limitando l'autenticità del processo di simulazione.   Recentemente, l'emergere di modelli linguistici di grandi dimensioni ha fornito un'alternativa alle simulazioni sociali, permettendo la creazione di agenti autonomi. Un numero crescente di studi ha esplorato questi approcci basati su LLM, simulando vari ambienti sociali, concentrandosi principalmente sui comportamenti di cooperazione e collaborazione degli agenti, come nell'ingegneria del software e nei giochi. Tuttavia, gli studi che esaminano il concetto di competizione sono scarsi. Alcuni studi hanno analizzato la competizione e la collusione tra imprese, ma si sono concentrati solo sulle tendenze dei prezzi. Ad oggi, mancano simulazioni e studi competitivi complessi e realistici, importanti per una comprensione completa delle dinamiche competitive.   Lo studio condotto da Zhao e colleghi mira a colmare questa lacuna esplorando la competizione tra agenti basati su LLM. Viene introdotto un quadro completo per lo studio dei comportamenti competitivi degli agenti, applicabile a vari scenari. Guidati da questo quadro, è stato sviluppato un ambiente pratico competitivo utilizzando GPT-4 per simulare una città virtuale con due tipi di agenti: ristoranti e clienti. Gli agenti ristoratori gestiscono i ristoranti e vendono cibo ai clienti, i quali scelgono i ristoranti e forniscono feedback sulle loro esperienze. I clienti possiedono diverse caratteristiche, come reddito, gusto, salute e restrizioni alimentari, e possono essere individui o gruppi. In questo ambiente simulato, i ristoranti competono tra loro per attrarre e fidelizzare i clienti, spingendo gli agenti ristoratori a evolversi e adattarsi continuamente, sviluppando strategie innovative per superare i concorrenti.   Dopo aver ripetutamente condotto la simulazione, sono state eseguite analisi sia a livello micro che macro. Tra i principali risultati ottenuti, uno riguarda la comprensione contestuale da parte degli agenti basati su LLM. I modelli di linguaggio impiegati in queste simulazioni hanno dimostrato una notevole capacità di comprendere e analizzare accuratamente contesti competitivi. Ciò non solo conferma la loro abilità nel processare informazioni complesse, ma mette anche in luce il loro potenziale nell’ambito degli esperimenti di simulazione, dove possono replicare dinamiche reali e fornire preziose intuizioni per la strategia aziendale.   La strategia di mercato osservata negli agenti simulati rispecchia teorie sociologiche ed economiche consolidate. Ad esempio, i modelli di comportamento riflettono concetti come la differenziazione dei prodotti, l’imitazione delle strategie vincenti, l’orientamento al cliente e l’apprendimento sociale. Questi elementi sono fondamentali per comprendere come le aziende possano posizionarsi e competere in mercati complessi, dove le decisioni non sono prese in isolamento, ma sono influenzate dal contesto competitivo e sociale.   Un altro aspetto cruciale riguarda la variabilità delle decisioni dei clienti, che differiscono significativamente tra individui e gruppi. Questo è coerente con le osservazioni sui comportamenti dei consumatori, dove le preferenze personali, le esperienze passate e l'influenza sociale giocano un ruolo chiave. Le differenze tra le decisioni individuali e di gruppo sottolineano l'importanza di segmentare il mercato e personalizzare le strategie di marketing per differenti tipologie di pubblico.   Lo studio ha inoltre evidenziato l’Effetto Matteo nel contesto della competizione di mercato. Questo fenomeno, noto anche come “i ricchi diventano più ricchi”, si verifica quando i ristoranti o le aziende più popolari continuano a guadagnare visibilità e successo, mentre quelli meno noti restano in una posizione marginale. Questo ciclo auto-rinforzante può portare a una polarizzazione del mercato, dove pochi attori dominano, riducendo così la concorrenza e la varietà disponibile per i consumatori.   Infine, è interessante osservare come il raggruppamento dei clienti possa mitigare l’effetto “winner-take-all” causato dall’Effetto Matteo. Segmentare i clienti in gruppi più piccoli e specifici consente alle aziende meno conosciute di competere in modo più efficace, offrendo prodotti o esperienze che rispondono alle esigenze particolari di questi segmenti. La competizione tra agenti, come osservato nella simulazione, stimola un miglioramento della qualità dei prodotti, evidenziando come la pressione competitiva spinga le aziende a innovare e a migliorare costantemente, a vantaggio dei consumatori e del mercato nel suo complesso.   Costruire l'ambiente competitivo   La competizione presuppone che le persone debbano gareggiare per risorse limitate al fine di prosperare in un determinato contesto. A tal fine, è stato proposto un modello generale per lo studio della competizione, denominato "CompeteAI", che si articola in quattro componenti fondamentali.   In primo luogo, nella fase di selezione dell'ambiente, si individua il contesto competitivo appropriato, che può spaziare dai giochi competitivi alle interazioni tra aziende e clienti, fino ad altre forme di competizione. Successivamente, nella configurazione dell'ambiente, si costruisce lo scenario scelto utilizzando strutture di agenti preesistenti, come CAMEL o AutoGen, adattandole alle specifiche esigenze. La terza fase prevede l'esecuzione della simulazione, in cui vengono condotti esperimenti mirati a catturare i processi di interazione tra i diversi agenti all'interno dell'ambiente creato. Infine, nell'analisi, si osservano, esaminano e sintetizzano i comportamenti emersi dai risultati sperimentali, al fine di trarre conclusioni e approfondimenti.   Un aspetto cruciale è la creazione di un ambiente competitivo ben strutturato, dove i progettisti devono considerare attentamente il ruolo dei concorrenti, dei giudici e delle loro interazioni reciproche. Ad esempio, i concorrenti forniscono servizi ai giudici, mentre i giudici offrono feedback ai concorrenti. Per garantire il successo di questa dinamica, è necessario introdurre delle limitazioni, come la disponibilità di risorse e servizi per i concorrenti, o la disponibilità di denaro e capacità di acquisto per i giudici. La progettazione di tali vincoli trae ispirazione dalla teoria della dipendenza dalle risorse, secondo la quale la competizione per le risorse può influenzare il comportamento delle organizzazioni, le loro relazioni con altre entità e le strategie adottate per sopravvivere e avere successo. La creazione di queste componenti dipende fortemente dal contesto competitivo specifico. È inoltre fondamentale considerare le interazioni, le iterazioni (poiché la maggior parte delle competizioni richiede feedback e ripetizioni) e la gestione dei risultati. Questo quadro rappresenta un banco di prova ideale per creare un ambiente competitivo variegato, utile allo studio dei comportamenti degli agenti AI.   CompeteAI: Una simulazione per migliorare la competizione tra ristoranti L'ambiente è stato concepito come una piccola città, caratterizzata dalla presenza di due ristoranti e cinquanta clienti. Questi ultimi possono essere individui singoli o far parte di gruppi, come famiglie, coppie o colleghi. Nessun cliente ha la possibilità di cucinare autonomamente e, pertanto, è obbligato a recarsi in uno dei ristoranti per consumare i pasti. Per facilitare le osservazioni, si presuppone che ciascun cliente mangi una volta al giorno in uno dei ristoranti disponibili. I ristoranti, a loro volta, devono competere per attrarre il maggior numero di clienti possibile al fine di massimizzare i propri profitti. In questo contesto, sia i ristoranti che i clienti sono gestiti da agenti basati su modelli di linguaggio avanzati, nello specifico GPT-4 (0613). Ogni ristorante è diretto da un agente che, attraverso azioni predefinite come "modificare il menu", "gestire lo chef" e "fare pubblicità", si adopera quotidianamente per servire al meglio i clienti. I clienti, a loro volta, ricevono informazioni dai ristoranti e scelgono dove andare a mangiare. Dopo ogni pasto, i clienti forniscono feedback sotto forma di commenti, che i ristoranti possono utilizzare per migliorare il proprio servizio. La simulazione si sviluppa su un periodo di quindici giorni e termina se uno dei ristoranti decide di ritirarsi dalla competizione.   Per rendere efficace questa simulazione, è necessario affrontare tre sfide principali, ciascuna delle quali richiede un approccio mirato per garantire risultati realistici e utili.   La prima sfida riguarda la natura testuale degli input e output degli agenti basati su modelli di linguaggio. Poiché questi agenti interagiscono esclusivamente tramite testo, diventa complesso replicare un'interazione autentica con un ambiente reale. Per superare questo ostacolo, è essenziale sviluppare o utilizzare sistemi che simulino in modo realistico le interazioni e le attività tipiche di un ristorante e delle interazioni tra clienti. Solo così gli agenti basati su modelli linguistici di grandi dimensioni potranno operare in modo pratico e coerente all'interno dell'ambiente simulato.   La seconda sfida consiste nel garantire una sufficiente diversificazione degli agenti all'interno della simulazione. In un contesto reale, le preferenze dei clienti sono estremamente variabili: alcuni potrebbero preferire cibo vegetariano, altri optare per il fast food. Questa diversificazione è cruciale per stimolare comportamenti competitivi che riflettano la complessità e la varietà delle dinamiche umane, rendendo così la simulazione più fedele alla realtà.   Infine, è fondamentale valutare rigorosamente quanto i comportamenti degli agenti nella simulazione siano effettivamente rappresentativi di quelli degli esseri umani in contesti reali. Questo aspetto non solo garantisce la coerenza interna della simulazione, ma assicura anche la sua validità esterna, rendendo i risultati più applicabili e utili per comprendere dinamiche reali.   Affrontare con successo queste tre sfide è cruciale per creare una simulazione che non solo funzioni a livello tecnico, ma che offra anche spunti significativi e applicabili nel mondo reale.   Agenti AI per la simulazione della gestione di attività ristorative In questo studio, vengono impiegati agenti per simulare il ruolo di gestori di ristoranti. La gestione di un ristorante reale coinvolge attività complesse come l'assunzione di personale, la creazione di menu e la pubblicità, operazioni che vanno oltre le capacità dei modelli linguistici basati esclusivamente su testo, poiché questi non possiedono capacità di percezione del mondo reale. Per superare questa limitazione, vengono utilizzati prompt attentamente strutturati per contestualizzare lo scenario e costruire un sistema di gestione del ristorante. Per semplificare l'implementazione e l'analisi dei risultati, la competizione è limitata a due ristoranti, anche se il framework può essere facilmente esteso a un numero maggiore di ristoranti.   Il processo seguito da un agente ristoratore è il seguente: ogni agente dispone di un certo ammontare di fondi iniziali da utilizzare per assumere chef, creare menu, fare pubblicità e svolgere altre attività gestionali. In primo luogo, l'agente riceve i registri giornalieri che contengono la storia delle entrate, delle spese e del flusso di clienti, oltre ai commenti relativi all'ultimo giorno. Viene inoltre fornita l'informazione riguardante il ristorante rivale, che comprende il menu, il flusso di clienti e i commenti della giornata precedente. L'agente analizza tutte queste informazioni e progetta o rivede la strategia e la pianificazione per il giorno successivo, ad esempio assumendo un nuovo chef o aggiornando il menu. Successivamente, l'agente interagisce con il sistema di gestione del ristorante guidato dal prompt per registrare il metodo di interazione specificato. Al termine di queste operazioni, l'agente riassume le azioni svolte e conserva questo riepilogo in memoria per la pianificazione futura.   Agenti AI per la simulazione dei clienti I clienti sono considerati veri e propri giudici nell'ambiente analizzato, e per ottenere risultati più diversificati è essenziale includere una varietà di profili. A tale scopo, vengono proposte due dimensioni: caratteristiche personali e relazioni sociali per ciascun cliente. Le caratteristiche personali comprendono vari fattori, come reddito, preferenze, condizioni di salute (ad esempio, diabete) e restrizioni alimentari (ad esempio, vegetarianismo). Queste informazioni vengono definite tramite suggerimenti e memorizzate nel sistema come dati permanenti. Sul fronte delle relazioni sociali, sono stati individuati quattro tipi principali: famiglia, colleghi, coppie e amici. Alcuni clienti vengono quindi organizzati in gruppi di 2-4 persone in base alle loro caratteristiche. A ciascun membro del gruppo viene attribuito un ruolo specifico (ad esempio, madre in una famiglia) e vengono descritte le relazioni con gli altri membri. È importante notare che esistono differenze anche tra gruppi dello stesso tipo; ad esempio, alcune famiglie presentano relazioni armoniose, mentre altre mostrano tensioni. In totale, sono stati definiti 10 clienti individuali, 4 famiglie, 4 gruppi di colleghi, 3 coppie e 4 gruppi di amici.   Il processo seguito da ciascun cliente è strutturato come segue. Ogni giorno, a ciascun cliente vengono presentate informazioni su due ristoranti, tra cui il nome del locale, il punteggio assegnato dai clienti, la pubblicità, il menu e i commenti. Ogni cliente deve scegliere un ristorante basandosi sulle proprie caratteristiche, esperienze e sulle informazioni fornite. I membri dei gruppi discutono prima della decisione su dove andare. Durante la discussione, ciascun membro può esprimere le proprie esigenze e opinioni, arrivando infine a una decisione di maggioranza. Nel corso della fase decisionale, i clienti devono fornire motivazioni che consentano un'analisi più approfondita delle loro scelte. Successivamente, i punteggi dei piatti registrati nel sistema del ristorante vengono inviati ai clienti. Basandosi su questi punteggi e su altre informazioni, ciascun cliente elabora le proprie impressioni che costituiscono la sua esperienza di consumo. Alcuni clienti lasciano commenti comprensivi di nome, data, punteggio e contenuto (nei gruppi, tutti i commenti vengono aggregati in un unico feedback). Infine, questi commenti vengono memorizzati e resi disponibili agli altri clienti.   Valutazione della qualità dei piatti Nel contesto competitivo analizzato, la qualità dei piatti riveste un ruolo cruciale nel determinare la qualità complessiva del servizio offerto. La valutazione della qualità dei piatti è strettamente legata al prezzo del piatto stesso, al costo di produzione e al livello di competenza del cuoco. Per valutare tale qualità, sono state formulate alcune ipotesi fondamentali: la prima ipotesi considera che il gusto dei piatti sia positivamente correlato con le abilità dei cuochi, le quali sono a loro volta correlate al salario percepito; la seconda ipotesi suggerisce che la qualità e il gusto dei piatti siano influenzati sia dal prezzo di costo che da quello di vendita.   Sulla base di queste ipotesi, è stato introdotto un meccanismo empirico per valutare il punteggio associato a ciascun piatto. Tale punteggio viene calcolato sommando il 50% del costo di produzione con il 50% del salario del cuoco diviso per 5000. Questo approccio permette di ottenere una misura del valore del piatto che riflette sia gli aspetti economici che quelli legati alla competenza del personale.   L'analisi è stata condotta attraverso una serie di esperimenti ripetuti nove volte per i clienti singoli e sei volte per i clienti in gruppo. Questa analisi è stata articolata su due livelli distinti: micro e macro.   A livello micro, l'attenzione si è concentrata sull'interazione tra gli agenti e l'ambiente simulato, valutando le loro capacità fondamentali di percezione e azione, e osservando i loro comportamenti. A livello macro, invece, è stato esaminato il processo dinamico del sistema, con un focus particolare sull'evoluzione del sistema stesso e sull'identificazione di schemi all'interno di questa evoluzione. Sono stati analizzati anche i risultati finali della simulazione, confrontandoli con teorie consolidate nelle scienze sociali e mettendo in luce scoperte interessanti che potrebbero aprire nuove strade per ulteriori ricerche.   Analisi a livello micro: Percezione contestuale Nell'analisi a livello micro delle strategie di mercato, l'attenzione si concentra sulle azioni intraprese dagli agenti, che rappresentano un elemento cruciale per determinare quale concorrente possa superare gli altri. È stato osservato che gli agenti nell'ambiente di riferimento adottano alcune strategie di mercato classiche, tra cui la differenziazione, l'imitazione, l'orientamento al cliente e l'apprendimento sociale.   Differenziazione : La differenziazione è una strategia generica che consente ai concorrenti di occupare una posizione di mercato unica (Porter, 1997). Questa può essere attuata in varie forme, come il design dell'immagine del marchio, il servizio clienti o altre dimensioni. Nel contesto analizzato, è emerso l'approccio di focalizzarsi su piatti distintivi per affermare il brand: "Semplificare il menu per concentrarsi su pochi piatti di alta qualità che possano diventare i preferiti dei clienti, differenziandosi così dai concorrenti."   Imitazione : L'imitazione è un'altra strategia classica che prevede l'osservazione attiva e l'adattamento delle strategie dei concorrenti per mantenere la parità competitiva o limitare la rivalità nel mercato (Lieberman e Asaba, 2006). Un esempio di imitazione è l'adozione di ingredienti locali da parte di un concorrente dopo aver rilevato il vantaggio competitivo di un rivale: "L'enfasi di American Aroma sugli ingredienti locali e le opzioni salutari è un chiaro vantaggio... Stars & Stripes Diner introdurrà ingredienti locali per alcuni piatti."   Orientamento al cliente : La scoperta e la soddisfazione delle esigenze dei clienti sono elementi chiave per ottenere vantaggi competitivi (Zeithaml et al., 2018). Prioritizzare la comprensione delle esigenze dei clienti permette agli agenti di adattarsi, innovare e prosperare nella competizione. Ad esempio, le risposte degli agenti vengono adattate a diverse esigenze dei clienti, come la richiesta di piatti a ridotto contenuto di zucchero per persone con diabete o di piatti a base di pesce per gli amanti dei frutti di mare. Tali bisogni vengono identificati attraverso i commenti dei clienti e raccolti dagli agenti per apportare le necessarie modifiche. Inoltre, i concorrenti possono identificare non solo esigenze individuali, ma anche tendenze generali dei consumatori, come l'interesse per la cura della salute, e adeguare di conseguenza le loro offerte.   Esempi di esigenze dei clienti e comportamenti dei ristoranti: - Esigenza del cliente: Vegetariano | Comportamento dell'agente: Aggiunta di “Insalata Vegan Delight” al menu | Tipo: Restrizione alimentare - Esigenza del cliente: Diabete | Comportamento dell'agente: Introduzione della versione senza zucchero della "Berry Parfait" | Tipo: Restrizione alimentare - Esigenza del cliente: Frutti di mare | Comportamento dell'agente: Aggiunta della “Grigliata di Pesce” al menu | Tipo: Gusto - Esigenza del cliente: Burger | Comportamento dell'agente: Aggiunta del “Classic American Burger” al menu | Tipo: Gusto - Esigenza del cliente: Cura della salute | Comportamento dell'agente: Introduzione di una sezione "Specialità Locali" nel menu | Tipo: Tendenze alimentari   Analisi a livello micro: Strategia di mercato L'analisi delle decisioni dei clienti riveste un ruolo cruciale nella competizione. Le ragioni alla base delle preferenze dei clienti sono state categorizzate e quantificate, rivelando che le decisioni sono spesso influenzate da una molteplicità di fattori. Questa osservazione è coerente con la teoria del comportamento del consumatore (Peter e Olson, 2010).   Le motivazioni dei diversi clienti sono state riassunte e raggruppate in alcune categorie principali. Ad esempio, le restrizioni alimentari e le preferenze di gusto sono state classificate sotto il tema "soddisfazione dei bisogni primari". Le scelte basate su punteggi elevati o recensioni positive sono state inserite nella categoria "considerazione della reputazione del ristorante". Le decisioni derivanti da esperienze precedenti sono state attribuite alla "fedeltà al marchio".   Sulla base di questa categorizzazione, le ragioni alla base delle decisioni dei clienti sono state quantificate in tutti gli esperimenti. Sono stati selezionati casualmente tre clienti singoli e quattro gruppi per la presentazione. Dall'analisi dei dati emerge chiaramente che ogni singolo cliente o gruppo considera molteplici fattori nel prendere una decisione, con variazioni da persona a persona. Un fattore comune è che la "soddisfazione dei bisogni" incide significativamente su tutti i clienti. Inoltre, si osservano differenze tra clienti singoli e gruppi. Per i clienti singoli, la reputazione del ristorante risulta un fattore cruciale (media 29,42), mentre l'interesse per esplorare nuove opzioni è meno frequente (media 7,18). Al contrario, i gruppi mostrano una maggiore apertura verso nuovi piatti (media 14,93) e attribuiscono minore importanza alla reputazione del ristorante (media 10,71).   Analisi a livello macro: Dinamiche strategiche Sono state osservate dinamiche strategiche complesse, caratterizzate da una serie di interazioni dinamiche tra aziende in competizione per ottenere posizioni di vantaggio (Chen e Miller, 2012). Queste dinamiche sono guidate dall'interazione tra comportamenti di differenziazione e imitazione.   Risultati generali : Il secondo giorno è stata proposta da R1 l'idea di utilizzare ingredienti locali nei piatti per attrarre clienti attenti alla salute. Nei due giorni successivi, questo punto di forza ha permesso a R1 di attirare un gran numero di clienti. Notando il successo ottenuto, R2 ha aggiornato alcuni piatti con ingredienti locali il quarto giorno e ha introdotto il “Stars & Stripes Fusion Bowl” il quinto giorno per offrire servizi personalizzati. Successivamente, R1 ha aggiunto “American Fusion Bowl” per confrontarsi con R2. Da quel momento, i due concorrenti hanno continuato a ricercare nuovi punti di forza per differenziarsi, imitando al contempo i successi dei rivali.   Manifestazione chiave : Spesso, la differenziazione viene utilizzata dai concorrenti per ottenere vantaggi competitivi. Tuttavia, tale strategia può essere facilmente imitata, riducendo l'efficacia della differenziazione stessa (Porter, 1997). Di conseguenza, il vantaggio competitivo ottenuto attraverso la differenziazione tende a essere temporaneo, richiedendo innovazioni continue per mantenere la posizione di vantaggio.   Equilibrio dinamico : Quando due ristoranti operano nelle stesse condizioni (tipo di cucina, finanziamento iniziale), è naturale che i loro menu tendano a essere simili. Tuttavia, per differenziarsi, i concorrenti introducono nuovi elementi nei menu che riducono la somiglianza, mentre l'imitazione da parte dei rivali la aumenta, portando infine a un equilibrio dinamico. Durante gli esperimenti, la somiglianza tra i menu dei due ristoranti è stata calcolata quotidianamente e poi mediata. È stato osservato che la somiglianza dei menu si è mantenuta costante intorno al 36%.   Effetto Matteo  È stato osservato un fenomeno riconducibile all'Effetto Matteo (Rigney, 2010), in cui enti con un vantaggio competitivo iniziale tendono ad accumulare ulteriori benefici, lasciando gli altri in una condizione di perenne inseguimento, con conseguente crescita e opportunità diseguali. Questo effetto è ampiamente documentato in vari ambiti, come l'istruzione (Walberg e Tsai, 1983) e il finanziamento della ricerca scientifica (Bol et al., 2018).    Di seguito, vengono illustrati i risultati che offrono spunti pratici sulla manifestazione dell'Effetto Matteo nel contesto degli agenti basati su LLM, in particolare riguardo alle dinamiche di traffico clienti e ai meccanismi di feedback nei ristoranti.   Risultati generali : Nel primo giorno, la maggior parte dei clienti ha scelto il ristorante R1 grazie alla sua convenienza, alla varietà del menu e ad altri fattori. La qualità elevata dei piatti di R1 ha fornito un'esperienza soddisfacente, che si è tradotta in commenti positivi e in un punteggio medio di 7,2. Al contrario, R2 ha attratto meno clienti, con conseguente minor numero di commenti. Inoltre, i commenti ricevuti da R2 sono stati contrastanti e i punteggi medi (6,0) si sono rivelati inferiori rispetto a quelli di R1, a causa della qualità dei piatti. Nel secondo giorno, per R1, i punteggi più alti, i commenti positivi e un menu rivisitato hanno attratto nuovi clienti e fidelizzato quelli esistenti. Questo schema si è ripetuto quotidianamente, aggravando la situazione di R2.   Manifestazione centrale : Il successo iniziale di R1 ha rafforzato il suo vantaggio attraverso un ciclo di feedback positivo: un maggior numero di commenti ha permesso a R1 di ottenere più riscontri, facilitando miglioramenti. Inoltre, punteggi più elevati e commenti positivi hanno contribuito a costruire una solida reputazione tra i clienti, attirandone ulteriori. Al contrario, con un numero inferiore di clienti, R2 ha ricevuto un feedback limitato e le eventuali modifiche apportate non hanno prodotto risultati immediatamente apprezzabili a causa della ridotta base clienti. R2 ha quindi faticato a rompere questo ciclo, evidenziando la disparità nella crescita e nel successo.   Schemi di crescita disproporzionata : Le dinamiche in evoluzione, in cui R1 ha prosperato mentre R2 ha affrontato difficoltà, rappresentano le traiettorie di crescita diseguali centrali all'Effetto Matteo.   In sintesi, i risultati evidenziano l'impatto significativo dei vantaggi iniziali e il ruolo cruciale del feedback nel creare un ciclo autoalimentato di successo per alcuni e di difficoltà per altri, in linea con l'Effetto Matteo.   Come i gruppi di clienti aiutano a contrastare l'effetto Winner-take-all Il fenomeno del "Winner-take-all" (Leadley et al., 2014) si verifica a causa dell'effetto Matteo. Definiamo il "Winner-take-all" come segue: dopo cinque giorni di competizione, un ristorante acquisisce oltre l'80% della clientela, mantenendo questo vantaggio fino alla fine della gara (Giorno 15). L'analisi statistica di questo fenomeno rivela che esso si verifica più frequentemente con i clienti singoli (66,7%) e raramente con i gruppi (solo una volta, pari al 16,7%). Concludiamo che questo risultato dipende dal fatto che i gruppi tendono a esplorare nuove opzioni e non considerano la reputazione un fattore determinante.   La preferenza dei gruppi per la sperimentazione offre ai ristoranti svantaggiati l'opportunità di far conoscere i propri piatti, attuare strategie efficaci e raccogliere feedback per miglioramenti. Questi clienti sperimentali possono anche raccomandare il ristorante ad altri, rompendo così il meccanismo di feedback positivo tipico dell'effetto Matteo, e contribuendo a ridurre il fenomeno del "Winner-take-all".   La competizione contribuisce a migliorare la qualità del prodotto La competizione tende a migliorare la qualità dei prodotti, come evidenziato dall'evoluzione della qualità del cibo nei ristoranti, un fenomeno ben documentato nella letteratura esistente (Lieberman e Asaba, 2006; Garvin, 1988).   Per evidenziare questo miglioramento, consideriamo due aspetti: primo, l'86,67% delle volte, durante la competizione, il punteggio medio dei piatti in almeno uno dei ristoranti è aumentato, indicando un'alta probabilità che i clienti trovino l'esperienza culinaria migliorata rispetto al passato. Inoltre, osserviamo un incremento costante nei punteggi medi dei piatti: dal giorno 1 al giorno 15, il punteggio medio è aumentato di 0,26 per R1 e di 0,22 per R2.   La competizione emerge come il fattore chiave di questo miglioramento. In un mercato altamente competitivo, l'ampia disponibilità di opzioni costringe i concorrenti a focalizzarsi sul miglioramento della qualità del servizio. La presenza di rivali impone l'innalzamento degli standard per ottenere un vantaggio competitivo, creando un ambiente dinamico che stimola un costante miglioramento della qualità dei piatti.   Un episodio significativo riguarda l'aumento graduale dei prezzi originali dei piatti più popolari per garantire l'acquisto di ingredienti di qualità superiore, mantenendo al contempo un rapporto costo-beneficio equilibrato per assicurare la soddisfazione dei clienti.   Come i modelli linguistici riflettono le teorie della concorrenza di mercato Le osservazioni emerse si allineano in modo significativo con le teorie sociologiche e di mercato esistenti. I fenomeni a livello micro, come la differenziazione, l'imitazione e l'orientamento al cliente, possono essere interpretati come manifestazioni di comportamenti endogeni degli agenti. Tuttavia, le ragioni per cui questi comportamenti emergono rimangono poco esplorate, principalmente a causa della natura "black-box" dei modelli di linguaggio di grandi dimensioni utilizzati, come GPT-4. Una possibile spiegazione potrebbe risiedere nel fatto che questi modelli siano stati addestrati su un ampio corpus contenente testi di diverse discipline, tra cui psicologia, sociologia ed economia (OpenAI, 2023). Pertanto, è ipotizzabile che il modello abbia appreso teorie ed esempi diffusi, portando alla manifestazione di comportamenti "comuni" quando sollecitato dai prompt utilizzati negli esperimenti.   Dall'analisi della frequenza con cui i fenomeni osservati si allineano alle teorie esistenti, emerge una tendenza del modello a replicare comportamenti coerenti con tali teorie. Ad esempio, la differenziazione, l’imitazione e l’orientamento al cliente si ricollegano alla Teoria della Concorrenza di Mercato e sono state osservate con una frequenza del 100% negli esperimenti. Anche il miglioramento della qualità del prodotto, pur meno frequente (86,67%), si allinea a questa teoria. L’Effetto Matteo, riconducibile alla teoria sociologica omonima, è stato rilevato con una frequenza del 66,7% nei singoli casi e del 16,7% nei gruppi.   Oltre all'allineamento con le teorie esistenti, emerge una questione di grande interesse: gli agenti basati su modelli linguistici sono in grado di superare la semplice riproduzione delle conoscenze presenti nei dati di addestramento, arrivando a sviluppare una nuova forma di intelligenza? Questo interrogativo assume particolare rilevanza per l'opportunità di condurre nuovi studi in ambito sociologico ed economico, utilizzando tali agenti per scoprire nuove regole, leggi o teorie. Inoltre, l'allineamento dei comportamenti osservati con le teorie consolidate indica una coerenza con i valori umani (Gabriel e Ghazavi, 2021), il che potrebbe suscitare l'interesse della comunità di ricerca sull'allineamento dei valori per ulteriori studi in un contesto basato su agenti. Questo lavoro potrebbe rappresentare una base di partenza per ricerche sull'allineamento, su cui potrebbero essere integrati algoritmi più complessi.     Limitazioni e prospettive future Lo studio sugli agenti basati su LLM in contesti competitivi presenta alcune limitazioni, pur fornendo una solida base per futuri approfondimenti. Un primo limite riguarda la dimensione e la varietà del campione utilizzato: le restrizioni imposte dall'API di GPT-4 hanno circoscritto gli esperimenti a un numero limitato di ristoranti e clienti. Un altro aspetto critico è rappresentato dall'interazione esclusivamente testuale. L'approccio attuale, che si avvale di GPT-4, non rispecchia la complessità degli ambienti reali, dove le interazioni spesso coinvolgono elementi multimodali come immagini, video e audio. Con l'evoluzione di modelli multimodali più avanzati, ci si aspetta che studi futuri possano fornire una comprensione più completa. Infine, è importante sottolineare che i risultati ottenuti si basano sulla versione GPT-4-0613, e futuri aggiornamenti dell'API potrebbero influenzare gli esiti di ricerche simili.   Conclusioni Lo studio di Zhao e colleghi sull'uso dei modelli linguistici di grandi dimensioni (LLM) per simulare dinamiche competitive tra agenti offre interessanti spunti per riflettere sulle future applicazioni di tali tecnologie nel mondo aziendale e oltre. Uno degli elementi più rilevanti emersi dalla ricerca è l'abilità dei modelli di linguaggio di comprendere e replicare complessi scenari di mercato, utilizzando strategie che rispecchiano teorie sociologiche ed economiche già consolidate. Questo dimostra non solo la capacità degli LLM di agire come agenti competitivi, ma anche la loro potenzialità nell'essere strumenti di simulazione avanzata per testare strategie di mercato e comprendere le dinamiche competitive.   Una prospettiva inedita che si potrebbe considerare riguarda l'uso di tali simulazioni per esplorare il concetto di disruption in mercati altamente competitivi. Se gli LLM possono essere programmati per imitare comportamenti di mercato tradizionali, potrebbero essere altrettanto utili per modellare l'innovazione radicale e prevedere come nuove tecnologie o pratiche possano sconvolgere l'equilibrio esistente. Questo potrebbe offrire alle aziende un'opportunità senza precedenti di testare in anticipo l'impatto di innovazioni disruptive, anticipando le risposte della concorrenza e adattando le proprie strategie di conseguenza.   Inoltre, la simulazione delle dinamiche competitive con LLM potrebbe avere implicazioni rilevanti per la gestione del rischio aziendale. Le aziende potrebbero utilizzare questi strumenti per creare scenari di crisi o pericolosi cambiamenti di mercato, osservando come diverse strategie di mitigazione potrebbero influire sul risultato finale. Ciò potrebbe portare a una nuova era di gestione preventiva del rischio, in cui le decisioni sono informate da simulazioni avanzate che tengono conto di un'ampia gamma di variabili competitive.   Un altro aspetto strategico da esplorare è l'effetto di queste tecnologie sulla concentrazione del potere economico. Come emerso dallo studio, l'effetto Matteo tende a consolidare il successo nelle mani di pochi attori, portando a una polarizzazione del mercato. Se questa dinamica viene amplificata dall'adozione di agenti AI sempre più avanzati, si potrebbero accentuare le disuguaglianze tra le imprese, con implicazioni significative per la regolamentazione e la concorrenza leale. Questo solleva la necessità di una riflessione profonda sull'equilibrio tra innovazione tecnologica e equità di mercato, un tema che diventerà sempre più centrale man mano che l'AI diventerà parte integrante delle strategie aziendali.   Infine, la ricerca suggerisce che, nonostante la loro sofisticazione, i modelli linguistici di grandi dimensioni potrebbero necessitare di un ulteriore livello di complessità per gestire ambienti competitivi che riflettono la vera multidimensionalità delle interazioni umane e aziendali. Integrare elementi multimodali nelle simulazioni potrebbe fornire una visione più completa e realistica, migliorando ulteriormente la capacità delle aziende di pianificare e adattarsi in un mondo in costante evoluzione.   In sintesi, lo studio di Zhao e colleghi apre la strada a nuove possibilità per l'uso degli LLM nel business, ma solleva anche importanti questioni su come queste tecnologie possano ridefinire il concetto di competizione, innovazione e gestione del rischio nel futuro.

La ricerca intitolata " MoMa: Efficient Early-Fusion Pre-training with Mixture of Modality-Aware Experts " è stata realizzata da un team di ricercatori di Meta FAIR, composto da esperti nel campo dell'intelligenza artificiale e del machine learning. Questo studio ha l'obiettivo di migliorare l'efficienza dei processi di preaddestramento di modelli di linguaggio multimodali, adottando una struttura innovativa che utilizza una combinazione di esperti AI consapevoli della modalità. Il lavoro ha dimostrato miglioramenti significativi nell'efficienza del preaddestramento, promuovendo un uso più efficace delle risorse computazionali in contesti di apprendimento multimodale.   Il team di ricerca include: - Xi Victoria Lin: Ricercatrice presso Meta, specializzata in modelli di linguaggio e intelligenza artificiale. - Akshat Shrivastava: Coinvolto nello sviluppo di tecnologie di apprendimento profondo e intelligenza artificiale. - Liang Luo: Si occupa di ricerca e sviluppo nell'intelligenza artificiale, con particolare attenzione alle tecniche di apprendimento automatico. - Srinivasan Iyer: Esperto di processamento del linguaggio naturale e intelligenza artificiale. - Mike Lewis: Ricercatore che lavora sull'interazione uomo-macchina e la comprensione del linguaggio naturale tramite IA. - Gargi Ghosh: Specializzata in analisi dei dati e apprendimento automatico. - Luke Zettlemoyer: Professore e ricercatore di rilievo nel campo dell'elaborazione del linguaggio naturale (NLP, Natural Language Processing) e dei modelli di linguaggio. Attualmente è professore presso la Paul G. Allen School of Computer Science & Engineering dell'Università di Washington e lavora anche come ricercatore principale presso Meta AI. - Armen Aghajanyan: Focalizzato su architetture neurali e applicazioni di intelligenza artificiale.   L'approccio proposto dal team di Meta FAIR si distingue per l'adozione di una fusione precoce, dove i dati di diverse modalità vengono integrati sin dalle prime fasi del processo di addestramento. Questa strategia permette non solo di ottimizzare l'uso delle risorse computazionali, ma anche di migliorare le prestazioni del modello su compiti multimodali. Il coinvolgimento di esperti AI consapevoli della modalità garantisce che ogni tipo di dato venga trattato con la specificità necessaria, massimizzando così l'efficacia dell'intero processo di apprendimento. Gli avanzamenti nel campo dell'intelligenza artificiale generativa hanno portato allo sviluppo di modelli multimodali capaci di gestire contemporaneamente diversi tipi di dati, come immagini e testi. Questi modelli hanno dimostrato un potenziale significativo, specialmente in applicazioni che richiedono la capacità di comprendere e generare contenuti misti. Utilizzati in una varietà di compiti, dalla risposta a domande basate su immagini alla creazione di contenuti che combinano testo e immagini, questi modelli stanno spingendo i confini delle capacità dell'intelligenza artificiale di comprendere e interagire con il mondo.   Un esempio pratico di questi modelli è un sistema che, dato un'immagine, riesce a descriverla con un testo dettagliato o a rispondere a domande specifiche riguardanti l'immagine stessa. Questi modelli sono addestrati su grandi quantità di dati che includono sia testi che immagini, permettendo loro di comprendere le connessioni tra le diverse modalità di dati. Così, se viene fornita un'immagine di un paesaggio, il modello può generare una descrizione testuale accurata del paesaggio, identificando elementi come montagne, alberi e fiumi. Allo stesso modo, se viene posta una domanda su un particolare elemento visivo nell'immagine, il modello è in grado di fornire una risposta pertinente basata sulle informazioni visive disponibili.   Un'architettura comunemente utilizzata per i modelli multimodali prevede la fusione di encoder o decoder specifici per ciascuna modalità. Tuttavia, questo approccio può limitare la capacità del modello di integrare informazioni tra le diverse modalità e generare contenuti che combinano più modalità. Per superare questa limitazione, è stata introdotta un'architettura basata su un singolo trasformatore con l'obiettivo di prevedere il token successivo per modellare sequenze multimodali composte da immagini e testi. Questo consente un ragionamento e una generazione senza soluzione di continuità attraverso le diverse modalità. Un esempio di questo approccio è Chameleon, sviluppato dal team di Ricerca Fondamentale sull'Intelligenza Artificiale (FAIR) di Meta. Questo modello è stato pre-addestrato su circa 10 trilioni di token multimodali e ha dimostrato capacità avanzate sia nel riconoscimento visivo che nell'elaborazione del linguaggio. Chameleon è stato in grado di superare modelli commerciali di riferimento nella generazione di risposte lunghe e multimodali. Tuttavia, l'ampliamento di tali modelli fondamentali ad alta fusione per gestire capacità maggiori presenta sfide computazionali significative.   Per affrontare queste sfide, è stata esplorata l'applicazione di architetture sparse instradate. Queste architetture si sono dimostrate efficaci nel migliorare i modelli fondamentali specifici per linguaggio e visione, così come nell'apprendimento contrastivo multimodale, un approccio che permette di mettere a confronto diverse modalità di dati, come testo e immagini, per trovare somiglianze e differenze. Tuttavia, l'applicazione di queste architetture ai modelli ad alta fusione multimodali, che integrano strettamente dati di diversa natura, presenta sia opportunità che sfide uniche. Le opportunità includono la possibilità di creare modelli più versatili e potenti, in grado di gestire e comprendere informazioni complesse provenienti da diverse fonti. Le sfide riguardano principalmente la complessità della progettazione e dell'addestramento di tali modelli, che richiede un equilibrio delicato tra diverse componenti e l'ottimizzazione delle risorse computazionali.   L'intuizione alla base di questo approccio è la diversità intrinseca delle modalità: i token di testo e immagine hanno densità di informazione e schemi di ridondanza differenti. Pur integrando questi token in un'architettura ad alta fusione unificata, si propone di ottimizzare ulteriormente questo framework incorporando moduli specifici per ciascuna modalità. Questo concetto, definito come "sparse modality-aware" (MaS), permette ai modelli di catturare meglio le caratteristiche specifiche di ogni modalità, mantenendo comunque una forte integrazione tra le modalità attraverso la condivisione parziale dei parametri e meccanismi di attenzione. L'idea si ispira a lavori precedenti come VLMo (Bao et al., 2022), BEiT-3 (Wang et al., 2022a) e VL-MoE (Shen et al., 2023), che hanno utilizzato approcci di "mixture-of-modality-experts" (MoME) per addestrare encoder capaci di gestire visione e linguaggio, nonché modelli di linguaggio mascherati.   Per sviluppare questo approccio è stata utilizzata l'architettura Chameleon come base per il trasformatore, implementando una sparsa in due dimensioni principali. La sparsa, in questo contesto, si riferisce a una tecnica che riduce la quantità di calcoli necessari concentrandosi solo su parti specifiche dell'informazione. La prima dimensione di sparsa riguarda la larghezza, che viene gestita attraverso il concetto di "mixture-of-experts" (MoE), traducibile come "miscuglio di esperti". Questa tecnica prevede la distribuzione dei token, cioè unità di informazione o parole, attraverso un insieme di blocchi feed-forward chiamati esperti a ciascun livello del modello.   Gli esperti sono suddivisi in gruppi specifici per modalità. Ogni gruppo di esperti elabora solo i token che appartengono alla modalità a loro designata. L'instradamento dei token avviene all'interno di ciascun gruppo e si basa su una semantica adattiva. Questo significa che il sistema decide dinamicamente quale esperto all'interno del gruppo sia più adatto a gestire un particolare token, basandosi sul significato o il contesto del token stesso.   In pratica, l'approccio "mixture-of-experts" consente di rendere l'elaborazione delle informazioni più efficiente. Invece di far passare ogni token attraverso tutti i possibili calcoli, si indirizza ogni token solo attraverso il percorso più pertinente, riducendo così il carico computazionale complessivo e migliorando la capacità del modello di gestire grandi quantità di dati con maggiore precisione e velocità.   La seconda dimensione riguarda la profondità, dove viene introdotto il concetto di "combinazione di profondità" (MoD). Questo consente ai singoli token di saltare selettivamente alcune operazioni di calcolo, come l'attenzione e il feed-forward, in determinati livelli del processo. Sia per la profondità che per altre dimensioni, viene utilizzato un sistema di instradamento che coinvolge la scelta degli esperti. Tale sistema garantisce una distribuzione equilibrata del carico di lavoro e la stabilità della struttura di calcolo. Questi aspetti sono essenziali per assicurare un'elevata velocità durante il processo di addestramento.   Sono stati condotti esperimenti controllati dal numero di operazioni (FLOPs) confrontando l'architettura proposta con una versione densa e con diverse varianti sparse. Con un budget di addestramento di 1 trilione di token, il modello Chameleon-MoMa da 1,4 miliardi di parametri, utilizzando 4 esperti per il testo e 4 esperti per le immagini, ha ottenuto un notevole risparmio del 3,7 volte nelle operazioni rispetto alla versione densa equivalente, mantenendo una riduzione relativamente modesta del 17% nella velocità di throughput. Al contrario, il modello standard con scelta degli esperti MoE con 8 esperti multimodali ha ottenuto un risparmio di 3 volte nelle operazioni con una riduzione del 9% nel throughput. La combinazione con MoD (Chameleon-MoMaD) ha ulteriormente aumentato il risparmio nelle operazioni fino a 4,2 volte, ma la performance inferenziale auto-regressiva del modello MoD è risultata compromessa a causa della sensibilità all'accuratezza dell'instradamento, portando a una performance inferiore rispetto a Chameleon-MoMa.   È stato dimostrato che la performance del modello Chameleon-MoMa può essere migliorata attraverso una tecnica di upcycling senza legami di modalità. Questa tecnica consiste nel migliorare un modello già esistente senza aggiungere nuovi dati o risorse, ma utilizzando in modo più efficiente ciò che è già disponibile. Nel contesto di Chameleon-MoMa, ciò significa che il modello può essere inizializzato con un'architettura sparsa di base. Successivamente, viene ottimizzato l'apprendimento dell'instradamento, ovvero la capacità del modello di scegliere il percorso migliore tra le diverse modalità disponibili.   Dopo aver addestrato il modello di base per 10.000 passi, il risultato ottenuto è una riduzione delle operazioni necessarie per il funzionamento del modello. Questa riduzione è significativa perché permette di mantenere o addirittura migliorare le prestazioni del modello, rendendolo più efficiente senza sacrificare la qualità dei risultati. Ad esempio, se il modello Chameleon-MoMa è utilizzato per analizzare immagini e testi contemporaneamente, l'approccio descritto permette di ridurre il carico computazionale senza perdere in accuratezza nell'analisi.   Apprendimento end-to-end e scalabilità nel modello MoMa multimodale Il modello si basa sull'architettura "early fusion" introdotta da Chameleon, che rappresenta immagini e testi come una serie di "token" discreti all'interno di un trasformatore unificato. Il cuore di Chameleon è un modello basato su trasformatori che applica meccanismi di autoattenzione (self-attention) su una sequenza combinata di token di immagine e testo. L'autoattenzione è una tecnica che permette al modello di valutare le relazioni tra diverse parti di un input, indipendentemente dalla loro posizione nella sequenza. Questo consente al modello di catturare relazioni complesse sia tra diverse modalità, come testo e immagini, sia all'interno di ciascuna modalità. Il modello è addestrato utilizzando un obiettivo di previsione del token successivo, imparando a generare sia token di testo sia di immagine in modo autoregressivo, ossia predicendo il token successivo basandosi sui precedenti.   In Chameleon, le immagini vengono trasformate in token attraverso un tokenizzatore di immagini appreso che codifica un'immagine di 512 per 512 pixel in 1024 token discreti provenienti da un "codebook". Un tokenizzatore è uno strumento che suddivide un input, come un'immagine o un testo, in unità discrete. Il testo è trasformato in token usando un tokenizzatore BPE (Byte Pair Encoding) con un vocabolario di 65.536 token, che include gli 8192 token del codebook delle immagini. Questo schema di tokenizzazione unificato permette al modello di elaborare sequenze arbitrarie di token di immagini e testo intrecciati.   L'adozione di questo approccio di "early fusion" comporta diversi vantaggi: 1. Rappresentazione unificata : Il modello impara uno spazio di rappresentazione condiviso per immagini e testo, facilitando il ragionamento e la generazione tra modalità diverse. Questo significa che il modello è in grado di comprendere e generare contenuti che combinano testo e immagini in modo coerente. Ad esempio, un modello può essere in grado di generare una descrizione di un'immagine, integrando informazioni visive e testuali in modo armonioso.   2. Flessibilità : L'architettura può gestire sequenze arbitrarie di immagini e testo, abilitando compiti multimodali diversi come la descrizione di immagini (image captioning), il dialogo visivo e la generazione di documenti misti. Ciò significa che il modello è in grado di affrontare una vasta gamma di attività che richiedono l'uso simultaneo di testo e immagini, adattandosi a molteplici applicazioni.   3. Scalabilità : L'approccio basato sui token consente un'elaborazione uniforme dei dati sia testuali che visivi, permettendo una scalabilità efficiente verso modelli di dimensioni maggiori e dataset diversificati. Ciò permette al modello di gestire enormi quantità di dati e di essere addestrato su dataset estesi e complessi, come dimostrato da Chameleon, che è stato addestrato su circa 10 trilioni di token eterogenei.   4. Apprendimento end-to-end : L'intero modello autoregressivo è addestrato end-to-end, consentendo l'ottimizzazione congiunta della rappresentazione e delle prestazioni specifiche del compito. L'addestramento end-to-end implica che il modello viene addestrato come un unico sistema, ottimizzando contemporaneamente tutte le sue parti per migliorare le prestazioni complessive.   Basandosi su questa struttura, MoMa introduce tecniche di parsimonia consapevoli della modalità per migliorare ulteriormente l'efficienza e le prestazioni dei modelli di early fusion. Queste tecniche mirano a risolvere le sfide computazionali associate alla scalabilità dei modelli di early fusion mantenendo le loro capacità di ragionamento cross-modale, ovvero l'abilità del modello di integrare e utilizzare informazioni provenienti da diverse modalità in modo coerente e significativo.   Scalatura della larghezza: Combinazione di esperti consapevoli della modalità MoMa propone un approccio per scalare la larghezza che integra un metodo parsimonioso, volto a minimizzare l'uso delle risorse, nel modulo feed-forward, estendendo l'architettura standard del "mixture-of-experts" (MoE).   Nel contesto della formulazione degli esperti consapevoli della modalità (MoMa), gli esperti in ogni strato MoE vengono divisi in gruppi distinti, ognuno specializzato nell'elaborazione di token da una specifica modalità. Esistono gruppi per elaborare i token di testo e altri per quelli di immagine. Questa separazione consente a ciascun gruppo di specializzarsi in funzionalità rilevanti per la sua modalità rispettiva. Ad esempio, gli esperti di testo possono concentrarsi su caratteristiche linguistiche, mentre gli esperti di immagini si focalizzano su elementi visivi.   Implementando la parsimonia a blocchi consapevole della modalità, si mira a ottenere diversi benefici:   - Maggiore efficienza : Instradando i token verso esperti specifici della modalità, si riduce il sovraccarico computazionale dell'elaborazione di token con esperti non specializzati per la loro modalità. Ad esempio, se un token rappresenta un'immagine, viene elaborato solo dagli esperti di immagine, riducendo il carico di lavoro complessivo.   - Specializzazione avanzata : I gruppi di esperti specifici della modalità possono sviluppare funzionalità più raffinate rilevanti per le rispettive modalità. Ciò consente al modello di apprendere rappresentazioni più dettagliate e precise per ciascuna modalità.   - Integrazione Cross-Modale mantenuta : Nonostante la separazione in gruppi specifici per modalità, il modello mantiene la capacità di integrare informazioni tra modalità attraverso i meccanismi di autoattenzione condivisi negli strati non-MoE. Questo assicura che, anche se i token vengono elaborati separatamente, le informazioni possono comunque essere combinate per ottenere una comprensione coerente.   L'approccio di instradamento gerarchico utilizza un meccanismo di instradamento basato sui token, che opera in due fasi per ciascun token di input. In primo luogo, i token vengono instradati al gruppo di esperti specifico per la loro tipologia, che può essere testo o immagine. Successivamente, all'interno di ciascun gruppo di esperti specifico della modalità, i token vengono instradati a esperti specifici utilizzando una funzione di instradamento appresa. Una matrice di proiezione viene utilizzata per calcolare i punteggi di affinità token-esperto, determinando quale esperto è più adatto a elaborare un determinato token.   All'interno di ciascun gruppo di modalità, viene utilizzato un meccanismo chiamato "expert-choice" (EC), che in italiano può essere tradotto come "scelta dell'esperto". Questo metodo è un sistema di instradamento in cui ogni "esperto", ossia una parte del modello addestrato per un compito specifico, gestisce una quantità fissa di dati, chiamata "bucket", e si occupa di elaborare i token più importanti, cioè quelli che hanno un valore più alto, all'interno di un insieme di dati chiamato "batch".   Il meccanismo EC garantisce che gli esperti vengano utilizzati in modo equilibrato durante il processo di addestramento del modello. Questo è importante perché, senza un equilibrio, alcuni esperti potrebbero essere sovraccaricati di lavoro mentre altri potrebbero rimanere inattivi. Con l'EC, non è necessario includere un termine di perdita separato per il bilanciamento del carico. Un "termine di perdita" è una componente di un modello di apprendimento automatico utilizzato per valutare quanto il modello si discosti dai risultati desiderati; qui, serve a garantire che il lavoro sia distribuito equamente tra gli esperti.   Tuttavia, c'è un aspetto negativo nel sistema di routing EC, specialmente quando si tratta di modellare il linguaggio in modo autoregressivo. La modellazione autoregressiva è un approccio che genera testo una parola alla volta, utilizzando ciascuna parola generata come base per generare la successiva. Questo metodo richiede che ogni passo sia basato solo sulle informazioni già conosciute e non su quelle future. Nel routing EC, invece, ogni esperto sceglie i token da elaborare in un batch confrontando i loro punteggi, il che può interferire con la sequenzialità e la causalità necessarie per una corretta modellazione autoregressiva. Ciò accade perché gli esperti valutano i token basandosi su punteggi che possono dipendere da informazioni future, compromettendo la logica di causalità necessaria per mantenere un flusso naturale di linguaggio.   Per comprendere meglio, si può pensare alla modellazione del linguaggio autoregressivo come a scrivere una storia, dove ogni frase è scritta basandosi solo su ciò che è già stato scritto. Invece, il sistema EC somiglia più a una situazione in cui diversi scrittori scelgono le frasi da scrivere basandosi su quanto esse appaiono promettenti nel contesto generale, ma senza rispettare necessariamente l'ordine in cui le frasi devono comparire per avere senso. Questo può portare a incoerenze nel testo generato.   Per risolvere il problema e permettere l'addestramento con il metodo "expert-choice" nei modelli di linguaggio autoregressivi, vengono utilizzate due tecniche specifiche.   La prima tecnica consiste nell'impiego della funzione Sigmoid nella funzione di punteggio del router. La funzione Sigmoid è un tipo di funzione matematica che permette di calcolare in modo indipendente i punteggi di affinità tra i token e gli esperti per ogni singolo token. In pratica, consente di determinare quanto un certo token è adatto ad essere elaborato da un determinato esperto, senza influenzare la selezione degli altri token.   La seconda tecnica prevede l'introduzione di router ausiliari. Questi router hanno il compito di prevedere la probabilità che un esperto selezioni un token basandosi unicamente sulla sua rappresentazione interna, detta anche "rappresentazione di stato nascosto". Questi router ausiliari vengono addestrati una volta completato l'addestramento del modello principale e sono utilizzati durante il processo di inferenza. L'inferenza è il momento in cui un modello addestrato viene utilizzato per fare previsioni su nuovi dati. Grazie a questi router ausiliari, si può garantire che il modello rispetti la causalità necessaria per una corretta modellazione autoregressiva.   In pratica, il modulo MoMa per un token di input si basa sulla combinazione degli output degli esperti specifici per quella modalità. Viene applicata una tecnica chiamata connessione residua, che aiuta a mantenere l'informazione originale pur aggiungendo nuova informazione, e viene utilizzata la normalizzazione del trasformatore Swin. La normalizzazione è un processo che aiuta a migliorare la stabilità e la velocità di addestramento dei modelli.   Gli esperimenti dimostrano che MoMa migliora significativamente l'efficienza e le prestazioni rispetto alle architetture dense e alle architetture MoE standard. Questo approccio consente al modello di affrontare in modo efficace i compiti multimodali, combinando l'elaborazione specializzata e l'integrazione delle informazioni.   Mixture-of-Depths nel modello MoMa L'approccio all'introduzione della scarsità nella dimensione della profondità all'interno di modelli di intelligenza artificiale è un tema di crescente interesse. Studi precedenti hanno esplorato la scarsità in profondità attraverso tecniche come lo "stochastic layer drop", che consiste nell'eliminare casualmente alcuni livelli durante l'addestramento, o mediante "learnable routers", ossia router che possono apprendere quali livelli utilizzare. Il focus si concentra sui "learnable routers" e sull'integrazione della tecnica "mixture-of-depths" (MoD), un metodo che permette al modello di decidere dinamicamente quali strati attivare.   In ogni strato MoD, la tecnica viene applicata prima di qualsiasi routing tramite "mixture-of-experts" (MoE), garantendo che l'intero batch di dati venga processato prima della divisione per modalità. Seguendo l'approccio descritto da Raposo et al. nel 2024, per ciascun strato MoD viene utilizzata una matrice di proiezione per calcolare un punteggio di affinità tra il token e lo strato. Questo punteggio viene poi trasformato attraverso una funzione sigmoidea per ottenere un valore compreso tra zero e uno. La matrice di proiezione è un insieme di pesi che trasforma i dati in ingresso in una rappresentazione che può essere utilizzata per calcolare l'affinità con lo strato.   Similmente al routing basato sulla scelta degli esperti in MoE, viene impostata una capacità fissa di selezione dei token migliori all'interno di un batch. I token selezionati sono quelli con i punteggi più alti, e la capacità di selezione viene definita da un fattore empirico. In pratica, si stabiliscono prima l'intervallo degli strati MoD e il fattore di capacità, quindi si regola il numero totale di strati transformer per garantire che l'architettura risultante abbia una complessità computazionale (misurata in FLOPs per token) comparabile a quella dell'architettura di base.   Durante la fase di inferenza, ovvero quando il modello viene utilizzato per fare previsioni su nuovi dati, non è possibile applicare direttamente il routing basato sulla scelta degli esperti per MoE e la scelta degli strati per MoD, poiché la selezione dei migliori token all'interno di un batch comprometterebbe la causalità. La causalità si riferisce al bisogno di mantenere l'ordine sequenziale dei dati per ottenere risultati accurati. Per affrontare questo problema, viene introdotto un sistema di router ausiliari che predice la probabilità che un token venga selezionato da un esperto o uno strato basandosi esclusivamente sulla sua rappresentazione interna.   Per formalizzare il processo, in ogni strato MoE viene introdotto un router ausiliario che calcola un punteggio di selezione attraverso una funzione non lineare denominata "SiLU" seguita da una sigmoide. Questa funzione di attivazione, "SiLU", è un tipo di funzione che consente al modello di gestire la non linearità dei dati. Le matrici di pesi utilizzate in questo contesto trasformano la rappresentazione del token per determinare la probabilità di selezione.   Un metodo analogo viene applicato agli strati MoD, dove un altro router ausiliario utilizza anch'esso una combinazione di SiLU e sigmoide per calcolare le probabilità di selezione.   Il processo di allenamento si svolge in due fasi. Nella prima fase, il modello principale viene addestrato fino a convergenza, cioè fino a quando non migliora ulteriormente. Successivamente, nella seconda fase, i router ausiliari vengono addestrati separatamente usando una funzione di perdita basata sulla "binary cross-entropy", che misura l'errore tra le previsioni del modello e i dati effettivi. Questa funzione di perdita guida l'ottimizzazione del modello affinché le previsioni siano più vicine ai valori reali. Durante l'inferenza, i router principali vengono utilizzati solo per generare i valori dei pesi, mentre i token vengono instradati selettivamente a un esperto o a un livello basandosi sul superamento di una soglia prefissata dai router ausiliari. Se il punteggio del router ausiliario supera 0.5, il token viene instradato all'esperto o allo strato pertinente. Questo approccio assicura che la selezione dei token avvenga in modo efficiente e mantenendo la causalità.   Per comprendere il meccanismo illustrato, possiamo immaginarlo come un grande supermercato in cui dobbiamo fare la spesa per una famiglia. Ogni corsia del supermercato rappresenta uno strato di un modello di intelligenza artificiale. Poiché il supermercato è vasto, sarebbe inefficiente percorrere ogni corsia per ogni articolo della lista della spesa, dato che non tutte le corsie sono sempre necessarie.   La "scarsità nella dimensione della profondità" nel contesto dei modelli di intelligenza artificiale è simile all'ottimizzazione del percorso attraverso il supermercato. Solo le corsie rilevanti per i prodotti specifici nella lista della spesa vengono visitate, evitando quelle che non contengono nulla di utile. I "learnable routers" funzionano come un GPS interno che, nel tempo, apprende quali corsie percorrere per ottenere gli articoli necessari nel modo più efficiente possibile.   La tecnica del "mixture-of-depths" (MoD) funziona come un sistema intelligente che decide dinamicamente quali corsie percorrere in base agli articoli nella lista. Prima di scegliere un prodotto specifico, il sistema esamina l'intera lista della spesa, assicurandosi che il piano di acquisto sia ottimale.   Quando entri nel supermercato con la tua lista di articoli (equivalente a un batch di dati), il sistema MoD decide quali corsie visitare, proprio come un acquirente esperto che pianifica il percorso migliore per coprire l'intero negozio senza perdite di tempo. La matrice di proiezione funge da indicatore di affinità, valutando quanto un certo prodotto sia adatto alla corsia scelta, e il punteggio ottenuto viene trasformato in un semaforo verde o rosso che indica se la corsia deve essere visitata.   Durante l'inferenza, che nel nostro caso è l'atto di fare effettivamente la spesa per la famiglia, non è pratico fermarsi a considerare ogni corsia con attenzione come durante la pianificazione iniziale. Invece, vengono utilizzati router ausiliari, che sono come assistenti virtuali che conoscono il layout del negozio e possono prevedere quali corsie sono più probabili per contenere i prodotti desiderati, solo in base alla conoscenza degli articoli sulla lista.   Il processo di ottimizzazione si svolge in due fasi: nella prima, viene addestrato il modello principale, paragonabile all'apprendimento della disposizione degli articoli in un supermercato per pianificare la spesa in modo efficiente. Successivamente, i router ausiliari vengono addestrati con dati reali per migliorare la loro capacità di prevedere quali corsie visitare. Alla fine, durante la spesa vera e propria, i router principali stabiliscono le priorità dei prodotti, mentre i router ausiliari determinano rapidamente quali corsie attraversare, assicurando che l'intero processo di acquisto sia il più efficiente possibile, risparmiando tempo e mantenendo l'ordine nella lista della spesa.   In questo modo, la spesa viene completata nel modo più efficiente possibile, soddisfacendo tutte le esigenze della famiglia senza dover esplorare l'intero supermercato, proprio come un modello di intelligenza artificiale che opera con la massima efficienza selezionando solo gli strati rilevanti per un dato compito.   Upcycling nel modello MoMa e ottimizzazione delle architetture MoE L'addestramento di architetture MoE che includono router apprendibili fin dall'inizio presenta delle sfide particolari. Queste riguardano l'ottimizzazione sia dello spazio delle rappresentazioni sia del meccanismo di instradamento, come discusso da Xue et al. nel 2024. Il punto critico è che i router MoE hanno il compito di suddividere lo spazio delle rappresentazioni per ogni esperto, ma questo spazio delle rappresentazioni risulta sub-ottimale nelle prime fasi di addestramento del modello. Di conseguenza, anche la funzione di instradamento viene addestrata in modo non ottimale.   Per risolvere questo problema nell'addestramento dei router, è stata proposta un'innovativa strategia di riutilizzo, detta "upcycling", ispirata dai lavori di Komatsuzaki et al. nel 2023. Questo approccio inizia con l'addestramento di un'architettura che include un singolo esperto FFN (feedforward network, o rete neurale feedforward) per ogni modalità di input. Dopo un certo numero di passi di addestramento, il modello viene trasformato, o "upcycled", convertendo ciascun FFN specifico per modalità in un modulo MoE a scelta di esperto. Ogni esperto viene inizializzato con l'esperto addestrato nella prima fase. Durante questa trasformazione, il pianificatore del tasso di apprendimento viene reimpostato, mentre lo stato del caricatore dei dati (data loader) viene mantenuto dal primo stadio, garantendo che l'addestramento nella seconda fase abbia accesso a dati aggiornati.   Per promuovere la specializzazione degli esperti, la funzione di instradamento MoE è potenziata con l'aggiunta di rumore di Gumbel. Questo tipo di rumore permette al router di campionare gli esperti in modo differenziabile, come illustrato dagli studi di Liu et al. nel 2022b e Geng et al. nel 2020. La formula che descrive questo meccanismo è nota come Gumbel-Sigmoid, che applica una trasformazione sigmoidale ai dati a cui è stato aggiunto il rumore di Gumbel. Il rumore di Gumbel è un tipo di rumore stocastico che viene utilizzato per effettuare selezioni in modo differenziabile all'interno di reti neurali. Questo avviene sommando due campioni indipendenti di rumore Gumbel ai dati originali prima di applicare la funzione sigmoide.   L'approccio di riutilizzo, combinato con la tecnica Gumbel-Sigmoid, permette di superare le limitazioni dei router appresi e di ottenere migliori prestazioni nell'architettura sparsa che tiene conto delle modalità. In pratica, è stato osservato che una breve fase di addestramento iniziale, di circa 10.000-20.000 passi, migliora significativamente l'efficienza e la stabilità dell'allenamento del modello, in linea con i risultati riportati da Xue et al. nel 2024. Questo metodo fornisce una base più robusta su cui costruire il modello completo, migliorando l'accuratezza e la specializzazione degli esperti coinvolti.   Per capire il meccanismo descritto, possiamo immaginare di trovarci in un supermercato e paragonare il processo di upcycling e l'addestramento delle architetture MoE all'organizzazione di un reparto che vende cibi specializzati. Inizialmente, viene aperto un piccolo stand con un solo tipo di prodotto, come la frutta fresca. Questo stand viene gestito per un certo periodo, permettendo al personale di imparare a gestire la frutta in modo efficiente e ottimale. Durante questa fase iniziale, il personale impara a sistemare la frutta sugli scaffali, a tenerla fresca e a servire i clienti. Dopo aver acquisito una buona esperienza, il supermercato decide di espandere il reparto aggiungendo nuovi stand per altri tipi di cibo, come verdura, pane e latticini. Ogni nuovo stand viene gestito da una persona che ha fatto pratica nello stand della frutta, applicando le competenze acquisite per ottimizzare anche la gestione dei nuovi prodotti.   Mentre il supermercato si espande, viene introdotto un nuovo sistema di gestione del personale. Questo sistema aiuta a decidere quale dipendente assegnare a quale stand in base alle loro abilità e competenze, ottimizzando così l'organizzazione. Per fare questo, viene aggiunto un elemento di casualità controllata, come se si usasse un algoritmo che aggiunge un po' di variazione nelle assegnazioni, per garantire che ogni dipendente abbia la possibilità di specializzarsi ulteriormente e che tutti gli stand funzionino al meglio.   In sintesi, il processo inizia con un piccolo stand specializzato, poi si espande trasformando ogni stand in un punto di vendita, e ottimizza la gestione attraverso un sistema che migliora continuamente grazie all'esperienza e a un pizzico di casualità. Questo metodo garantisce che il supermercato funzioni in modo efficiente, con ogni stand che offre prodotti di alta qualità e personale altamente specializzato.    Soluzioni di bilanciamento del carico per MoMa con FSDP Nel contesto dell'ottimizzazione dell'efficienza per l'addestramento distribuito del sistema "mixture of modality-aware experts" (MoMa), viene impiegata una tecnica avanzata chiamata "Fully Sharded Data Parallel" (FSDP). Questa metodologia comporta sfide particolari rispetto ai modelli tradizionali di esperti misti. Di seguito vengono analizzate le principali difficoltà e le strategie adottate per superarle.   Quando si parla di bilanciamento del carico, si affronta il problema del possibile squilibrio che può verificarsi nel sistema a causa della variabilità del rapporto tra token di testo e di immagini attraverso le diverse GPU e le diverse iterazioni. Gli squilibri possono causare effetti a cascata che rallentano il prelievo dei pesi per gli strati successivi e il rilascio dei gradienti dagli strati precedenti. Questo rallentamento vincola la latenza di addestramento al tempo massimo necessario per processare gli esperti di testo e immagine su tutte le GPU in un batch. Per risolvere questo problema, è stato sviluppato un mix di dati bilanciato che allinea il rapporto tra dati di testo e immagine con il rapporto degli esperti su ciascuna GPU, garantendo un bilanciamento del carico in prospettiva. Sebbene siano possibili altri algoritmi di riequilibrio, come la redistribuzione dei token a ogni livello di feedforward, questi potrebbero introdurre un sovraccarico di comunicazione.   Per quanto riguarda l'esecuzione efficiente degli esperti, sono state esplorate diverse strategie. Una di queste limita l'uso di esperti omogenei attraverso le diverse modalità, impedendo il routing dei token di testo agli esperti di immagini e viceversa. Questo metodo consente di processare tutti i token e le modalità contemporaneamente, a condizione che tutti gli esperti abbiano lo stesso numero di token. Un'alternativa è l'uso della "block sparsity", che offre benefici simili al primo approccio senza richiedere un perfetto bilanciamento dei token tra gli esperti. Un'altra considerazione è quella di eseguire gli esperti di diverse modalità in sequenza quando il numero di modalità è limitato. Questo approccio consente una migliore sovrapposizione del calcolo tra gli esperti della modalità precedente e il prelievo dei pesi per quelli della modalità successiva, alleviando la pressione sulla memoria. Inoltre, elimina le ipotesi sul bilanciamento del carico degli esperti. Considerato che negli esperimenti il numero di token per GPU è sufficientemente elevato, l'utilizzo dell'hardware non è un problema rilevante, anche con molteplici moltiplicazioni di matrici in batch. Di conseguenza, l'approccio sequenziale risulta essere una scelta pulita e flessibile nell'ambiente sperimentale attuale.   Oltre a queste strategie, sono state implementate diverse ottimizzazioni per migliorare ulteriormente il throughput. Tra queste ci sono ottimizzazioni generiche come la quantizzazione della comunicazione dei gradienti e la fusione automatica dei kernel GPU, oltre a ottimizzazioni grafiche tramite lo strumento torch.compile. Sono state inoltre sviluppate ottimizzazioni specifiche per MoMa, tra cui il riutilizzo degli indici dei token di modalità tra diversi livelli per minimizzare la sincronizzazione tra CPU e GPU. Tuttavia, questa ultima ottimizzazione non è compatibile con MoD nella sua forma attuale e non è stata utilizzata negli esperimenti finali per garantire un confronto equo tra le variazioni del modello. È possibile modificarla per eliminare la sincronizzazione dei dispositivi con una permutazione, tracciando al contempo i conteggi dei token attivi in ciascun livello di MoD. Inoltre, è stata consolidata la comunicazione delle statistiche per strato, spostando queste operazioni fuori dal percorso critico dell'addestramento.   Modelli Densi, MoE e MoD a confronto nei test di addestramento MoMa Negli esperimenti condotti, si utilizza lo stesso dataset di pre-addestramento e la stessa elaborazione dei dati del team Chameleon nel 2024. Per valutare le prestazioni di scalabilità, tutti i modelli sono addestrati con oltre 1 trilione di token. Salvo diversa indicazione, si impiega una sequenza lunga 4096 token e una dimensione di parallelismo del modello pari a 1. Il regime di addestramento include un tasso di apprendimento massimo di 0,0001, un periodo di riscaldamento di 4000 passi e una riduzione graduale lineare del tasso di apprendimento fino all'1% del suo valore massimo. Per tutte le architetture MoE (Mixture of Experts), il metodo viene implementato in ogni livello, impostando la capacità di addestramento di ciascun esperto per mantenere le operazioni in virgola mobile (FLOPs) per token comparabili al modello denso di base. Nelle architetture MoD (Mixture of Directions), la metodologia viene implementata in livelli alterni, a partire dal livello 0, utilizzando un fattore di capacità di livello del 25%. Per ottenere una parità di FLOPs con il modello denso di base, viene aumentato il numero totale di livelli mantenendo costante la dimensione nascosta.   Per il confronto tra i modelli, vengono riportate le perdite di addestramento. Poiché il budget di addestramento di 1 trilione di token copre meno di un'epoca del vasto dataset di pre-addestramento, la perdita di addestramento viene utilizzata come indicatore delle prestazioni di validazione. L'uso del routing basato sulla scelta dell'esperto nei moduli MoE e MoD introduce una precisazione: il calcolo della perdita di addestramento compromette la causalità, poiché la selezione dei token prende in considerazione la parte superiore di un batch, inclusi i token futuri.   Specifiche degli architetture utilizzate nell'esperimento: 1. Modelli densi :    - 90M: 8 strati, dimensione nascosta del trasformatore di 512, modulo feed-forward con dimensione nascosta di 2048, 8 teste di attenzione.    - 435M: 24 strati, dimensione nascosta di 1024, modulo feed-forward di 4096, 16 teste di attenzione.    - 1.4B: 24 strati, dimensione nascosta di 2048, modulo feed-forward di 8192, 16 teste di attenzione.   2. Modelli MoE (Mixture of Experts) :    - 210M: 8 strati, 1 esperto per strato, capacità dell'esperto 0,125.    - 1.9B: 8 strati, 1 esperto per strato, capacità dell'esperto 0,125.    - 7.1B: 8 strati, 1 esperto per strato, capacità dell'esperto 0,125.   3. Modelli MoD (Mixture of Directions) :    - 110M: 14 strati, dimensione nascosta di 512, modulo feed-forward di 8, capacità del livello 0,25.    - 635M: 40 strati, dimensione nascosta di 1024, modulo feed-forward di 16, capacità del livello 0,25.    - 2.3B: 32 strati, dimensione nascosta di 2304, modulo feed-forward di 18, capacità del livello 0,25.   4. Modelli MoDE (Mixture of Directions and Experts) :    - 317M: Specifiche non dettagliate nel testo.    - 3B: Specifiche non dettagliate nel testo.    - 12B: Specifiche non dettagliate nel testo.     Ottimizzazione del numero di esperti per dati visivi e testuali L'analisi delle prestazioni dei modelli rispetto alla capacità di calcolo si concentra sull'efficienza con cui vari modelli scalano in relazione alla quantità di operazioni di calcolo, espresse in FLOPs (Floating Point Operations), necessarie per l'addestramento. I modelli analizzati sono stati confrontati utilizzando dimensioni diverse in termini di parametri, precisamente 90 milioni, 435 milioni e 1,4 miliardi di parametri. Vengono riportati due indicatori principali: la perdita durante l'addestramento e il fattore di accelerazione pre-addestramento, indicato con la lettera greca "eta", che rappresenta la capacità di un modello sparso di eguagliare la perdita pre-addestramento di un modello denso equivalente utilizzando solo una frazione del calcolo totale.   Un concetto chiave emerso è il "disaccoppiamento della modalità". Introdurre gruppi di esperti specifici per ciascuna modalità di input, come testo o immagini, migliora l'efficienza del pre-addestramento su diverse scale. Questo approccio offre vantaggi significativi, in particolare per la modalità immagine. Per esempio, la configurazione denominata "moe_1t1i", che utilizza un esperto per le immagini e uno per il testo, supera significativamente le prestazioni del modello denso di riferimento. La perdita per le immagini nella configurazione "moe_1t1i" si avvicina a quella del modello MoE (Mixture of Experts) standard, che impiega otto esperti misti per entrambe le modalità. Tuttavia, la perdita per il testo rimane sensibilmente più alta, suggerendo che il disaccoppiamento dei parametri ha un impatto maggiore sulla modalità immagine.   Ingrandire il numero di esperti all'interno di ciascun gruppo di modalità migliora ulteriormente le prestazioni del modello. La configurazione "moe_4t4i", che impiega quattro esperti per il testo e quattro per le immagini, supera costantemente il modello "moe_8x" su diverse scale, mostrando un miglioramento significativo nella riduzione della perdita per le immagini. Tuttavia, questa analisi rivela un leggero peggioramento nella modalità testo, indicando che l'elaborazione del testo attraverso un maggior numero di esperti potrebbe essere vantaggiosa.   Questo indica che la separazione dei parametri per modalità e l'ottimizzazione del numero di esperti per ciascuna categoria di dati possono portare a miglioramenti significativi in termini di efficienza e precisione del modello, soprattutto quando si tratta di elaborare dati visivi. Tuttavia, l'equilibrio tra il numero di esperti per le diverse modalità è cruciale per ottimizzare le prestazioni complessive del modello.   Come l'integrazione di MoD e MoE migliora l'addestramento dei modelli L'adozione combinata di MoE e MoD mostra una convergenza accelerata della perdita durante l'addestramento. L'integrazione di MoD nell'architettura moe_1t1i (trasformata in mod_moe_1t1i) migliora significativamente le prestazioni del modello su diverse dimensioni. Inoltre, mod_moe_1t1i offre prestazioni paragonabili o superiori a moe_4t4i, suggerendo che introdurre la sparsità lungo la dimensione della profondità può migliorare l'efficienza dell'addestramento. Tuttavia, si osservano benefici decrescenti quando MoD e MoE vengono combinati ulteriormente. Aggiungendo MoD all'architettura moe_4t4i si ottiene solo un lieve miglioramento rispetto a mod_moe_1t1i e moe_4t4i. Questo miglioramento è più evidente nella modalità testuale, mentre per le immagini il vantaggio è meno significativo. Questi risultati suggeriscono che le future ricerche potrebbero esplorare la combinazione della scala di larghezza e profondità per potenziare ulteriormente le prestazioni nella modalità testuale. Al contrario, per migliorare le prestazioni nella modalità immagine, sarà necessario esplorare approcci alternativi.   Numero di esperti e prestazioni del modello di apprendimento La ricerca ha approfondito l'effetto del numero di esperti su un modello di apprendimento, studiando due scenari distinti: una distribuzione equilibrata di esperti tra modalità diverse, e una distribuzione squilibrata. Nella prima parte dell'esperimento, chiamata "distribuzione equilibrata degli esperti", il numero di esperti è stato aumentato per ogni modalità, cioè per il testo e per le immagini. È emerso che la perdita di addestramento, ovvero l'errore del modello durante l'apprendimento, migliora costantemente al crescere del numero di esperti. Tuttavia, i miglioramenti seguono schemi diversi: per il testo, la perdita diminuisce progressivamente con il raddoppio del numero di esperti, mentre per le immagini si osservano benefici decrescenti quando il numero di esperti aumenta da 2 a 4. Questo fenomeno indica che le caratteristiche intrinseche di ciascuna modalità influenzano diversamente il comportamento del modello. Ciò suggerisce che la modalità testo possa trarre maggior vantaggio da un numero più elevato di esperti.   Nella seconda parte dell'esperimento, definita "distribuzione squilibrata degli esperti", si è deciso di assegnare meno esperti alla modalità immagine, vista la riduzione dei benefici oltre i due esperti, e più alla modalità testo. Sono state confrontate tre configurazioni con lo stesso numero totale di esperti (8) ma con diverse allocazioni tra le modalità: 7 esperti per il testo e 1 per le immagini (moe_7t1i), 6 per il testo e 2 per le immagini (moe_6t2i), e 4 per ciascuna modalità (moe_4t4i). In generale, si è notato che l'assegnazione di un numero maggiore di esperti a una modalità ne migliora le prestazioni, ma oltre i 4 esperti per il testo, i miglioramenti tendono a diminuire. Le perdite totali delle tre configurazioni tendono a convergere verso livelli simili, ma, considerando un migliore bilanciamento del carico con la distribuzione equilibrata e il mix di dati di pre-addestramento, è stata scelta la configurazione moe_4t4i come ottimale, nonostante moe_6t2i avesse una perdita media leggermente inferiore. La progettazione di architetture sparse che possano sfruttare efficacemente le caratteristiche intrinseche delle diverse modalità è lasciata a future ricerche.   Il concetto di "upcycling" è stato ulteriormente investigato, considerando un modello denominato MoD con 2.3 miliardi di parametri. In particolare, è stato confrontato l'andamento dell'addestramento del modello mod_moe_4t4i quando addestrato da zero rispetto a quando viene inizializzato da un checkpoint mod_moe_1t1i, che rappresenta uno stato salvato del modello a un certo punto dell'addestramento. Per garantire un confronto equo, il caricatore di dati e i passi di addestramento sono stati regolati per considerare i passi già completati da mod_moe_1t1i, mantenendo equivalenti le operazioni di calcolo (FLOPs). Sono stati esaminati casi di inizializzazione del modello da 10k e 20k passi. Le curve di addestramento per i modelli "upcycled" sono state regolate per tener conto del costo computazionale della fase iniziale. Gli esperimenti hanno utilizzato due punti di partenza: mod_moe_1t1i addestrato per 10k e 20k passi, rispettivamente. I risultati mostrano che l'upcycling migliora ulteriormente l'addestramento del modello, fornendo un guadagno di 1,2 volte con 10k passi nella prima fase e di 1,16 volte con 20k passi. Durante l'addestramento, si nota che il divario di prestazioni tra i modelli upcycled e quelli addestrati da zero si amplia.   Il periodo ottimale per l'upcycling sembra essere quello in cui si ottiene un equilibrio tra l'allenamento insufficiente e quello eccessivo del modello di partenza. In particolare, 10k passi offrono un'accelerazione del 20% rispetto al modello base, mentre 20k passi ne forniscono una del 16%, suggerendo che potrebbe esserci un punto ottimale di upcycling. Se il modello iniziale è sottoposto a un allenamento eccessivo, si possono ostacolare le capacità di specializzazione futura. Pertanto, si consiglia di iniziare l'upcycling da 10k passi, anche se l'ottimo potrebbe cambiare quando l'addestramento si estende oltre un trilione di token, lasciando ulteriori esplorazioni di upcycling approfondito del modello a ricerche future.   Confronto delle architetture MoMa MoE e MoD in termini di throughput e prestazioni L'analisi delle prestazioni dei modelli sparse è complessa a causa della loro dinamicità e dei problemi di bilanciamento dei dati che ne derivano. Per valutare l'impatto delle proposte sull'efficienza dell'addestramento, è stato condotto un esperimento controllato che ha confrontato il throughput di addestramento di diverse architetture, tra cui MoMa, MoE e MoD. Queste architetture sono state confrontate con un modello denso standard di riferimento con 435 milioni di parametri, e l'esperimento è stato eseguito su 256 GPU A100 con una lunghezza di sequenza di 4096 e un batch size di 6 per GPU. I risultati ottenuti sono stati riassunti in termini di throughput del modello, misurato come parole per secondo (WPS).   I risultati delle misurazioni hanno mostrato che il modello denso ha un throughput di 31.970 WPS. In confronto, il modello MoMa 8X ha registrato una riduzione del 9% nel throughput, mentre MoMa 1t1i ha mostrato una diminuzione del 6%. Il modello MoMa 4t4i ha avuto una diminuzione del 17%, e le varianti MoD MoMa hanno mostrato diminuzioni ancora più significative, con un calo del 21% per MoD MoMa 1t1i e del 31% per MoD MoMa 4t4i. Questi risultati indicano che, sebbene la sparsità condizionata alla modalità offra un buon compromesso tra qualità e throughput rispetto al modello denso, le varianti MoD comportano generalmente maggiori sovraccarichi dovuti alla loro maggiore complessità e al disallineamento nei dati.   Confrontando i modelli MoE a scelta esperta (come moe_8x) con i modelli densi, si nota che l'introduzione della sparsità comporta un sovraccarico del 9%. Questa perdita di throughput è dovuta probabilmente alla necessità di calcolare le decisioni di instradamento e di sincronizzare i gradienti per tutti gli esperti, nonostante la loro equivalenza in termini di FLOPs. Tuttavia, eseguendo gli esperti in sequenza per modalità, come nel caso di moe_1t1i, non si verificano grandi sovraccarichi di esecuzione, e la maggior parte della perdita di throughput (6%) può essere attribuita al calcolo degli indici dei token per ciascuna modalità, un'operazione che può essere ottimizzata pre-calcolando gli indici e condividendoli tra i diversi livelli del trasformatore.   Combinando l'approccio feed-forward condizionato alla modalità con un routing appreso (come nel caso di moe_4t4i), si osserva un degrado graduale del throughput all'aumentare del numero di esperti, con un ulteriore sovraccarico dell'11% con 8 esperti, un valore comparabile alla perdita di throughput del 9% osservata nel passaggio dal modello denso al modello MoE con 8 esperti.   Nonostante le migliori prestazioni di training loss ottenute con la combinazione di MoD e MoE, l'introduzione di MoD comporta una perdita di throughput stimata al 15%. Questo è dovuto al fatto che le architetture MoD richiedono un router aggiuntivo nella dimensione della profondità, il che introduce complessità e potenziali colli di bottiglia. Inoltre, quando MoD è combinato con MoMa, si può esacerbare il disallineamento del sistema a causa della variazione dei token attivi per ogni modalità a ciascun livello, che devia dal rapporto di mix dei token predefinito nel dataset. Per mitigare questo problema, si può forzare i router MoD ad accettare i token basandosi sul rapporto di mix predefinito dei token. Tuttavia, l'impatto sulla qualità del modello richiede ulteriori indagini.   Le prestazioni durante il tempo di inferenza sono state valutate su modelli di dimensioni differenti (1,4 miliardi di parametri per i modelli densi, MoMa 1t1i, MoE 8x e MoMa 4t4i, e 2,3 miliardi per il modello MoD MoMa 4t4i) utilizzando dati di modellazione del linguaggio e task a valle. La valutazione includeva la misurazione della perplexity (una metrica che indica quanto un modello prevede correttamente il testo; valori inferiori indicano migliori prestazioni) su sottoinsiemi del dataset OBELICS e su task di ragionamento di senso comune. Sono stati selezionati anche dataset per task di visione-linguaggio, riportando la perplexity del testo di riferimento per il confronto tra modelli, utilizzando un approccio di zero-shot learning, che permette di valutare il modello su task non visti durante l'addestramento.   I task di ragionamento di senso comune, che includono dataset come PIQA, SIQA, HellaSwag, WinoGrande, ARC-Easy, ARC-Challenge, OpenBookQA e BoolQ, sono stati utilizzati per misurare la capacità dei modelli di risolvere problemi basati sul buon senso. Per il compito di captioning delle immagini, sono stati utilizzati i test split di MS-COCO e Flickr30k, valutando la perplexity condizionale testo-immagine e immagine-testo. Per la risposta a domande visuali, è stata valutata la perplexity delle risposte corrette sul test-dev split di VQA-v2.   Nei task di modellazione dei dati interleaved, le prestazioni relative del modello denso e delle diverse configurazioni MoE sono coerenti con le tendenze osservate nella perdita di pre-addestramento. Il modello 1,4 miliardi MoMa 1t1i, con un esperto di immagine aggiuntivo, ha superato significativamente il modello denso di riferimento nella maggior parte delle metriche, eccetto nella perplexity condizionale immagine-testo su COCO e Flickr. Aggiungere l'esperto di immagine ha portato a guadagni sostanziali nelle prestazioni sulla modalità immagine. Incrementare ulteriormente il numero di esperti ha migliorato le prestazioni, con il modello 1,4 miliardi MoE 8x che ha ottenuto le migliori prestazioni nel task immagine-testo. Inoltre, il modello eccelle nei task testo-testo. Il modello 1,4 miliardi MoMa 4t4i ha ottenuto le migliori prestazioni in tutte le metriche di perplexity immagine condizionale, con la perplexity del testo che si avvicina a quella del modello 1,4 miliardi MoE 8x nella maggior parte dei benchmark. Complessivamente, il modello 1,4 miliardi MoMa 4t4i ha ottenuto i migliori risultati nella modellazione dei dati interleaved.   Tuttavia, le prestazioni del modello 2,3 miliardi MoD MoMa 4t4i hanno mostrato una regressione significativa rispetto al modello 1,4 miliardi MoMa 4t4i, nonostante una migliore perdita di pre-addestramento. L'analisi ha identificato la performance del router ausiliario come la causa principale. Un modello più piccolo, il 635 milioni MoD MoMa 4t4i, è stato utilizzato nell'analisi. Inizialmente, è stato validato che l'uso del router di training e la selezione dei token top kd all'interno di un batch per l'inferenza consentono al modello 635 milioni MoD MoMa 4t4i di superare il modello 435 milioni MoMa 4t4i. Tuttavia, introducendo rumore casuale nella selezione del router di training con un rapporto di rumore σ, il modello 635 milioni MoD MoMa 4t4i inizia a sottoperformare rispetto al modello 435 milioni MoMa 4t4i quando σ supera lo 0,5%. Raggiungere un tasso di errore al di sotto di questa soglia è impraticabile per l'addestramento del router ausiliario. Pertanto, è necessaria ulteriore ricerca per sviluppare un approccio robusto per applicazioni pratiche di MoD.   Al contrario, i modelli MoE non mostrano una regressione simile durante l'inferenza, suggerendo che sono meno sensibili agli errori del router. Questo è probabilmente dovuto all'architettura multi-esperto del modello MoE, che permette ai token mal instradati di essere processati da altri esperti, preservandone le informazioni. Invece, nel modello MoD, l'unico switch di selezione per layer implica che gli errori di instradamento non possono essere corretti, portando a una maggiore degradazione delle prestazioni.   Chameleon-MoMa di Meta, limitazioni e futuri sviluppi L'implementazione attuale del sistema MoMa di Meta si basa sulla corrispondenza tra la proporzione di token nel dataset e la proporzione di esperti nel modello per mantenere un equilibrio nel carico di lavoro tra le GPU. Tuttavia, può ancora verificarsi un lieve squilibrio poiché non esiste un limite rigido per quanto un lotto possa discostarsi da tale rapporto a livello di iterazione per ogni GPU. Miglioramenti in quest'area sono previsti per il futuro.   Il routing tramite scelta esperta aiuta a risolvere il problema dell'equilibrio del carico tra esperti durante l'addestramento, ma presenta sfide aggiuntive per i modelli linguistici auto-regressivi durante l'inferenza, come indicato da Zhou et al. nel 2022. Sebbene i router ausiliari rappresentino solo una piccola parte dei parametri della rete, il loro ruolo è cruciale. Nello studio condotto, il router ausiliario è stato addestrato dopo il completamento dell'addestramento dell'intera rete e il processo è stato limitato a poche migliaia di passi. Studi precedenti, come quello di Raposo et al. nel 2024, hanno dimostrato la possibilità di addestrare congiuntamente tali moduli con l'intera rete. La ricerca futura dovrebbe esplorare l'architettura e le tecniche di addestramento per i router ausiliari per evitare che diventino un collo di bottiglia nelle prestazioni e garantire la generalizzabilità su diverse distribuzioni di dati. In particolare, è necessaria un'ulteriore indagine sull'addestramento delle architetture con una combinazione di profondità, che includono sia i router ausiliari sia il modello originale, per garantire prestazioni efficaci negli scenari di inferenza causale.   Nel lavoro condotto, è stata sperimentata solo la formulazione standard di MoD e la sua integrazione progressiva con MoE. Si lascia l'indagine di altre variazioni di MoD, inclusa la modalità consapevole, a futuri studi. Inoltre, la generazione di sequenze in batch con MoD è complessa, poiché, a differenza della generazione standard di sequenze, ci sono forme dinamiche e aggiornamenti dinamici della cache di chiavi-valori (KV) per ogni strato, dato che alcune sequenze e strati possono saltare token diversi. Rimane spazio per ottimizzare le implementazioni di inferenza per i modelli MoD.   In questo lavoro, sono state introdotte una serie di architetture sparse consapevoli della modalità per modelli di base a fusione precoce e a modalità mista. L'approccio sfrutta la specificità del dominio preservando la condivisione della conoscenza e l'interazione delle caratteristiche tra le modalità. Sono state sviluppate architetture di modelli altamente efficienti ed efficaci incorporando la sparsità sia nella dimensione della larghezza (tramite esperti misti consapevoli della modalità) sia nella dimensione della profondità (tramite combinazioni di profondità).   La migliore architettura, chiamata Chameleon-MoMa, ha dimostrato miglioramenti significativi rispetto ai modelli di riferimento più avanzati. In esperimenti controllati per complessità, è stata ridotta la quantità totale di operazioni in virgola mobile (FLOPs) fino a 3.7 volte. I risultati sperimentali hanno rivelato che le architetture sparse consapevoli della modalità mantengono una legge di scalabilità empirica. Questa caratteristica suggerisce che l'approccio offre benefici immediati alle prestazioni e un quadro scalabile per futuri sviluppi nella formazione di modelli di base a modalità mista.   Il potenziale promettente di Chameleon-MoMa apre diverse direzioni di ricerca per il futuro. Queste includono l'esplorazione di meccanismi di routing più sofisticati, l'analisi dell'impatto di diversi schemi di sparsità tra le modalità e l'estensione dell'approccio a una gamma più ampia di modalità e compiti.   Conclusione Il progresso realizzato da Meta con il modello MoMa rappresenta un'innovazione significativa nel campo dei modelli linguistici multimodali, proponendo un approccio di pre-addestramento efficiente e integrato che combina esperti consapevoli della modalità. Questa architettura non solo migliora l'efficienza computazionale, ma introduce nuove dinamiche nella gestione e nell'elaborazione simultanea di dati testuali e visivi.   Un punto cruciale di MoMa è l'ottimizzazione dell'uso delle risorse computazionali. L'architettura "sparse modality-aware" consente ai modelli di concentrarsi su parti specifiche dell'informazione, riducendo la quantità complessiva di calcoli necessari. Questo approccio mira a gestire la densità e la ridondanza diverse dei token di testo e immagine, utilizzando esperti specializzati per ogni modalità. In questo modo, si garantisce che ogni tipo di dato venga trattato con la precisione e l'efficienza necessarie, mantenendo un'alta qualità nella fusione delle informazioni.   L'adozione di tecniche come la "mixture-of-experts" (MoE) e la "mixture-of-depths" (MoD) permette di ridurre ulteriormente il carico computazionale senza sacrificare le prestazioni del modello. L'implementazione di router ausiliari, che prevedono la probabilità di selezione degli esperti, garantisce che l'instradamento dei token mantenga la causalità necessaria per una corretta modellazione autoregressiva. Questo equilibrio tra specializzazione degli esperti e integrazione delle modalità rappresenta un avanzamento strategico nel design dei modelli multimodali.   Un aspetto interessante è la strategia di "upcycling", che consente di migliorare un modello già esistente senza aggiungere nuovi dati, ma ottimizzando l'uso delle risorse disponibili. Questo metodo si dimostra particolarmente efficace per mantenere le prestazioni del modello riducendo al contempo il carico computazionale. L'upcycling permette di iniziare con una base solida e incrementare gradualmente la complessità del modello, migliorando la sua efficienza e stabilità.   L'efficacia di MoMa è stata dimostrata attraverso esperimenti controllati, che hanno rivelato una riduzione significativa delle operazioni necessarie e un miglioramento delle prestazioni di pre-addestramento. Tuttavia, permangono sfide legate alla complessità della progettazione e all'ottimizzazione delle risorse, soprattutto quando si considera l'espansione del modello a scala più ampia.   In termini strategici, l'approccio di MoMa offre un modello scalabile che può essere applicato a una vasta gamma di compiti e modalità, aprendo nuove opportunità per le imprese che desiderano sfruttare l'intelligenza artificiale multimodale. La capacità di integrare efficacemente dati testuali e visivi consente di creare soluzioni più versatili e potenti, in grado di gestire informazioni complesse provenienti da diverse fonti.   In futuro, sarà interessante vedere come le tecniche di sparsità e l'integrazione di esperti consapevoli della modalità potranno evolversi ulteriormente, magari esplorando meccanismi di routing più sofisticati o estendendo l'approccio a una gamma ancora più ampia di modalità e applicazioni. L'evoluzione di queste architetture potrebbe modificare il modo in cui le imprese utilizzano l'intelligenza artificiale generativa per comprendere e interagire con il mercato, promuovendo un uso più efficiente delle risorse e migliorando la qualità dei risultati ottenuti.

I modelli di intelligenza artificiale (AI) sono sempre più integrati in vari settori, dalla sanità all'intrattenimento, rendendo essenziale comprendere il loro funzionamento interno per garantire sicurezza e ridurre i bias. Al MIT CSAIL, un team di ricercatori, tra cui Tamar Rott Shaham e Sarah Schwettmann, ha sviluppato MAIA (Multimodal Automated Interpretability Agent) , un sistema che automatizza l'interpretazione dei modelli di visione artificiale. MAIA analizza le reti neurali artificiali in modo simile allo studio del cervello umano, ma senza la necessità di interventi diretti o procedure che possano alterare il sistema stesso. Utilizzando un modello di linguaggio visivo e una libreria di strumenti di interpretazione, MAIA è in grado di generare ipotesi e progettare esperimenti per verificarle, migliorando continuamente le sue metodologie. Il sistema identifica e descrive i concetti che attivano i neuroni, migliora la robustezza dei classificatori di immagini eliminando elementi non pertinenti e scopre pregiudizi nascosti, ossia eventuali tendenze discriminatorie nei dati. Questo approccio facilita la comprensione delle sfide inerenti ai modelli di AI, fornendo spiegazioni dettagliate che possono essere confrontate con quelle umane, permettendo così di rendere i sistemi di intelligenza artificiale più sicuri, affidabili e privi di distorsioni prima della loro applicazione pratica. La comprensione di un modello neurale digitale può manifestarsi in diverse modalità. Un esempio di applicazione di un modello neurale è un classificatore di immagini, un programma che riconosce e categorizza automaticamente le immagini. In questo contesto, può essere importante capire in che modo e in quale misura il modello fa affidamento su caratteristiche sensibili come la razza o il genere, oltre a individuare eventuali errori sistematici nelle sue previsioni. Un'altra necessità è capire come modificare i dati di addestramento e l'architettura del modello per ottenere una maggiore precisione e robustezza. Attualmente, per raggiungere questi obiettivi, è necessario un considerevole impegno da parte dei ricercatori. Questo processo include analisi esplorative dei dati, la formulazione di ipotesi e la realizzazione di esperimenti controllati. Queste attività richiedono tempo e risorse significative, rendendo l'approfondimento della comprensione dei modelli un percorso lento e costoso.   Negli ultimi tempi, la ricerca sull'interpretabilità automatizzata ha iniziato a superare alcune di queste limitazioni attraverso l'uso di modelli appresi che aiutano nella comprensione del funzionamento dei modelli. Un modello appreso è un sistema che, attraverso l'analisi di grandi quantità di dati, impara a eseguire compiti specifici senza essere programmato esplicitamente per ogni singolo compito. Un esempio è l'assegnazione di descrizioni in linguaggio naturale alle rappresentazioni apprese dal modello. Queste descrizioni possono essere utilizzate per mettere in evidenza caratteristiche di interesse all'interno del modello, facilitando così la comprensione del suo comportamento. Tuttavia, i metodi attuali sono prevalentemente utili come strumenti per la generazione di ipotesi. Ciò significa che essi descrivono il comportamento del modello solo su un insieme limitato di input e spesso lo fanno con un grado di precisione non elevato.    La questione che si pone è come sviluppare strumenti che aiutino gli utenti a comprendere i modelli combinando la flessibilità della sperimentazione umana con la scalabilità delle tecniche automatizzate. La sperimentazione umana permette di adattare e modificare il modello basandosi su osservazioni e intuizioni specifiche, mentre le tecniche automatizzate consentono di elaborare grandi quantità di dati rapidamente e con meno risorse. Un esempio pratico di questa combinazione è l'uso di sistemi di apprendimento automatico che generano spiegazioni in linguaggio naturale per i risultati ottenuti, aiutando a comprendere meglio il comportamento del modello.   Il prototipo MAIA, acronimo di Multimodal Automated Interpretability Agent, integra un modello pre-addestrato in grado di comprendere sia immagini che testo con un'API (Interfaccia di Programmazione delle Applicazioni) dotata di strumenti specificamente progettati per condurre esperimenti su reti neurali profonde. Questi strumenti sono utilizzati per analizzare il comportamento di modelli complessi di intelligenza artificiale e fornire spiegazioni dettagliate delle loro operazioni. Ad esempio, MAIA può essere utilizzato per spiegare il comportamento di un'unità specifica all'interno di un modello come CLIP, un sistema che elabora e comprende immagini e testo, oppure per identificare in quali situazioni un modello di riconoscimento di immagini fallisce nel classificare correttamente una determinata razza di cane, come i labrador. Per rispondere a queste domande, MAIA progetta esperimenti di interpretabilità utilizzando moduli sperimentali, ovvero componenti flessibili che possono essere combinati in vari modi. Questo design modulare permette a MAIA di valutare in maniera versatile sistemi diversi e integrare facilmente nuovi strumenti sperimentali.   L'API di MAIA offre una serie di strumenti, tra cui moduli in grado di generare e modificare nuove immagini di test. Queste funzionalità permettono di verificare direttamente le ipotesi formulate durante il processo di interpretazione dei modelli.   MAIA è uno strumento di valutazione innovativo nel campo dell'intelligenza artificiale, progettato per migliorare la comprensione del funzionamento dei componenti dei sistemi di visione artificiale. Alla base di MAIA c'è il "paradigma della descrizione del neurone", un metodo che descrive il comportamento di un singolo neurone all'interno di una rete neurale. In questo contesto, un neurone è un'unità di calcolo che emula le funzioni di un neurone biologico, elaborando informazioni in modelli di intelligenza artificiale.   Questo approccio, proposto in numerosi studi, rappresenta un componente essenziale in molte procedure volte a rendere più comprensibile il funzionamento dei modelli di AI. Tali procedure si concentrano nel chiarire le motivazioni che guidano le decisioni dei modelli di intelligenza artificiale, offrendo trasparenza e comprensibilità agli utenti.   MAIA arricchisce questo campo introducendo un nuovo set di dati costituito da neuroni sintetici di visione, creati tramite un rilevatore di concetti a set aperto. Nel contesto dell'intelligenza artificiale, un concetto può essere definito come una rappresentazione astratta di un oggetto, idea o caratteristica, che un sistema di AI è in grado di riconoscere e classificare. Per esempio, un concetto potrebbe essere la forma di un animale, il colore di un oggetto o un'emozione espressa in un volto umano. Un rilevatore di concetti è uno strumento che identifica e classifica automaticamente questi concetti, mentre l'espressione "set aperto" si riferisce alla capacità di lavorare con categorie non predefinite, consentendo al sistema di identificare nuovi concetti in modo dinamico.   Un aspetto distintivo di MAIA è l'uso di una guida testuale che spiega come i neuroni sintetici devono comportarsi. In parole semplici, questa guida fornisce delle istruzioni scritte su come i neuroni dovrebbero reagire a diversi stimoli o input. È come avere un manuale che dice al sistema cosa aspettarsi e come rispondere in determinate situazioni. Questo permette di avere un maggiore controllo e precisione su come il sistema opera, assicurandosi che i neuroni agiscano in modo prevedibile e coerente.   Le descrizioni fornite da MAIA per i neuroni risultano più predittive, ovvero più capaci di anticipare correttamente il comportamento del modello rispetto ai metodi descrittivi tradizionali. In alcuni casi, le descrizioni generate da MAIA sono comparabili alle etichette assegnate da esperti umani, che rappresentano il massimo livello di qualità nelle valutazioni.   Una serie di esperimenti ha dimostrato che l'approccio sperimentale iterativo di MAIA può essere applicato efficacemente a compiti di verifica e modifica dei modelli. Tra questi compiti vi sono la rimozione di caratteristiche spurie, ossia elementi non rilevanti o fuorvianti che il modello utilizza per prendere decisioni, e l'identificazione di bias, ovvero pregiudizi o distorsioni che possono influenzare negativamente le prestazioni di un modello.   Il framework MAIA è dotato di una struttura adattabile, che lo rende idoneo a essere utilizzato in contesti sperimentali diversi. Le applicazioni pratiche vengono definite dall'utente tramite un prompt, ovvero un comando o una richiesta data all'agente, il quale utilizza poi l'API per comporre ed eseguire esperimenti specifici. Sebbene queste applicazioni dimostrino il potenziale di MAIA nel migliorare i processi di interpretabilità, è importante notare che l'intervento umano è ancora necessario per evitare errori. Tra questi errori vi sono il bias di conferma, che è la tendenza a interpretare le nuove informazioni in modo da confermare convinzioni preesistenti, e il rischio di trarre conclusioni affrettate da campioni di dati di dimensioni ridotte. Per automatizzare completamente il processo di interpretazione dei sistemi complessi, sarà necessario non solo sviluppare strumenti più avanzati, ma anche creare agenti con capacità di ragionamento più sofisticate, in grado di determinare come utilizzare questi strumenti in modo efficace.   Come l'analisi delle reti neurali profonde rivela caratteristiche interpretabili L'analisi delle reti neurali profonde ha rivelato che i singoli neuroni possono mostrare caratteristiche interpretabili dagli esseri umani. Anche se le reti profonde sono estremamente complesse, costituite da migliaia o milioni di connessioni, è possibile individuare elementi specifici del loro comportamento che possono essere compresi. Questo è un risultato significativo, poiché consente di comprendere meglio come funzionano queste reti e di identificare le funzioni dei singoli neuroni al loro interno.   Diversi metodi sono stati sviluppati per descrivere e interpretare le funzioni dei neuroni nelle reti neurali profonde. Un approccio comune è quello di visualizzare le caratteristiche che un neurone specifico è in grado di riconoscere o attivare. Queste tecniche di visualizzazione permettono di vedere quali schemi o elementi visivi attivano un neurone, ossia stimolano la sua attività. Questo non solo facilita la comprensione del comportamento dei neuroni, ma consente anche di migliorare l'interpretabilità delle reti neurali, rendendole più accessibili e trasparenti agli esseri umani.   Numerosi studi hanno utilizzato queste tecniche di visualizzazione per esplorare il funzionamento dei neuroni nelle reti neurali. Zeiler e Fergus (2014), ad esempio, hanno sviluppato metodi per visualizzare le caratteristiche attivate dai neuroni nelle reti convoluzionali, permettendo di capire quali aspetti delle immagini venissero riconosciuti a diversi livelli della rete. Girshick et al. (2014) hanno approfondito l'interpretazione delle reti neurali applicate alla visione artificiale, evidenziando come i neuroni possano essere allenati a riconoscere oggetti specifici in un'immagine.   Karpathy et al. (2015) hanno contribuito ulteriormente alla comprensione delle reti neurali analizzando il modo in cui i neuroni rispondono a sequenze di dati, come il testo scritto, illustrando come la rete riesca a identificare strutture sintattiche e semantiche. Mahendran e Vedaldi (2015) hanno introdotto tecniche per invertire le reti neurali, permettendo di ricostruire le immagini originali a partire dalle attivazioni neuronali, offrendo un ulteriore strumento per comprendere le funzionalità interne delle reti.   Infine, Olah et al. (2017) hanno realizzato studi che hanno portato alla creazione di strumenti avanzati per la visualizzazione delle reti neurali, aiutando a identificare i pattern complessi che vengono riconosciuti dai neuroni. Queste ricerche non solo hanno migliorato la comprensione delle reti neurali profonde, ma hanno anche aperto nuove possibilità per sviluppare sistemi di intelligenza artificiale più intelligibili e controllabili.   L'insieme di queste ricerche dimostra come sia possibile, attraverso tecniche di visualizzazione e interpretazione, rendere più comprensibili le reti neurali profonde, trasformando la complessità in qualcosa di più accessibile e trasparente.   Parallelamente, esistono metodi che si concentrano sulla categorizzazione automatica degli input che attivano un neurone in modo ottimale, partendo da ampi dataset reali. Queste tecniche, descritte nei lavori di Bau et al. (2017, 2020), Oikarinen e Weng (2022), e Dalvi et al. (2019), analizzano gli input per scoprire quali elementi o immagini generano la massima attivazione in specifici neuroni. In questo modo, si possono mappare le attivazioni neurali rispetto a concetti o categorie riconoscibili, creando una sorta di dizionario che associa input visivi a risposte neurali specifiche.   Negli approcci iniziali, si cercava di tradurre queste risposte visive in descrizioni linguistiche utilizzando etichette predefinite. Questo significa che le caratteristiche individuate dai neuroni venivano descritte usando un vocabolario fisso, come evidenziato da Bau et al. nel 2017. Un'evoluzione di questi metodi è rappresentata dalla generazione di descrizioni attraverso programmi più complessi e articolati. Lavori successivi, come quello di Mu e Andreas (2021), hanno infatti sviluppato tecniche che producono descrizioni sotto forma di programmi, offrendo un quadro più dinamico e dettagliato delle capacità interpretative dei neuroni all'interno delle reti profonde.   Queste ricerche forniscono un'importante visione sul funzionamento delle reti neurali profonde, rendendo più chiaro e comprensibile il modo in cui queste elaborano e interpretano dati complessi. Comprendere le caratteristiche selezionate dai neuroni e il loro comportamento di attivazione non solo ci consente di migliorare le reti esistenti, ma anche di sviluppare modelli più affidabili e interpretabili in diversi ambiti applicativi.   Interpretabilità automatizzata L'interpretabilità automatizzata è un settore in continua crescita che si propone di rendere più trasparenti e comprensibili i modelli di apprendimento automatico. Questo obiettivo viene perseguito attraverso l'uso di descrizioni in linguaggio naturale, che spiegano le caratteristiche apprese dai modelli. Esistono due approcci principali per ottenere queste descrizioni: uno si basa su etichettatori umani, mentre l'altro si affida a descrizioni generate dai modelli stessi. Il lavoro di Schwettmann et al. (2021) ha evidenziato l'importanza del contributo degli etichettatori umani nel fornire descrizioni chiare e dettagliate. In seguito, studi come quelli di Hernandez et al. (2022), Bills et al. (2023) e Gandelsman et al. (2024) hanno ampliato il campo di ricerca, analizzando come i modelli di apprendimento automatico possano autonomamente generare spiegazioni delle proprie decisioni e processi interni.   Tuttavia, nonostante i significativi progressi, le etichette fornite, sia umane sia generate automaticamente, spesso non bastano a spiegare in maniera causale e comprensibile il comportamento dei modelli. Per comprendere appieno le decisioni dei modelli, è necessario condurre ulteriori esperimenti. Huang et al. (2023) hanno sottolineato come l'affidabilità di queste etichette possa essere limitata, il che evidenzia l'esigenza di adottare approcci sperimentali per verificare e approfondire le descrizioni offerte dai modelli.   Per affrontare tali sfide, Schwettmann et al. (2023) hanno sviluppato il protocollo denominato Automated Interpretability Agent. Questo sistema innovativo permette di esplorare i modelli di tipo "black-box" attraverso un agente basato sul linguaggio. Tuttavia, è importante notare che, sebbene questo approccio rappresenti un passo avanti nella comprensione dei modelli complessi, presenta alcune limitazioni, specialmente quando si basa esclusivamente sugli input linguistici. Questi limiti richiedono ulteriori sviluppi per migliorare l'accuratezza e la profondità delle spiegazioni fornite dai modelli stessi, promuovendo una maggiore trasparenza nel campo dell'apprendimento automatico.   MAIA rappresenta un progresso significativo nel campo dell'interpretabilità dei modelli di apprendimento automatico. Diversamente da altri strumenti che si limitano a etichettare le caratteristiche dei modelli in un unico passaggio, MAIA adotta un approccio iterativo, eseguendo esperimenti multipli. Questa metodologia consente una comprensione più profonda e articolata dei modelli, permettendo agli utenti di ottenere una visione più dettagliata delle caratteristiche analizzate.   Uno degli aspetti innovativi di MAIA è la sua capacità di utilizzare una vasta libreria di strumenti di interpretabilità, integrata con funzionalità visive avanzate. Queste caratteristiche forniscono a MAIA un vantaggio significativo rispetto ad altri strumenti, consentendole di offrire un'analisi più completa e visivamente intuitiva. Il design modulare di MAIA è concepito per facilitare esperimenti su diversi livelli di granularità, permettendo sia analisi approfondite delle singole caratteristiche che indagini più ampie su intere reti o sottocomponenti di rete complessi.   Questo approccio modulare non solo consente di comprendere in dettaglio le singole caratteristiche, ma fornisce anche una prospettiva sulle dinamiche più ampie che regolano il funzionamento dei modelli di apprendimento automatico. La possibilità di esaminare le dinamiche interne di un modello offre una visione chiara e stratificata, rendendo evidenti le interazioni tra le diverse componenti del modello stesso.   Agenti di modelli linguistici I modelli linguistici moderni rappresentano un'innovazione fondamentale nel campo dell'intelligenza artificiale, grazie alle loro avanzate capacità di ragionamento. Non si limitano all'interpretazione del linguaggio naturale, ma possono essere ulteriormente estesi utilizzando il modello linguistico come un agente. In questo contesto, un agente è un sistema che opera sotto la guida di un obiettivo di alto livello e possiede la capacità di utilizzare strumenti esterni per raggiungere tale obiettivo, come calcolatori, motori di ricerca o altri modelli specifici per determinate operazioni.   La forza di un modello linguistico in qualità di agente risiede nella sua abilità di integrare varie fonti di informazioni e strumenti, rendendolo estremamente versatile in una vasta gamma di applicazioni. Quando un modello linguistico viene potenziato con strategie di ragionamento in stile "catena di pensieri", diventa particolarmente efficace nei compiti che richiedono ragionamenti articolati in più fasi, soprattutto in contesti complessi. Questo approccio consente di elaborare una sequenza di azioni ragionate, migliorando significativamente le prestazioni in scenari dove la comprensione e l'analisi dettagliata sono essenziali.   I progressi nei modelli multimodali, come GPT-4V, rappresentano un ulteriore passo avanti. Questi modelli consentono l'uso diretto di strumenti che si basano su immagini, integrando così capacità visive e testuali in un unico sistema. Questo tipo di integrazione è stato fondamentale per lo sviluppo di agenti come MAIA, che è, a oggi, il primo agente multimodale progettato per interpretare reti neurali profonde, sfruttando strumenti avanzati per l'analisi sia testuale che visiva.   L'evoluzione dei modelli linguistici agentici, specialmente quelli in grado di operare in modalità multimodale, segna un punto di svolta nell'interpretazione delle reti neurali e nella loro applicazione in ambiti complessi. La capacità di combinare ragionamenti linguistici con l'elaborazione visiva offre nuove possibilità di interazione con sistemi intelligenti, rendendoli più adattabili e capaci di affrontare sfide sempre più sofisticate. Con il continuo sviluppo di queste tecnologie, si aprono nuove prospettive per l'automazione e l'interpretazione delle informazioni, portando l'intelligenza artificiale verso orizzonti ancora inesplorati.   MAIA Framework MAIA è un agente autonomo sviluppato per eseguire esperimenti su sistemi di intelligenza artificiale complessi, con l'obiettivo di spiegare il loro comportamento tramite programmi Python. Questa tecnologia si ispira all'idea di utilizzare modelli basati esclusivamente sul linguaggio per compiti di ragionamento visivo in modalità one-shot, sfruttando strumenti esterni. Tale approccio deriva dalle ricerche di Surís et al. (2023) e Gupta & Kembhavi (2023), e dalla necessità di condurre esperimenti iterativi che includano risultati sia visivi che numerici.   MAIA si basa su un modello multimodale pre-addestrato capace di elaborare immagini direttamente. Al centro del sistema vi è il modello vision-language GPT-4V di OpenAI, che consente di gestire compiti visivi e linguistici. Quando viene posta una domanda di interpretabilità, come ad esempio "Quali neuroni nel Layer 4 sono selettivi per sfondi forestali?", MAIA esegue esperimenti per verificare ipotesi specifiche. Può calcolare le risposte dei neuroni a immagini con sfondi modificati, osservare i risultati e aggiornare le ipotesi fino a trovare una risposta soddisfacente.   L'infrastruttura di MAIA permette di progettare ed eseguire esperimenti di interpretabilità tramite un'interfaccia API dedicata. L'API definisce due classi principali: System e Tools, che forniscono al modello gli strumenti necessari per eseguire compiti complessi di interpretabilità.   Per portare a termine i compiti, MAIA utilizza i componenti della sua API per scrivere programmi Python, progettati per eseguire esperimenti sul sistema oggetto di analisi. MAIA può generare definizioni di funzioni come stringhe, che vengono poi eseguite internamente tramite l'interprete Python. Questa implementazione consente una facile integrazione di funzioni incorporate e di pacchetti esistenti. Ad esempio, l'API MAIA sfrutta la libreria PyTorch per caricare modelli di visione pre-addestrati, rendendo il processo di interpretazione più efficace e preciso.   System API MAIA La classe System all'interno dell'API MAIA è uno strumento potente e versatile per esplorare e analizzare il comportamento dei modelli di intelligenza artificiale. Permette di accedere ai loro sottocomponenti in modo dettagliato e specifico. Per esempio, quando si lavora con reti neurali complesse come ResNet-152, MAIA utilizza la classe System per inizializzare e gestire l'analisi di specifici neuroni. Questo avviene attraverso l'uso di parametri come l'identificativo del neurone, il livello del layer in cui si trova e il nome del modello, utilizzando una sintassi semplice.   Questa funzionalità consente a MAIA di condurre esperimenti approfonditi che esaminano i valori di attivazione dei neuroni quando vengono esposti a diversi input di immagini. Ad esempio, eseguendo un comando specifico, è possibile ottenere i valori di attivazione dei neuroni per le immagini fornite, insieme alle versioni delle immagini in cui sono evidenziate le regioni di massima attivazione. Gli output visuali risultanti forniscono una chiara rappresentazione delle aree più significative per il neurone in analisi.   Una delle caratteristiche distintive della classe System di MAIA è la sua capacità di supportare l'interpretazione di sistemi di visione artificiale in modo flessibile e senza necessità di riaddestramento. Diversamente dagli approcci tradizionali, che richiedono la creazione di modelli specializzati addestrati su dataset specifici per compiti di interpretabilità, MAIA semplifica questo processo. L'utente può interrogare liberamente vari sistemi di visione, sfruttando al massimo la capacità analitica della classe System per ottenere insight dettagliati sul funzionamento interno dei modelli.   Questa capacità di MAIA di operare su sistemi arbitrari rende il processo di analisi e interpretazione più accessibile e immediato, riducendo significativamente il tempo e le risorse necessarie per comprendere il comportamento di complessi modelli di intelligenza artificiale. Attraverso l'uso della classe System, gli utenti possono esplorare le dinamiche interne delle reti neurali e acquisire una comprensione più profonda delle loro decisioni, aprendo la strada a nuove possibilità di ricerca e applicazioni nel campo dell'intelligenza artificiale.   Tool API MAIA La classe Tools rappresenta un insieme di funzionalità essenziali per MAIA. Gli strumenti disponibili si basano su tecniche comuni per l'interpretabilità dei modelli di intelligenza artificiale, includendo la caratterizzazione del comportamento neuronale attraverso l'uso di immagini reali. Questo approccio è stato illustrato dallo studio di Bau et al. del 2017, che ha esplorato come i neuroni rispondono a specifiche caratteristiche visive. MAIA va oltre, incorporando interventi causali sugli input delle immagini, come investigato da Hernandez et al. e Casper et al. nel 2022, per costruire esperimenti più sofisticati e complessi.   Una caratteristica distintiva dei programmi creati con MAIA è la loro capacità di essere convertiti in codice Python direttamente all'interno del sistema. Ciò permette alle varie funzioni di interagire agevolmente con altri modelli pre-addestrati per ottenere le elaborazioni desiderate. Un esempio pratico di queste capacità è rappresentato dalla funzione "tools.text2image(prompt_list)", la quale genera immagini sintetiche a partire da descrizioni testuali. Questa funzione utilizza un modello di diffusione basato sul testo per analizzare la risposta di un neurone a concetti visivi specifici, permettendo di visualizzare come queste risposte si manifestano in diverse situazioni.   Il design modulare della libreria di strumenti di MAIA facilita l'integrazione continua di nuovi strumenti in parallelo con l'evoluzione delle tecniche di interpretabilità. Man mano che queste tecniche si fanno più avanzate è possibile arricchire la suite di strumenti mantenendo intatta la struttura esistente. Questo garantisce che MAIA resti aggiornata rispetto ai progressi tecnologici e metodologici nel campo dell'intelligenza artificiale. Tale approccio modulare non solo aumenta la flessibilità e l'efficienza dei programmi, ma promuove anche un miglioramento costante delle capacità di interpretazione e intervento sui modelli, contribuendo così a una comprensione sempre più profonda del funzionamento interno dei sistemi di intelligenza artificiale.   L'analisi del comportamento neuronale attraverso lo studio dei valori di attivazione è un'area di ricerca che ha conosciuto significativi sviluppi grazie a recenti studi. Queste ricerche hanno evidenziato come il comportamento tipico di un neurone possa essere caratterizzato registrando le sue risposte su un ampio dataset di immagini, come dimostrato negli studi di Bau et al. del 2017 e del 2020. MAIA, in quanto sistema avanzato di intelligenza artificiale, è stato concepito per condurre esperimenti sul set di validazione di ImageNet, un ampio database di immagini creato da Deng et al. nel 2009. Inizialmente, MAIA seleziona un insieme di 15 immagini che massimizzano l'attivazione del sistema, utilizzando questo approccio come punto di partenza per molti esperimenti. Questo processo mette in evidenza l'importanza dello strumento "dataset_exemplars" nel contesto degli studi di ablazione, che mirano a chiarire le componenti fondamentali di un modello neurale.   Lo strumento "text2image(prompts)" utilizza la versione 1.5 di Stable Diffusion per generare immagini basate su descrizioni testuali. Questa capacità permette a MAIA di esplorare come il sistema reagisce a sottili variazioni nei concetti visivi o di esaminare la selettività di un concetto visivo in diversi contesti. Il potenziale di questo strumento risiede nella possibilità di testare ipotesi diverse attraverso la creazione di immagini sintetiche che vanno oltre le distribuzioni di dati del mondo reale. Inoltre, MAIA può modificare le immagini esistenti tramite Instruct-Pix2Pix, applicando istruzioni specifiche per alterare le immagini originali. Questo processo consente di esplorare ipotesi su immagini modificate, come l'aggiunta di elementi insoliti, aprendo nuovi scenari di ricerca e analisi.   Per mitigare il bias di conferma nell'interpretazione dei risultati, MAIA adotta un framework multi-agente che le consente di interagire con un'altra istanza di GPT-4V. Questa nuova istanza, priva di conoscenza della storia sperimentale, è in grado di descrivere le regioni evidenziate in immagini individuali o di sintetizzare elementi comuni in un gruppo di immagini. Lo strumento "describe_images(image_list)" fornisce descrizioni dettagliate delle immagini, mentre "summarize_images(image_list)" aiuta a identificare tratti condivisi. Questo approccio si dimostra particolarmente utile quando le ipotesi precedenti non hanno prodotto i risultati sperati o in presenza di combinazioni complesse di contenuti visivi. L'adozione di questa metodologia arricchisce il processo sperimentale e favorisce una comprensione più equilibrata dei risultati ottenuti.   Il processo di documentazione degli esperimenti è un altro elemento essenziale del lavoro svolto da MAIA. Grazie allo strumento "log_experiment", MAIA è in grado di registrare i risultati di ogni esperimento, inclusi dati come immagini e valori di attivazione. Questo registro è fondamentale per l'analisi futura e consente di riferirsi a dati precedenti durante nuovi esperimenti. MAIA ha la possibilità di decidere quali risultati documentare, selezionando i dati che supportano o confutano chiaramente una particolare ipotesi. Questo processo di registrazione sistematica costruisce una base solida di conoscenze, essenziale per migliorare la comprensione e l'efficacia degli esperimenti successivi.   Valutazione framework MAIA Il framework MAIA è stato creato per essere estremamente versatile e adattabile, permettendo di applicarlo a una vasta gamma di compiti grazie alla possibilità di specificare un obiettivo di interpretabilità nel prompt destinato al Vision Language Model (VLM).   Uno dei principali test per valutare le capacità del framework MAIA riguarda il compito di descrizione dei neuroni black-box. I neuroni black-box sono componenti fondamentali per l'interpretabilità dei modelli, poiché forniscono informazioni critiche per l'auditing e la modifica dei modelli stessi. Nei test condotti, MAIA ha dimostrato di poter fornire descrizioni dettagliate e accurate del comportamento dei neuroni.   Durante gli esperimenti, il prompt dell'utente richiede di specificare chiaramente il compito da svolgere e il formato di output desiderato. Questo output include una descrizione dettagliata del comportamento del neurone, seguita da un'etichetta sintetica che riassume il comportamento osservato. Per raggiungere questi obiettivi, MAIA utilizza la classe System per selezionare un modello di visione specifico, come ad esempio ResNet-152, e identifica un'unità individuale all'interno del modello, come Layer 4 Unit 122. Durante i test, MAIA ha dimostrato di poter prevedere accuratamente i comportamenti dei singoli neuroni in tre diverse architetture addestrate, confermando la sua efficacia anche in un ambiente sintetico dove le selettività dei neuroni erano già note.   Le descrizioni generate attraverso il processo interattivo di MAIA si sono rivelate più efficaci nel predire il comportamento dei neuroni rispetto a quelle ottenute utilizzando un set fisso di esemplari di dataset. Questo è stato particolarmente evidente quando si è confrontato MAIA con il modello MILAN, utilizzato come baseline. MAIA ha superato MILAN in molti aspetti, offrendo descrizioni paragonabili a quelle fornite da esperti umani.   Neuroni nei modelli di visione MAIA genera descrizioni in linguaggio naturale di neuroni specifici all'interno di varie architetture di visione artificiale. Queste architetture includono modelli avanzati di machine learning, ciascuno con caratteristiche e obiettivi unici.   Uno di questi modelli è ResNet-152, una rete neurale convoluzionale (CNN) progettata per la classificazione supervisionata delle immagini. Questa rete analizza le immagini attraverso una serie di livelli, noti come conv.1 e res.1-4, ciascuno dei quali svolge un ruolo cruciale nella cattura delle caratteristiche visive complesse. Un altro modello è DINO, un Transformer visivo creato per l'apprendimento non supervisionato delle rappresentazioni. Questo modello opera attraverso livelli noti come MLP 1-11, che aiutano nella comprensione delle immagini senza l'ausilio di etichette predefinite. Infine, CLIP è un encoder visivo basato su ResNet-50, addestrato per allineare coppie di immagini e testi, facilitando la comprensione e l'associazione tra elementi visivi e descrizioni testuali.   L'approccio di MAIA si concentra sull'analisi di 100 unità campionate casualmente da ciascun modello. Questa strategia permette di ottenere una comprensione dettagliata del comportamento dei neuroni, fornendo esempi di come il sistema generi etichette finali per i neuroni analizzati. Per avere una panoramica più completa, MAIA viene confrontato con un altro metodo di etichettatura noto come MILAN. A differenza di MAIA, MILAN è un sistema non interattivo che si limita a etichettare i dati comportamentali di ciascun neurone senza coinvolgere un'analisi interattiva con l'analista.   Per garantire un'accuratezza elevata, le descrizioni dei neuroni generate dai modelli MAIA e MILAN sono sottoposte a un attento processo di valutazione che include l'uso di annotazioni umane. In particolare, un gruppo di esperti è incaricato di analizzare un campione casuale, pari al 25%, dei neuroni etichettati. Questo processo avviene attraverso l'uso dell'API di MAIA, che consente di scrivere programmi per condurre analisi interattive e restituire descrizioni dettagliate. Gli esperti partono da un prompt iniziale fornito da MAIA, sulla base del quale sviluppano programmi specifici per eseguire esperimenti sui neuroni. Questi esperimenti portano alla creazione di descrizioni dei neuroni nello stesso formato utilizzato da MAIA, assicurando coerenza nei risultati.   La valutazione dell'accuratezza delle descrizioni prodotte da MAIA, MILAN e dagli esperti umani è fondata sulla loro capacità di prevedere il comportamento dei neuroni su immagini di test non precedentemente viste. Questo metodo di valutazione si avvicina a tecniche utilizzate per produrre esempi contrastivi o controfattuali, che hanno lo scopo di rivelare i confini decisionali del modello. In pratica, le descrizioni dei neuroni vengono impiegate per creare nuove immagini, che si prevede influenzino le attivazioni dei neuroni in modo positivo o neutro. Questo approccio permette di esplorare e comprendere come i neuroni reagiscono a stimoli diversi, garantendo una valutazione approfondita della precisione delle descrizioni fornite dai modelli e dagli esperti.   In questo processo, le descrizioni prodotte da MAIA, MILAN e dagli esperti umani vengono fornite a una nuova istanza di GPT-4V, incaricata di creare prompt per generare sette immagini esemplari positive e sette esemplari neutri. Per esempio, se una descrizione fosse "maschere intricate," GPT-4V potrebbe generare prompt per immagini come "una maschera veneziana" o "una maschera tribale" per gli esemplari positivi, e "un autobus rosso" o "un campo di fiori" per quelli neutri. In totale, per ciascun neurone, vengono creati 42 prompt.   Un'altra istanza di GPT-4V abbina le etichette dei neuroni prodotte da vari metodi di descrizione con i sette prompt più adatti e i sette meno adatti. Successivamente, genera le immagini corrispondenti e misura i valori di attivazione del neurone testato. Questo processo consente di valutare la precisione delle etichette predittive. Un'etichetta predittiva efficace dovrebbe essere associata a esemplari positivi che attivano fortemente il neurone e a esemplari neutrali che lo attivano in modo minimo. L'obiettivo principale di questo approccio è distinguere tra le diverse procedure di etichettatura, assicurandosi che i metodi utilizzati producano prompt rilevanti. I risultati dimostrano che MAIA supera MILAN in tutti i modelli esaminati ed è spesso comparabile alle previsioni degli esperti umani, confermando la sua efficacia nell'analisi e nella descrizione del comportamento neuronale all'interno di architetture di visione artificiale.   Neuroni sintetici Per validare le prestazioni dei metodi automatizzati di interpretabilità su sistemi di test sintetici che imitano comportamenti reali, è stato seguito un approccio metodico basato sul lavoro di Schwettmann et al. (2023). L'obiettivo è stato costruire un insieme di neuroni di visione sintetici con selettività nota, simulando la rilevazione di concetti eseguita dai neuroni nei modelli di visione mediante la segmentazione semantica.   I neuroni sintetici sono stati creati utilizzando un rilevatore di concetti open-set, che combina Grounded DINO (Liu et al., 2023) con SAM (Kirillov et al., 2023) per eseguire una segmentazione di immagini guidata dal testo. Il comportamento di ciascun neurone è definito da una descrizione testuale dei concetti a cui il neurone risulta selettivo. Per simulare comportamenti reali, le etichette dei neuroni sono state derivate da MILANNOTATIONS, un dataset che comprende 60.000 annotazioni umane di neuroni, tratte da sette modelli di visione addestrati (Hernandez et al., 2022).   I neuroni presentano una grande varietà di comportamenti: alcuni rispondono a concetti specifici, mentre altri rispondono a combinazioni più complesse di concetti (Bau et al., 2017; Fong & Vedaldi, 2018; Olah et al., 2020; Mu & Andreas, 2021; Gurnee et al., 2023). Per rispecchiare questa diversità, sono stati costruiti tre tipi di neuroni sintetici con livelli di complessità crescenti.   Il primo tipo comprende neuroni monosemantici che riconoscono singoli concetti, come ad esempio "strisce". Il secondo tipo include neuroni polisemantici selettivi per disgiunzioni logiche di concetti, come "treni o strumenti". Infine, i neuroni condizionali rappresentano il terzo tipo, e riconoscono un concetto solo in presenza di un altro, come "cane|guinzaglio".   Questi neuroni sintetici sono stati progettati per accettare input di immagini e restituire un'immagine mascherata che evidenzia il concetto selettivo (se presente) e un valore di attivazione, che corrisponde alla fiducia di Grounded DINO nella presenza del concetto. Gli esemplari di dataset per i neuroni sintetici sono stati ottenuti selezionando 15 immagini con attivazione massima per neurone dal dataset CC3M (Sharma et al., 2018).   Il set di concetti rappresentabili dai neuroni sintetici è limitato ai concetti semplici, a causa della fedeltà del rilevamento di concetti open-set utilizzando i metodi di segmentazione guidata dal testo. È stato verificato che tutti i concetti nel dataset di neuroni sintetici possano essere segmentati da Grounded DINO in combinazione con SAM.   Il sistema MAIA interpreta i neuroni sintetici utilizzando la stessa API e procedura impiegata per i neuroni nei modelli di visione addestrati. Annotazioni comparative di neuroni sintetici sono state raccolte sia da MILAN che da annotatori esperti, utilizzando una procedura in cui esperti umani etichettano manualmente un sottoinsieme del 25% di neuroni con l'API MAIA.   Per valutare l'accordo tra le descrizioni dei neuroni sintetici e le etichette reali, sono stati reclutati giudici umani tramite Amazon Mechanical Turk. Questi giudici hanno partecipato a compiti di scelta forzata a due alternative (2AFC), dove veniva loro mostrata l'etichetta reale del neurone, ad esempio "coda", e due descrizioni prodotte da differenti procedure di etichettatura, come "code di animali soffici e testurizzate" e "oggetti circolari e animali". I giudici dovevano quindi scegliere quale descrizione corrispondeva meglio all'etichetta reale.   I risultati dello studio 2AFC, che misurano la proporzione di prove in cui una procedura è stata preferita rispetto all'altra, con intervalli di confidenza al 95%, hanno mostrato che le etichette MAIA sono meglio allineate con le etichette reali rispetto a quelle di MILAN. Inoltre, le etichette di MAIA sono state leggermente preferite rispetto a quelle degli esperti per il sottoinsieme di neuroni che hanno descritto, mentre le etichette umane sono state ampiamente preferite rispetto a quelle di MILAN. Oltre a questo, è stato utilizzato un framework di valutazione predittiva per generare set positivi e neutri di immagini esemplari per tutti i neuroni sintetici. Si è riscontrato che le descrizioni fornite da MAIA sono migliori predittori delle attivazioni dei neuroni sintetici rispetto alle descrizioni di MILAN e risultano comparabili alle etichette prodotte dagli esperti umani. Questo approccio metodico conferma l'efficacia dei metodi automatizzati di interpretabilità su sistemi di test sintetici e dimostra come queste soluzioni possano offrire un valido supporto nell'analisi dei modelli di visione addestrati.   Studio sull'ablazione degli strumenti Lo studio sull'ablazione degli strumenti all'interno del sistema MAIA si concentra sulla capacità di questo design modulare di gestire in modo flessibile e dinamico le funzionalità attraverso la sua API. Questa struttura permette di aggiungere e rimuovere strumenti con facilità, adattando MAIA a diverse esigenze sperimentali e consentendo un'esplorazione approfondita di varie configurazioni operative.   In questo contesto, sono state testate tre diverse configurazioni per osservare come MAIA risponde ai cambiamenti negli strumenti disponibili. La prima configurazione si concentra sull'etichettatura dei neuroni utilizzando unicamente la funzione “dataset_exemplar”, evitando di ricorrere alla capacità di sintesi di immagini. Questo approccio si basa sull'utilizzo diretto dei dati esistenti per identificare e classificare i neuroni, senza l'ausilio di immagini generate artificialmente per arricchire il dataset. L'obiettivo è valutare quanto il sistema possa funzionare efficacemente utilizzando solo dati reali senza arricchimenti esterni.   La seconda configurazione si basa esclusivamente sugli input generati, omettendo l'opzione di calcolare esemplari che massimizzano l'attivazione del dataset. Qui si esplora l'uso di dati sintetici come principale fonte di analisi, valutando il grado in cui questi dati possono sostituire o integrare i dati reali. Si cerca di comprendere se la sintesi di dati possa effettivamente replicare l'accuratezza e la ricchezza dei dati originali.   Nella terza configurazione, si sostituisce il sistema di generazione di immagini Stable Diffusion text2image con DALL-E 3. Quest'ultimo è noto per le sue avanzate capacità di generazione d'immagini e, con questa configurazione, si esplora l'impatto di queste capacità sulla performance complessiva del sistema. L'obiettivo è determinare se l'uso di strumenti di generazione d'immagini più sofisticati possa migliorare l'efficacia e la precisione delle analisi svolte da MAIA.   I risultati dei test hanno mostrato che, sebbene le prime due configurazioni non compromettano completamente le prestazioni di MAIA, nessuna raggiunge la precisione del sistema completo. Questo evidenzia l'importanza di combinare strumenti reali e sintetici per ottenere le migliori performance. In particolare, MAIA offre risultati ottimali quando l'analisi inizia con esemplari del dataset reale, seguiti da test aggiuntivi con immagini sintetiche. Questa combinazione permette di sfruttare al meglio i punti di forza di entrambi i tipi di dati, massimizzando l'accuratezza delle analisi.   L'uso di DALL-E come generatore di immagini ha portato a un miglioramento significativo delle prestazioni, suggerendo che le capacità degli strumenti utilizzati possono influenzare notevolmente i risultati finali. Ciò implica che, man mano che gli strumenti all'interno dell'API di MAIA diventano più sofisticati, anche MAIA sarà in grado di migliorare le proprie performance, sfruttando al massimo le nuove funzionalità disponibili per ottenere risultati sempre più precisi e affidabili. Il futuro dello sviluppo di MAIA dipenderà quindi non solo dalla sua architettura modulare, ma anche dalla continua evoluzione e perfezionamento degli strumenti a sua disposizione.   Modalità di fallimento di MAIA Il sistema MAIA ha visto un notevole miglioramento delle sue prestazioni grazie all'integrazione con DALL-E 3. Tuttavia, nonostante questi progressi, esistono ancora sfide significative nella generazione e modifica di immagini. Strumenti come SD-v1.5 e InstructPix2Pix, ad esempio, possono occasionalmente non riuscire a generare immagini che rispettino completamente le istruzioni fornite, mettendo in luce una problematica legata alla gestione dei fallimenti di output visivi.   Per affrontare questi problemi, MAIA è stato progettato per privilegiare modifiche che portino a risultati visivi positivi. Questo approccio si concentra su richieste di sostituzione visiva, come cambiare un papillon con una camicia, piuttosto che semplicemente rimuovere un elemento senza rimpiazzarlo. Nonostante questa strategia, gli errori possono ancora verificarsi a causa di vari fattori, tra cui l'incapacità dei modelli di cogliere le sfumature sottili delle istruzioni o di interpretare correttamente il contesto visivo.   Le versioni proprietarie degli strumenti di generazione delle immagini spesso offrono una qualità superiore rispetto alle alternative open-source, ma sono associate a costi elevati e restrizioni economiche relative all'accesso alle loro API. Queste limitazioni economiche influiscono anche sull'architettura di GPT-4V, il cui costo di utilizzo può risultare proibitivo per alcune applicazioni.   La progettazione modulare del sistema MAIA rappresenta una risposta efficace a questi problemi. Questa architettura consente l'integrazione di alternative open-source che migliorano nel tempo, rendendo il sistema adattabile alle evoluzioni tecnologiche. Grazie alla sua struttura modulare, MAIA può incorporare nuove soluzioni man mano che diventano disponibili e mature, offrendo un'opzione più economica e flessibile per la modifica e generazione delle immagini. In questo modo, MAIA può migliorare continuamente le sue capacità in modo adattativo, rispondendo rapidamente ai progressi nel campo dell'intelligenza artificiale, mantenendo elevate le prestazioni complessive e garantendo una maggiore efficienza operativa.   Applicazioni La caratteristica distintiva di MAIA è la sua flessibilità, che le consente di gestire compiti complessi come l'etichettatura delle caratteristiche di un modello e la diagnosi delle sue modalità di fallimento. Questa capacità di analisi multilivello permette a MAIA di fornire una visione approfondita delle prestazioni e del comportamento del modello, facilitando l'individuazione delle aree che richiedono miglioramenti.   Per dimostrare l'efficacia di MAIA sono stati condotti esperimenti specifici. Questi esperimenti hanno applicato MAIA a due compiti critici nell'ambito dei modelli di intelligenza artificiale: la rimozione delle caratteristiche spurie e l'identificazione del bias in un compito di classificazione. La rimozione delle caratteristiche spurie è essenziale per migliorare l'accuratezza dei modelli, poiché queste caratteristiche possono introdurre rumore e distorcere i risultati. MAIA, attraverso la sua API, è in grado di identificare e rimuovere tali caratteristiche indesiderate, ottimizzando così le prestazioni del modello e garantendo risultati più precisi.   Nel secondo compito, MAIA si occupa dell'identificazione del bias, un elemento cruciale nei processi di classificazione. Il bias può condurre a risultati ingiusti o inaccurati, specialmente quando i modelli vengono applicati a dati sensibili. MAIA analizza i modelli per individuare eventuali pregiudizi, permettendo agli sviluppatori di apportare le modifiche necessarie per garantire equità e precisione nei risultati. L'abilità di identificare e correggere il bias assicura che i modelli siano non solo efficienti ma anche etici nel loro utilizzo.   In entrambe le applicazioni, l'utilizzo dell'API di MAIA si rivela fondamentale. L'API offre un'interfaccia intuitiva per interagire con il sistema, rendendo più semplice e veloce l'implementazione delle sue funzionalità. Questo rende MAIA uno strumento potente non solo per gli esperti di intelligenza artificiale, ma anche per i professionisti di altri settori che desiderano sfruttare l'automazione per una migliore comprensione dei modelli. La capacità di MAIA di adattarsi a diversi contesti e compiti sottolinea il suo valore come strumento versatile e indispensabile nella moderna analisi dei dati, offrendo soluzioni innovative e affidabili per affrontare le sfide più complesse.   Rimozione delle caratteristiche spurie Le caratteristiche spurie apprese dai modelli di apprendimento automatico sono una sfida significativa quando questi modelli vengono applicati a scenari reali, dove le distribuzioni dei dati di test differiscono da quelle del set di addestramento. Questo fenomeno rappresenta un problema noto e documentato da vari studi nel campo. La difficoltà principale sta nel fatto che i modelli di apprendimento automatico possono apprendere correlazioni spurie, cioè associazioni non causali presenti nei dati di addestramento. Ad esempio, un modello potrebbe notare che le immagini di uccelli nel set di addestramento hanno spesso il cielo blu sullo sfondo e quindi, quando vede un'immagine con un cielo blu, potrebbe erroneamente concludere che si tratta di un uccello, anche se non lo è. Queste associazioni possono derivare da coincidenze o rumori nei dati che non rappresentano un legame reale o significativo tra le variabili.   Quando un modello addestrato su queste correlazioni spurie viene applicato a nuovi dati, specialmente se questi ultimi presentano distribuzioni diverse da quelle su cui è stato addestrato, le sue prestazioni possono risultare inaffidabili. Questo accade perché il modello potrebbe basarsi su caratteristiche irrilevanti o non generalizzabili per fare previsioni, portando a risultati errati o fuorvianti. Pertanto, identificare e mitigare l'influenza di queste caratteristiche spurie è fondamentale per migliorare l'affidabilità e la robustezza dei modelli di apprendimento automatico.   Le ricerche di Storkey et al. (2009), Beery et al. (2018), Bissoto et al. (2020), Xiao et al. (2020), e Singla et al. (2021) hanno esaminato il problema delle discrepanze tra i dati di addestramento e di test, sottolineando l'importanza di affrontare queste sfide per ottenere modelli che possano funzionare efficacemente in situazioni diverse da quelle per cui sono stati inizialmente progettati. La loro ricerca evidenzia la necessità di sviluppare tecniche e approcci che possano aiutare i modelli a concentrarsi sulle caratteristiche realmente rilevanti e causali nei dati, migliorando così la loro capacità di adattarsi a nuovi contesti e situazioni. In questo modo, si mira a creare modelli più robusti e generalizzabili, capaci di fornire prestazioni affidabili anche quando affrontano scenari e distribuzioni di dati inaspettati o non visti durante l'addestramento.   Per affrontare questo problema, si può ricorrere a MAIA. Una delle scoperte principali è che MAIA è in grado di identificare e rimuovere caratteristiche spurie anche senza accesso a esempi non distorti o a specifiche annotazioni di raggruppamento. Questo processo aumenta significativamente la robustezza del modello di fronte a variazioni nella distribuzione dei dati, avvicinando la sua precisione a quella ottenibile tramite addestramento su dati bilanciati. L'approccio di MAIA si distingue per la capacità di operare efficacemente anche in assenza di un set di dati di addestramento perfettamente bilanciato, risultando particolarmente utile in contesti reali dove ottenere tali dati può essere difficile o impossibile.   Gli esperimenti che dimostrano l'efficacia di MAIA sono stati condotti utilizzando la rete ResNet-18 sul dataset Spawrious. Questo dataset è stato generato sinteticamente e include immagini di quattro razze di cani, ciascuna associata a sfondi diversi. Nel set di addestramento, ogni razza di cane è correlata in modo spurio con un certo tipo di sfondo. Tuttavia, nel set di test, queste associazioni tra razza e sfondo sono modificate. MAIA viene impiegato per identificare un sottoinsieme di neuroni dello strato finale della rete che sono in grado di predire una singola razza di cane in modo robusto, indipendentemente dalle caratteristiche spurie presenti. Questa capacità di isolare le caratteristiche rilevanti dalle spurie consente al modello di generalizzare meglio quando si trova ad affrontare dati mai visti prima.   Altri metodi, come quello di Kirichenko et al. (2023), affrontano il problema delle correlazioni spurie riaddestrando l'ultimo strato della rete su dataset bilanciati. Tuttavia, MAIA si distingue perché utilizza solo le immagini più attivanti del set di convalida sbilanciato per eseguire esperimenti e determinare la robustezza. Le caratteristiche selezionate da MAIA vengono poi impiegate per addestrare un modello di regressione logistica non regolarizzato sui dati sbilanciati, dimostrando che il modello può migliorare la precisione anche senza accesso a un set di dati bilanciato.   Per dimostrare l'efficacia di MAIA, vengono selezionati 50 dei neuroni più informativi utilizzando la regolarizzazione ℓ1 sul dataset sbilanciato. MAIA esegue esperimenti su ciascuno di questi neuroni e ne seleziona 22 che ritiene robusti. Addestrare un modello non regolarizzato su questo sottoinsieme porta a un miglioramento significativo della precisione. Questo approccio non solo riduce il numero di parametri necessari, ma migliora anche la capacità del modello di fare previsioni accurate in presenza di dati non visti e potenzialmente distorti.   Per verificare che il miglioramento delle prestazioni non sia dovuto unicamente alla selezione limitata di neuroni, si confrontano le prestazioni di MAIA con l'adattamento regolarizzato ℓ1 su versioni sia sbilanciate che bilanciate del dataset. Sul dataset sbilanciato, l'adattamento regolarizzato ℓ1 mostra un calo delle prestazioni quando il numero di neuroni selezionati si riduce da 50 a 22. Tuttavia, utilizzando un piccolo dataset bilanciato per ottimizzare l'iperparametro ℓ1 e addestrare il modello di regressione logistica su tutti i neuroni, si ottengono prestazioni comparabili a quelle ottenute con il sottoinsieme selezionato da MAIA, anche se MAIA non ha avuto accesso a dati bilanciati. Questo confronto dimostra che MAIA riesce a mantenere la robustezza e l'accuratezza del modello anche quando non ha accesso a dataset bilanciati, evidenziando come l'approccio innovativo di selezionare i neuroni più significativi possa risultare efficace quanto metodi più tradizionali che richiedono dati bilanciati.   Per un confronto equo, vengono testate anche le prestazioni di un modello ℓ1 che riflette la selezione ristretta di MAIA, ma è stato addestrato su un dataset bilanciato. I risultati confermano ulteriormente l'efficacia di MAIA come strumento innovativo per migliorare la robustezza dei modelli di apprendimento automatico, anche in situazioni complesse e sfidanti caratterizzate dalla presenza di caratteristiche spurie e da distribuzioni di dati variabili.   Rivelazione dei bias Il sistema MAIA è stato sviluppato con l'obiettivo di identificare automaticamente i bias presenti nei modelli di intelligenza artificiale. Un esempio pratico della sua applicazione riguarda l'analisi dei bias nei risultati prodotti da una rete neurale convoluzionale chiamata ResNet-152, che è stata addestrata per eseguire compiti di classificazione delle immagini su ImageNet. MAIA si distingue per la sua capacità di essere applicato facilmente in esperimenti di questo tipo: esso utilizza il logit di output associato a una determinata classe per calcolare la probabilità che un'immagine appartenga effettivamente a quella classe. In pratica, MAIA riceve l'etichetta della classe e viene programmato per individuare situazioni in cui il classificatore assegna probabilità basse alle immagini di una data classe o manifesta una preferenza per un sottoinsieme di essa.   I risultati ottenuti per alcune classi di ImageNet dimostrano l'efficacia di MAIA nel generare dati sintetici che sono fondamentali per identificare le aree della distribuzione degli input dove un modello potrebbe mostrare prestazioni inferiori. Questo approccio rivela che, sebbene l'esperimento evidenzi principalmente le categorie di fallimento più rilevanti, MAIA offre la possibilità di condurre esperimenti più mirati. Tali esperimenti possono essere progettati per affrontare casi d'uso specifici, con l'obiettivo di identificare bias particolari e comprendere meglio le carenze dei modelli di intelligenza artificiale.   Oltre a facilitare il riconoscimento dei bias, il sistema MAIA stimola lo sviluppo di soluzioni per mitigare tali bias, contribuendo così a migliorare l'affidabilità e l'equità dei modelli di intelligenza artificiale. Diventa così uno strumento di grande valore nel campo dell'intelligenza artificiale, agevolando la creazione di modelli più robusti e imparziali. La capacità di MAIA di adattarsi a diversi tipi di dati e contesti applicativi ne aumenta ulteriormente l'utilità, promuovendo una maggiore consapevolezza dei bias nei modelli e incoraggiando una ricerca continua per il miglioramento delle tecnologie AI.   Conclusione La crescente complessità dei modelli di intelligenza artificiale, in particolare delle reti neurali profonde, ha portato alla necessità di strumenti avanzati per comprendere e interpretare il loro comportamento. Il framework MAIA rappresenta un esempio innovativo di come l'automazione e l'interpretabilità possano essere combinate per facilitare l'analisi di sistemi complessi. MAIA si propone come un agente multimodale in grado di eseguire esperimenti su modelli di visione e linguaggio per ottenere una comprensione più approfondita delle loro dinamiche interne.   La principale difficoltà nell'interpretare i modelli di intelligenza artificiale sta nel loro funzionamento come "scatola nera", il che rende complesso per le persone capire come queste piattaforme prendano le decisioni. Questo è particolarmente critico in applicazioni sensibili dove bias e decisioni errate possono avere conseguenze significative. La capacità di MAIA di generare descrizioni in linguaggio naturale per spiegare il comportamento dei neuroni e identificare bias all'interno dei modelli è un passo importante verso la trasparenza. Ciò si traduce in un vantaggio competitivo per le imprese, che possono utilizzare questi strumenti per migliorare la robustezza e l'affidabilità dei propri sistemi AI.   Uno dei punti di forza di MAIA è la sua struttura modulare e adattabile, che consente di integrare facilmente nuovi strumenti e tecniche man mano che l'interpretabilità avanza. Questa flessibilità è cruciale in un campo in continua evoluzione come l'AI, dove le metodologie e gli strumenti si sviluppano rapidamente. Tuttavia, il successo di MAIA dipende anche dalla qualità degli strumenti di generazione delle immagini e dall'accuratezza delle descrizioni fornite, come evidenziato dai miglioramenti ottenuti utilizzando modelli come DALL-E 3 rispetto ad altre tecniche di generazione.   Dal punto di vista aziendale, l'impiego di strumenti come MAIA offre l'opportunità di affrontare problemi critici legati ai bias e alla trasparenza dei modelli, migliorando così la fiducia e l'accettazione dell'AI da parte degli utenti finali. In un contesto in cui le decisioni automatizzate possono avere implicazioni etiche e legali, la capacità di identificare e mitigare i bias è fondamentale. MAIA non solo aiuta a rilevare pregiudizi esistenti, ma fornisce anche un framework per lo sviluppo di soluzioni mirate che promuovano l'equità nei sistemi di intelligenza artificiale.   Nonostante i progressi significativi, è importante riconoscere che MAIA, come qualsiasi altro strumento di interpretabilità, non è privo di limitazioni. La supervisione umana rimane essenziale per garantire la correttezza delle interpretazioni e per evitare errori come il bias di conferma. Inoltre, l'assenza di evidenze da parte di MAIA non deve essere interpretata come prova di assenza di problemi. La collaborazione tra intelligenza artificiale e supervisione umana è cruciale per sviluppare sistemi AI che siano veramente affidabili e responsabili.   In conclusione, MAIA rappresenta un importante passo avanti verso l'interpretabilità automatizzata dei modelli di intelligenza artificiale. La sua capacità di combinare strumenti avanzati di analisi con la supervisione umana offre un modello per il futuro dello sviluppo di sistemi AI trasparenti ed equi. Per le imprese, l'integrazione di strumenti come MAIA nei processi di sviluppo e auditing dei modelli AI può portare a vantaggi competitivi significativi, migliorando la fiducia degli stakeholder e promuovendo una cultura dell'innovazione responsabile.

La Cina sta rapidamente colmando il divario nell'IA rispetto agli Stati Uniti grazie all'adozione di tecnologie open source. Aziende come Kuaishou e Baidu stanno innovando il settore con soluzioni avanzate di intelligenza artificiale, accelerando così lo sviluppo e la diffusione globale delle tecnologie cinesi. Questo approccio open source permette una crescita rapida e una condivisione delle conoscenze a livello mondiale. Tuttavia, la censura e le politiche protezionistiche imposte dagli Stati Uniti rappresentano sfide significative per la Cina. Nonostante queste difficoltà, la competizione tecnologica globale sta diventando sempre più interdipendente e complessa. Questo fenomeno sta ridefinendo il panorama tecnologico, dimostrando quanto sia cruciale la cooperazione internazionale nello sviluppo dell'intelligenza artificiale. La Cina sta colmando il divario nell'intelligenza artificiale con gli Stati Uniti. Negli ultimi tempi, le aziende tecnologiche cinesi hanno presentato tecnologie che rivaleggiano con i sistemi americani, e queste sono già nelle mani dei consumatori e degli sviluppatori di software.   Alla recente World Artificial Intelligence Conference di Shanghai, Qu Dongqi, imprenditore cinese specializzato in intelligenza artificiale, ha catturato l'attenzione del pubblico con un video innovativo che aveva recentemente pubblicato online. Questo video mostrava una vecchia fotografia di una donna con due bambini piccoli, che improvvisamente prendeva vita grazie alla tecnologia AI. Nella sequenza animata, la donna sollevava i bambini tra le braccia, mentre questi ridevano sorpresi. Il video è stato creato utilizzando la tecnologia avanzata di Kuaishou, una delle principali compagnie internet cinesi.   Kuaishou, fondata nel 2011, si è rapidamente affermata come una delle piattaforme di social media più popolari in Cina, con milioni di utenti attivi quotidianamente. La sua capacità di combinare l'intelligenza artificiale con contenuti generati dagli utenti ha rivoluzionato il modo in cui le persone creano e condividono video. La tecnologia AI di Kuaishou, utilizzata per il video presentato da Qu Dongqi, è già disponibile al pubblico, consentendo agli utenti di creare contenuti animati con una facilità sorprendente.   In questo contesto, Qu Dongqi ha paragonato la tecnologia di Kuaishou a quella di Sora, un generatore di video sviluppato dalla start-up americana OpenAI. Sebbene Sora rappresenti un progresso significativo nel campo dell'intelligenza artificiale, non è ancora accessibile al grande pubblico. "I miei amici americani non possono ancora usare Sora," ha commentato Qu. "Ma noi abbiamo già soluzioni migliori qui."   Diffusione delle tecnologie AI Open Source Negli ultimi anni, la corsa allo sviluppo dell'intelligenza artificiale ha visto la Cina emergere come un attore di primo piano, riducendo rapidamente il divario con gli Stati Uniti. Le aziende cinesi hanno introdotto numerose tecnologie AI avanzate che competono con quelle sviluppate dalle principali aziende americane, evidenziando un panorama tecnologico in continua evoluzione. Ad esempio, aziende come Baidu, Tencent e Alibaba hanno lanciato piattaforme AI innovative che sono state adottate a livello globale, non solo dai consumatori ma anche da imprese e sviluppatori indipendenti di software.   Questo fervente sviluppo è facilitato dall'approccio cinese alla condivisione delle tecnologie AI. Mentre le aziende americane sono spesso caute nell'implementazione di queste tecnologie a causa delle preoccupazioni legate alla disinformazione e ad altri potenziali danni, le aziende cinesi mostrano una maggiore propensione a rilasciare le loro tecnologie direttamente ai consumatori e a condividere il codice software con altre imprese e sviluppatori. Questo approccio open source permette un rapido sviluppo e distribuzione di nuovi prodotti, accelerando l'innovazione.   L'open source ha storicamente giocato un ruolo cruciale nello sviluppo del software e di internet. Concetti come Linux, uno dei sistemi operativi open source più noti, hanno dimostrato come la condivisione del codice sorgente possa portare a miglioramenti continui e rapidi nella tecnologia. Ora, questa filosofia sta dimostrando il suo valore anche nel campo dell'intelligenza artificiale. Quando il codice sorgente è accessibile, un numero maggiore di sviluppatori può esaminarlo, utilizzarlo e contribuire al suo miglioramento, creando una comunità collaborativa che accelera il progresso tecnologico.   In Cina, questa filosofia è stata adottata con entusiasmo, con iniziative che mirano a rendere le tecnologie AI più accessibili. Ad esempio, Baidu ha rilasciato il suo framework di deep learning, PaddlePaddle, come open source, permettendo agli sviluppatori di tutto il mondo di utilizzare e contribuire al suo sviluppo. Questa strategia non solo stimola l'innovazione ma facilita anche l'adozione globale delle tecnologie cinesi, consolidando la posizione della Cina come leader nel campo dell'intelligenza artificiale.   L'adozione dell'open source nel contesto dell'intelligenza artificiale rappresenta un punto di svolta significativo. In un settore in cui la rapidità e l'innovazione sono cruciali, la possibilità di collaborare apertamente su progetti complessi può fare la differenza tra il successo e il fallimento. La disponibilità di tecnologie AI open source permette di superare le barriere tradizionali alla ricerca e allo sviluppo, consentendo a più attori di contribuire con le loro idee e soluzioni.   Implicazioni globali e sviluppo continuo Gli sforzi della Cina potrebbero avere enormi implicazioni man mano che la tecnologia dell'AI continua a svilupparsi negli anni a venire. Questa tecnologia ha il potenziale di aumentare la produttività dei lavoratori, alimentare future innovazioni e sostenere una nuova ondata di tecnologie militari, incluse le armi autonome.   Quando OpenAI ha dato inizio al boom dell'AI alla fine del 2022 con il rilascio del chatbot online ChatGPT, la Cina ha faticato a competere con le tecnologie emergenti dalle aziende americane come OpenAI e Google. Tuttavia, se la Cina riuscirà a colmare questo divario tecnologico, potrebbe diventare un leader significativo nel campo dell'AI, con implicazioni globali importanti sia in ambito civile che militare.   Più di un mese fa, Kuaishou ha rilasciato in Cina il suo generatore di video, Kling, e mercoledì scorso questo strumento è stato reso disponibile agli utenti di tutto il mondo. Poco prima dell'arrivo di Kling, 01.AI , una start-up co-fondata da Kai-Fu Lee, noto investitore e tecnologo che ha contribuito a costruire le sedi cinesi di Google e Microsoft, ha presentato una nuova tecnologia chatbot. Questa tecnologia ha ottenuto punteggi quasi pari alle principali tecnologie americane nei test di benchmark comuni, che valutano le prestazioni dei chatbot a livello mondiale.   La nuova tecnologia di Alibaba ha fatto significativi progressi nel campo dell'intelligenza artificiale, raggiungendo i vertici delle classifiche per i modelli AI open-source. Il modello Qwen2-72B di Alibaba, parte della serie Tongyi Qianwen, ha ottenuto notevoli riconoscimenti per le sue eccezionali prestazioni in diverse aree come la comprensione del linguaggio, la generazione di testo, il multilinguismo, la codifica e la matematica.   Questo successo è stato possibile grazie a una serie di miglioramenti tecnici e metodologici che hanno permesso al modello di superare altri importanti modelli open-source in 15 benchmark, inclusi quelli di Meta e OpenAI. La capacità di Qwen2 di gestire lunghe sequenze di contesto fino a 128K token e il suo addestramento su un vasto corpus multilingue comprendente 29 lingue sono tra i fattori chiave del suo successo.   Kai-Fu Lee ha giustamente sottolineato l'importanza di questo traguardo, affermando che la convinzione comune secondo cui la Cina non possieda il talento o la tecnologia per competere con gli Stati Uniti è errata. Le parole di Lee riflettono un cambiamento nella percezione internazionale delle capacità tecnologiche cinesi, evidenziato dal crescente riconoscimento delle innovazioni di Alibaba nel campo dell'AI.   La rapida progressione di Alibaba nel settore dell'intelligenza artificiale dimostra non solo la competenza tecnica dell'azienda, ma anche il suo impegno per lo sviluppo open-source, che ha permesso a più di 90.000 clienti aziendali di adottare le sue tecnologie AI nel primo anno di disponibilità. Questi sviluppi stanno rimodellando il panorama tecnologico globale e rafforzando la posizione competitiva della Cina nel settore dell'intelligenza artificiale. In diverse interviste, una dozzina di esperti e ricercatori di aziende tecnologiche cinesi hanno attribuito gran parte di questo successo alla natura open-source delle tecnologie impiegate. Questi specialisti sostengono che l'open-source sia stato un fattore determinante per il rapido avanzamento dell'intelligenza artificiale in Cina, vedendolo come un'opportunità per il paese di assumere la leadership in questo campo innovativo. L'adozione e lo sviluppo delle tecnologie open-source hanno permesso alla Cina di superare ostacoli precedentemente ritenuti insormontabili, dimostrando che, con la giusta strategia e collaborazione, è possibile raggiungere livelli di eccellenza mondiale.   Politiche protezionistiche e competizione internazionale Nonostante le difficoltà, gli Stati Uniti continuano a mantenersi saldamente in testa nella ricerca sull'intelligenza artificiale. Le autorità americane sono determinate a preservare questa posizione e hanno adottato misure significative per limitare l'accesso della Cina alle tecnologie avanzate. La Casa Bianca ha imposto un embargo commerciale che impedisce alle aziende cinesi di utilizzare le versioni più potenti dei chip informatici, essenziali per sviluppare intelligenze artificiali di ultima generazione. Inoltre, un gruppo di legislatori ha introdotto un disegno di legge che consentirebbe alla Casa Bianca di avere un controllo più stretto sull'esportazione di software di intelligenza artificiale sviluppato negli Stati Uniti. Altri legislatori stanno cercando di limitare i progressi delle tecnologie open-source, che hanno favorito la crescita in Cina.   Parallelamente, le principali aziende americane stanno esplorando nuove tecnologie con l'obiettivo di superare le capacità degli attuali chatbot e generatori di video. Questa corsa all'innovazione è alimentata dalla necessità di mantenere un significativo vantaggio competitivo.   "Le aziende cinesi sono abili a replicare e migliorare ciò che gli Stati Uniti hanno già" afferma Yiran Chen, professore di ingegneria elettrica e informatica alla Duke University. "Tuttavia, non sono altrettanto abili a inventare qualcosa di completamente nuovo che possa superare gli Stati Uniti nei prossimi cinque-dieci anni."   Questa situazione evidenzia la complessità della competizione tecnologica globale, dove non solo la capacità di innovare, ma anche le strategie geopolitiche e commerciali giocano un ruolo cruciale. Nel settore tecnologico cinese, molti credono che la tecnologia open-source possa essere una chiave per la crescita, nonostante le restrizioni imposte.   Se i regolatori statunitensi dovessero limitare il progresso dei progetti open-source americani, come alcuni legislatori stanno discutendo, la Cina potrebbe trarne un notevole vantaggio. Infatti, se le migliori tecnologie open-source dovessero provenire dalla Cina, gli sviluppatori statunitensi potrebbero finire per costruire i loro sistemi su tecnologie cinesi.   Clément Delangue, amministratore delegato di Hugging Face, una società che ospita molti dei più importanti progetti open-source di intelligenza artificiale al mondo, ha dichiarato: "L'open-source è la base dello sviluppo dell'AI". Ha sottolineato come gli Stati Uniti abbiano costruito la loro leadership nell'AI grazie alla collaborazione tra aziende e ricercatori, aggiungendo che "sembra che la Cina potrebbe fare lo stesso".   Anche se chiunque con un computer può modificare il codice software open-source, sono necessari molti dati, competenze e potenza di calcolo per evolvere un sistema di AI. Quando si parla di AI, open-source significa tipicamente che i componenti di base di un sistema servono come fondamenta su cui altri possono costruire qualcosa di nuovo. Questo concetto è sottolineato da Fu Hongyu, direttore della governance dell'AI presso l'istituto di ricerca di Alibaba, AliResearch.   In Cina, come in molti altri paesi, è in atto un acceso dibattito sull'opportunità di rendere accessibili a tutti gli ultimi progressi tecnologici o di mantenerli come segreti aziendali ben protetti. Robin Li, amministratore delegato di Baidu, una delle poche aziende in Cina che sviluppa la propria tecnologia di AI completamente da zero, sostiene che la tecnologia è più redditizia e sicura quando è closed-source, cioè nelle mani di pochi.   I sistemi di intelligenza artificiale richiedono ingenti risorse: talento, dati e potenza di calcolo. Pechino ha chiarito che i benefici derivanti da tali investimenti dovrebbero essere condivisi. Per questo motivo, il governo cinese ha investito somme considerevoli in progetti di intelligenza artificiale e ha sovvenzionato risorse come i centri di calcolo, dimostrando un forte impegno verso la condivisione dei frutti di questi avanzamenti tecnologici.   Censura e limitazioni Le aziende tecnologiche cinesi si trovano a dover fronteggiare una notevole limitazione nello sviluppo dei loro sistemi di intelligenza artificiale: l'obbligo di conformarsi al rigido regime di censura imposto da Pechino. Questo controllo si estende anche alle tecnologie di intelligenza artificiale generativa, influenzando significativamente sia il loro sviluppo che il loro utilizzo.   Un esempio emblematico è il nuovo generatore di video di Kuaishou, denominato Kling, che sembra essere stato addestrato per rispettare le severe norme di censura. I prompt testuali che menzionano il presidente cinese, Xi Jinping, o argomenti controversi come il femminismo e la crisi immobiliare del paese, generano messaggi di errore.   Nonostante sia evidente l'influenza della censura su Kling, Kuaishou non ha risposto alle domande riguardanti le misure adottate per impedire che il generatore di video produca contenuti dannosi, falsi o politicamente sensibili. Questo silenzio solleva ulteriori interrogativi sull'impatto delle restrizioni governative sullo sviluppo e sull'operatività delle tecnologie di intelligenza artificiale in Cina.   Interdipendenza tecnologica e futuro competitivo I giganti tecnologici cinesi, offrendo gratuitamente le loro tecnologie di intelligenza artificiale più avanzate, dimostrano una chiara volontà di contribuire al progresso tecnologico del paese. Questa strategia è in linea con la direttiva di Pechino, che sottolinea l'importanza di canalizzare il potere e i profitti dell'industria tecnologica verso l'obiettivo dell'autosufficienza.   Nonostante alcuni in Cina temano che il paese possa avere difficoltà a procurarsi i chip di calcolo necessari per sviluppare tecnologie sempre più potenti, le aziende cinesi continuano a innovare. Questi sforzi hanno permesso alla Cina di competere efficacemente con i sistemi statunitensi, dimostrando una notevole resilienza di fronte a tali sfide.   Alla fine dello scorso anno, l'azienda del Dr. Lee, 01.AI , è stata derisa sui social media quando è emerso che il suo sistema di intelligenza artificiale era basato su tecnologia open-source sviluppata originariamente da Meta, proprietaria di Facebook e Instagram. Alcuni hanno interpretato questo fatto come un simbolo della dipendenza della Cina dall'ingegno americano.   Sei mesi dopo, 01.AI ha presentato una nuova versione della sua tecnologia, riuscendo a posizionarsi ai vertici della classifica delle migliori tecnologie mondiali. Questo notevole progresso ha evidenziato la capacità dell'azienda di innovare e migliorare rapidamente, ribaltando le critiche ricevute in precedenza.   Nello stesso periodo, un team dell'Università di Stanford in California ha presentato Llama 3-V, un modello di intelligenza artificiale che, secondo loro, superava altri modelli di punta. Tuttavia, un ricercatore cinese ha notato che il modello era basato su un sistema open-source sviluppato originariamente in Cina.   Questo ha rappresentato una sorta di rivincita per la Cina. Mentre l'anno precedente erano stati criticati per aver utilizzato tecnologia statunitense, ora sono gli sviluppatori statunitensi a costruire sulla tecnologia cinese. Questa inversione di ruoli sottolinea l'interdipendenza e la complessità del panorama tecnologico globale, in cui l'innovazione si nutre di contributi provenienti da diverse parti del mondo.   Conclusioni La Cina sta rapidamente colmando il divario con gli Stati Uniti nel campo dell'intelligenza artificiale, un fenomeno che presenta numerose implicazioni strategiche e commerciali. Un elemento chiave di questa avanzata è l'approccio open source adottato dalle aziende cinesi, che contrasta con l'approccio più cautelativo delle controparti americane. La filosofia open source consente a una vasta comunità di sviluppatori di collaborare, accelerando l'innovazione e la diffusione delle nuove tecnologie. Ciò non solo democratizza l'accesso alle soluzioni AI ma crea anche un ecosistema vibrante in cui le idee si evolvono rapidamente, superando le barriere tradizionali della ricerca e sviluppo.   Questo dinamismo ha portato a innovazioni significative come i modelli AI di Alibaba e Kuaishou, che competono efficacemente con le tecnologie occidentali. L'adozione diffusa di tecnologie open source sta anche cambiando la percezione delle capacità tecnologiche cinesi a livello globale, dimostrando che il paese non solo può raggiungere ma anche superare standard internazionali in molteplici aree dell'AI.   Tuttavia, il progresso tecnologico cinese non è privo di ostacoli. La censura governativa impone limiti significativi all'operatività e allo sviluppo delle tecnologie AI, influenzando il tipo di contenuti che possono essere generati. Questo controllo rigoroso potrebbe ostacolare l'innovazione e ridurre la competitività internazionale delle soluzioni AI cinesi.   Le politiche protezionistiche degli Stati Uniti aggiungono un ulteriore livello di complessità. Restrizioni sull'esportazione di tecnologia avanzata e sui componenti critici, come i chip di calcolo, mirano a mantenere il vantaggio competitivo americano. Tuttavia, queste misure potrebbero anche incentivare la Cina a sviluppare alternative domestiche, accelerando ulteriormente la sua autosufficienza tecnologica.   Inoltre, la competizione tecnologica globale sta diventando sempre più interdipendente. La recente inversione di ruoli, dove sviluppatori americani utilizzano tecnologia open source sviluppata in Cina, evidenzia una realtà in cui l'innovazione è alimentata da contributi provenienti da diverse parti del mondo. Questo scenario di interdipendenza potrebbe favorire una maggiore collaborazione internazionale, sebbene il contesto geopolitico attuale suggerisca una crescente rivalità.   Le dinamiche attuali nel campo delle tecnologie AI, in rapida evoluzione, rappresentano una sfida cruciale per le imprese. La necessità di un adattamento rapido e di una strategia flessibile non può essere sottovalutata. Le aziende devono andare oltre l'implementazione di nuove tecnologie; devono sviluppare un ecosistema di innovazione che abbraccia l'open source e la collaborazione con sviluppatori globali. Questo approccio non solo consente di rimanere al passo con le ultime innovazioni, ma facilita anche l'adozione di soluzioni su misura che possono essere adattate rapidamente alle esigenze di mercato in evoluzione.   Tuttavia, le opportunità offerte dall'AI open source portano con sé complessità regolamentari che non possono essere ignorate. Le imprese devono investire nella costruzione di capacità interne che possano gestire e mitigare i rischi associati. Questo non riguarda solo la conformità alle normative esistenti, ma anche l'anticipazione di futuri cambiamenti legislativi e la creazione di un ambiente di lavoro etico e responsabile. In questo contesto, la formazione continua del personale e lo sviluppo di competenze specifiche diventano elementi fondamentali.   Infine, l'ascesa della Cina nell'intelligenza artificiale potrebbe ridefinire il panorama tecnologico globale, influenzando non solo il settore commerciale ma anche quello militare. La capacità di sviluppare e implementare AI avanzate avrà un impatto profondo sulla produttività, sull'innovazione e sulla sicurezza globale. Le imprese devono dunque considerare attentamente le implicazioni strategiche di queste tendenze e prepararsi a un futuro in cui la competizione tecnologica sarà ancora più intensa e interconnessa.

Il 22 luglio 2024, il Dipartimento per la Strategia Digitale ha pubblicato il documento completo della Strategia Italiana per l’Intelligenza Artificiale 2024-2026 . Redatto da un Comitato di esperti per supportare il Governo nella definizione di una normativa nazionale e delle strategie relative a questa tecnologia, il documento è stato coordinato da Gianluigi Greco, professore di informatica all’Università della Calabria e presidente di AIxAI. Il Comitato comprende figure di spicco come Viviana Acquaviva, Paolo Benanti, Guido Boella, Marco Camisani Calzolari, Virginio Cantoni, Maria Chiara Carrozza, Rita Cucchiara, Agostino La Bella, Silvestro Micera, Giuliano Noci, Edoardo Carlo Raffiotta, Ranieri Razzante e Antonio Teti. Per trasformare il documento del comitato in uno strumento utile per il mio lavoro di consulente aziendale, ho ampliato l'analisi generale e sintetizzato gli obiettivi della strategia del nostro governo per l'AI. Il risultato è un contributo sostanziale che potete leggere qui di seguito. Per semplificare la consultazione, ho creato un GPT che potete utilizzare per accedere ai contenuti tramite l'intelligenza artificiale di OpenAI. Le tecnologie basate sull'Intelligenza Artificiale hanno dimostrato un impatto pervasivo e un potenziale trasformativo per le dinamiche sociali e produttive già da diversi anni. L'AI sta rivoluzionando il nostro mondo e il modo in cui produciamo valore in ogni settore, influenzando profondamente l'educazione, le attività professionali e l'industria. Le radici di questa rivoluzione risalgono alla metà del secolo scorso, ma l'avvento del machine learning nei primi anni 2000 e, più recentemente, delle tecniche di deep learning ha segnato una svolta cruciale grazie alla capacità di estrarre valore e conoscenza dall'analisi di enormi quantità di dati.   L'introduzione dei sistemi generativi nell'ultimo anno ha ulteriormente evidenziato la forza innovativa dell'AI, facilitando lo sviluppo di processi di automazione di facile utilizzo. Il lancio di ChatGPT, prodotto da OpenAI, ha contribuito significativamente a diffondere la consapevolezza delle potenzialità di un nuovo paradigma digitale, capace di creare un modello di supporto per le attività umane in molteplici aree, contenuti e applicazioni.   L'Italia, forte di una solida tradizione industriale, ha sempre saputo sfruttare le nuove tecnologie, distinguendosi nello sviluppo e nell'adozione di soluzioni per l'automazione di prodotti e processi. Il tessuto produttivo italiano si caratterizza per un ecosistema unico, composto da grandi imprese, una rete di piccole e medie imprese (PMI) e una vasta rete di microimprese con una forte vocazione manifatturiera. Questa capacità di innovazione ha sostenuto lo sviluppo economico e sociale del Paese, dalla meccanizzazione industriale alle soluzioni digitali dell'Industria 4.0.   Aggiornato al 2023, il panorama aziendale italiano rimane dominato da microimprese e PMI. Le microimprese, con fino a 9 addetti, rappresentano il 95% delle aziende italiane, equivalenti a oltre 4,3 milioni di unità. Le PMI, con 10-249 dipendenti, sono un pilastro dell'economia, contribuendo al 41% del fatturato nazionale e impiegando il 34% della forza lavoro​.   Negli ultimi anni, le PMI italiane hanno dimostrato una notevole resilienza, grazie alla loro flessibilità e capacità di adattamento. Nonostante le difficoltà della pandemia e le sfide economiche globali, queste imprese hanno mantenuto una buona solidità finanziaria e continuato a crescere. Nel 2021, solo il 9% delle PMI era considerato a rischio, in miglioramento rispetto al 10,7% del 2020​.   Geograficamente, nel 2023, le nuove aperture di imprese sono state più frequenti nel Nord-Ovest, seguito dal Nord-Est e dal Centro Italia.   A livello internazionale, le microimprese italiane mostrano una produttività inferiore rispetto alle loro controparti europee, generando un valore aggiunto medio per addetto significativamente più basso. Tuttavia, le PMI italiane performano meglio della media europea, con una produttività che supera i 56.500 euro per addetto, rispetto ai 48.000 euro della media UE​.   Le istituzioni italiane hanno iniziato ad affrontare le sfide dell'intelligenza artificiale già nel 2018, con un'analisi dell'Agenzia per l'Italia Digitale sull'impatto delle tecnologie di AI nella società e, in particolare, nella Pubblica Amministrazione. Nel 2020, il Ministero dello Sviluppo Economico ha elaborato il documento "Proposte per una Strategia italiana per l'intelligenza artificiale", mirato a sostenere la produttività del Paese in conformità con gli obiettivi di sviluppo sostenibile dell'Agenda 2030 delle Nazioni Unite. Queste indicazioni sono state integrate nel 2021 nel "Programma strategico Intelligenza Artificiale" per il periodo 2022-2024.   Oggi, il contesto è significativamente cambiato: il contesto normativo si è evoluto, la tecnologia ha innovato con sistemi generativi e Foundation Models, e una nuova sensibilità etica ha abbracciato l'AI. È quindi il momento di aggiornare la strategia sull'AI, definendo un nuovo programma che, partendo dalle esperienze passate, promuova soluzioni antropocentriche, affidabili e sostenibili, all'interno di un contesto europeo.   La nuova strategia deve riconoscere la necessità di innovazione, analizzando le mutate condizioni e valorizzando l'importanza strategica dell'AI per il tessuto produttivo, imprenditoriale, formativo e sociale, oltre che per la Pubblica Amministrazione.   Crescita degli investimenti in intelligenza artificiale nel biennio 2023-2024 Nel biennio 2023-2024, gli investimenti in intelligenza artificiale hanno registrato un notevole incremento in vari paesi, con cifre significative provenienti da Stati Uniti, Cina, Giappone, Canada, India e Italia.   Negli Stati Uniti, gli investimenti privati in AI hanno raggiunto i 67,2 miliardi di dollari nel 2023, consolidando la posizione del paese come leader globale nel settore. Questo importo è circa 8,7 volte superiore a quello della Cina, che ha visto un investimento di circa 7,7 miliardi di dollari nello stesso anno. Sebbene a livello globale il totale degli investimenti privati in AI sia diminuito per il secondo anno consecutivo, i finanziamenti specifici per l'AI generativa hanno registrato un picco, con 25,2 miliardi di dollari investiti nel 2023.   La Cina, seconda solo agli Stati Uniti per investimenti in AI, ha investito circa 7,7 miliardi di dollari nel 2023. Nonostante un calo rispetto agli anni precedenti, il paese rimane un attore chiave nel campo dell'AI, soprattutto nel settore della robotica industriale.   Il Giappone ha investito circa 5,5 miliardi di dollari in AI nel 2023, focalizzandosi principalmente su soluzioni AI per la produzione e la robotica, ambiti in cui il paese vanta una lunga tradizione di eccellenza tecnologica.   Il Canada ha visto investimenti in AI pari a 3,2 miliardi di dollari nel 2023, con un'attenzione particolare allo sviluppo di tecnologie di machine learning e AI generativa, supportati fortemente da governo e università.   In India, gli investimenti in AI hanno raggiunto 2,7 miliardi di dollari nel 2023. Il paese sta rapidamente emergendo come un hub per lo sviluppo di soluzioni AI, con un'attenzione particolare all'AI applicata nei settori dei servizi IT e della sanità.   Infine, nel 2023 l'Italia ha visto un investimento di circa 1,5 miliardi di dollari, con una particolare attenzione alle applicazioni di intelligenza artificiale per l'industria manifatturiera e i servizi finanziari. Pur essendo inferiore rispetto a quello dei leader globali, l'investimento dimostra una crescente adozione delle tecnologie AI in Italia, supportata sia dal settore pubblico che da quello privato.   Rapportando questi investimenti al prodotto interno lordo (PIL) di ciascuna nazione, si ottiene una visione più chiara dell'impegno relativo di ogni paese nello sviluppo dell'AI:   - USA : $67,2 miliardi, circa 0,31% del PIL - Cina : $7,7 miliardi, circa 0,05% del PIL - Giappone : $5,5 miliardi, circa 0,11% del PIL - Canada : $3,2 miliardi, circa 0,12% del PIL - India : $2,7 miliardi, circa 0,10% del PIL - Italia : $1,5 miliardi, circa 0,07% del PIL   Questi dati evidenziano come gli Stati Uniti mantengano una posizione dominante negli investimenti in AI, sia in termini assoluti che in proporzione al loro PIL.   Intelligenza artificiale in Europa L'intelligenza artificiale in Europa sta attraversando una fase di rapido sviluppo e trasformazione, sostenuta da ingenti investimenti e regolamentazioni mirate. Negli ultimi anni, l'Unione Europea ha intensificato i suoi sforzi per diventare leader mondiale nel settore dell'AI, promuovendo l'eccellenza e la fiducia attraverso un piano coordinato e investimenti strategici.   Nel 2024, si stima che gli investimenti in AI in Europa raggiungeranno i 12 miliardi di dollari, con una crescita annua superiore al 10%. Questa crescita è alimentata da politiche che incentivano l'adozione dell'AI in vari settori, come la sanità, l'industria manifatturiera e i trasporti, nonché dalla creazione di reti di centri di eccellenza per lo scambio di conoscenze e competenze.   L'Europa ha inoltre adottato il primo quadro normativo globale per l'intelligenza artificiale, l'AI Act, che regola l'uso e lo sviluppo dell'AI per garantire la sicurezza e i diritti fondamentali dei cittadini. Questo regolamento prevede una serie di misure per assicurare che i sistemi di AI siano affidabili e trasparenti, contribuendo a costruire un ecosistema di fiducia intorno a queste tecnologie.   Tuttavia, la rapida evoluzione dell'AI comporta anche sfide significative. Una delle principali preoccupazioni è il disallineamento tra le competenze richieste dal mercato del lavoro e quelle possedute dai lavoratori attuali. Pertanto, è fondamentale incentivare programmi di formazione continua, upskilling e reskilling per preparare la forza lavoro alle nuove sfide del mercato del lavoro.   Per rendere questo scenario più concreto, possiamo osservare come specifici paesi europei stiano attivamente contribuendo a questa trasformazione. La Germania, ad esempio, ha lanciato l'iniziativa "AI Made in Germany" per promuovere l'innovazione e garantire che le tecnologie sviluppate siano allineate ai valori europei di privacy e sicurezza. La Francia, dal canto suo, ha investito massicciamente nella creazione di poli di ricerca e sviluppo, come il "Laboratoire d'Intelligence Artificielle de Paris", che funge da hub per la collaborazione tra università, industrie e governo.   Inoltre, collaborazioni internazionali stanno giocando un ruolo cruciale. Il progetto Horizon Europe, il più grande programma di ricerca e innovazione dell'UE, dedica una parte significativa dei suoi fondi allo sviluppo dell'AI, promuovendo progetti che coinvolgono partenariati tra stati membri e paesi terzi. Questi sforzi congiunti mirano non solo a mantenere l'Europa competitiva a livello globale, ma anche a garantire che l'AI venga sviluppata e utilizzata in modo etico e sostenibile.   Infine, l'attenzione alla diversità e all'inclusione nel campo dell'AI è un altro aspetto fondamentale del piano europeo. Iniziative come il "Women in AI" e programmi di supporto per start-up guidate da minoranze stanno cercando di assicurare che lo sviluppo dell'AI rifletta una pluralità di prospettive e che i benefici dell'innovazione tecnologica siano equamente distribuiti.   L'intelligenza artificiale in Italia L'Italia vanta una solida tradizione accademica nel campo dell'AI, iniziata nei primi anni Settanta e cresciuta fino a generare un vivace ecosistema distribuito su tutto il territorio nazionale. L'università italiana è attivamente coinvolta nelle innovazioni tecnologiche dell'ultimo decennio, con oltre 160 curricula universitari in 53 atenei che offrono insegnamenti collegati all'AI. Dal 2020/2021 è attivo il Dottorato Nazionale in Intelligenza Artificiale, che raggruppa 61 università ed enti di ricerca.   Nonostante queste iniziative, l'Italia deve ancora allinearsi alle richieste del mercato del lavoro in termini di laureati e dottorati in AI. Attualmente, l'Italia occupa l'ultimo posto tra i paesi europei per numero di laureati nel settore ICT (1,5%) e il quartultimo per percentuale di cittadini con competenze digitali di base (45,60%). Questo evidenzia la necessità di investire in politiche di educazione digitale e di rafforzare i percorsi professionalizzanti nell'ambito dell'intelligenza artificiale.   In termini di ricerca, l'Italia si posiziona bene a livello internazionale, settima per numero di pubblicazioni in AI nel 2022, con 3.261 pubblicazioni. L'Italia partecipa anche attivamente ai progetti europei di ricerca sull'AI, con il 12% dei progetti che coinvolgono unità di ricerca italiane. Università e centri di ricerca italiani sono presenti in tutti i progetti europei delle call "Center of excellence in AI" di Horizon 2020, e l'Italia coordina il progetto ELAIS nella Call Horizon CL4 2022.   La Fondazione FAIR – Future Artificial Intelligence Research, costituita recentemente, coordina l'attuazione del partenariato esteso sull'AI finanziato dal PNRR, coinvolgendo oltre 350 ricercatori.   Tuttavia, l'adozione di AI nelle piccole e medie imprese italiane è ancora limitata. Solo il 15% delle PMI ha avviato un progetto pilota di AI nel 2022, sebbene in crescita rispetto all'anno precedente. Ci sono circa 600 brevetti in AI e poco più di 350 startup di AI fondate dal 2017, collocando l'Italia in coda in Europa.   Un potenziale acceleratore per l'economia italiana potrebbe essere l'AI generativa, con il 78,2% delle aziende italiane che prevedono di utilizzarla nel breve-medio periodo per varie applicazioni, dall'efficientamento dei processi al supporto alla creatività.   Il Piano Nazionale Industria 4.0 del 2018 e il successivo decreto ministeriale del 2023 hanno incentivato l'adozione di tecnologie innovative, tra cui l'intelligenza artificiale, attraverso la creazione e il finanziamento di centri di competenza nazionali e di European Digital Innovation Hubs. Questi centri forniscono servizi di digitalizzazione a tariffe agevolate, rivolgendosi sia alle piccole e medie imprese (PMI) che alla Pubblica Amministrazione.   L'AI nella Pubblica Amministrazione italiana rappresenta una direttrice di innovazione cruciale. Progetti come la piattaforma AGENAS per l'assistenza sanitaria primaria, il progetto PRODIGIT per i giudici tributari, la sperimentazione dell'INPS con assistenti virtuali intelligenti e l'uso di software antievasione dall'Agenzia delle Entrate sono esempi concreti di come l'AI possa migliorare l'efficienza e l'accessibilità dei servizi al cittadino.   Vantaggi e opportunità dell'intelligenza artificiale per l’Italia L'Intelligenza Artificiale offre numerose opportunità di sviluppo per l'Italia, migliorando produttività, efficienza e innovazione in vari settori.   Industria  L'AI può ottimizzare i processi produttivi, ridurre errori e migliorare la qualità dei prodotti. Uno degli esempi più significativi dell'applicazione dell'AI è la manutenzione predittiva, una tecnologia che prevede e previene i guasti delle macchine. Questo approccio non solo riduce i tempi di inattività delle apparecchiature, ma aumenta anche l'efficienza operativa complessiva, con un impatto positivo sulla sostenibilità ambientale.   La manutenzione predittiva si basa su algoritmi avanzati e analisi dei dati per monitorare continuamente le condizioni delle macchine. Sensori installati sulle apparecchiature raccolgono dati in tempo reale, analizzati poi per identificare pattern e anomalie che potrebbero indicare un potenziale guasto. Così, è possibile intervenire preventivamente, evitando costosi fermi macchina e prolungando la vita utile delle attrezzature.   Oltre alla manutenzione predittiva, l'AI è impiegata in molte altre aree del processo produttivo. Ad esempio, i sistemi di visione artificiale vengono utilizzati per il controllo qualità, rilevando difetti nei prodotti con una precisione e velocità superiori rispetto alle ispezioni manuali. Questi sistemi possono identificare imperfezioni minime, garantendo che solo i prodotti conformi agli standard di qualità raggiungano il mercato.   Un altro ambito di applicazione dell'AI è l'ottimizzazione della supply chain. Attraverso l'analisi dei dati storici e in tempo reale, gli algoritmi di AI possono prevedere la domanda di mercato con maggiore precisione, consentendo alle aziende di gestire meglio le scorte e ridurre gli sprechi. Questo non solo migliora l'efficienza operativa, ma contribuisce anche alla sostenibilità ambientale riducendo l'eccesso di produzione e il consumo di risorse.   Inoltre, l'AI sta trasformando anche il modo in cui vengono progettati i prodotti. Grazie alla modellazione e alla simulazione avanzate, gli ingegneri possono testare virtualmente nuovi design e materiali, ottimizzando le caratteristiche dei prodotti prima della loro produzione fisica. Questo accelera il processo di sviluppo, riduce i costi e porta sul mercato innovazioni più rapidamente.   Infine, le Dark Factory rappresentano un campo avanzato di applicazione dell'intelligenza artificiale nel settore manifatturiero. Queste fabbriche, completamente automatizzate, operano senza la necessità di intervento umano diretto nei processi produttivi. Il termine "Dark Factory" deriva dal fatto che queste strutture possono funzionare senza luci, poiché non sono presenti operatori umani.   L'implementazione delle Dark Factory è resa possibile grazie all'avanzamento delle tecnologie di automazione e robotica, fortemente integrate con sistemi di intelligenza artificiale. In questi ambienti, ogni aspetto del processo produttivo, dalla ricezione delle materie prime alla spedizione del prodotto finito, è gestito da sistemi automatizzati. Questi includono robot avanzati, veicoli a guida autonoma per il trasporto interno e sistemi di visione artificiale per il controllo qualità.   I vantaggi delle Dark Factory sono molteplici. In termini di efficienza operativa, eliminando quasi completamente la necessità di intervento umano, queste fabbriche riducono i tempi di inattività e massimizzano la produttività. I sistemi di intelligenza artificiale possono operare 24 ore su 24 senza interruzioni, aumentando significativamente l'output produttivo. La precisione e la qualità del controllo sono elevate, grazie all'AI che permette un controllo qualità estremamente preciso, riducendo la percentuale di errori e difetti nel prodotto finito. Anche il risparmio sui costi è notevole: sebbene l'investimento iniziale possa essere elevato, il risparmio a lungo termine sui costi di manodopera e manutenzione è significativo. Inoltre, l'ottimizzazione dei processi porta a un minor spreco di materiali e a una riduzione dei costi energetici.   Sanità  L'intelligenza artificiale sta apportando trasformazioni significative nel campo della diagnosi e del trattamento delle malattie, spesso superando in accuratezza ed efficacia le metodologie tradizionali. Un esempio è l'uso degli algoritmi di deep learning nella diagnostica per immagini, che analizzano enormi quantità di dati medici e individuano precocemente patologie come tumori e malattie cardiache, spesso con una precisione superiore a quella dei medici umani.   Nel 2023, si è registrato un notevole incremento nell'applicazione dell'AI in cardiologia interventistica. Algoritmi avanzati di machine learning vengono impiegati per diagnosticare tempestivamente infarti miocardici acuti e stenosi coronariche, migliorando significativamente sia la precisione delle diagnosi che l'efficacia dei trattamenti. Ad esempio, specifici algoritmi sono in grado di rilevare stenosi coronariche funzionalmente significative attraverso valutazioni tridimensionali basate sull'angiografia.   Oltre alla cardiologia, l'AI sta innovando altri settori della medicina. I dispositivi medici approvati dalla FDA nel 2022, molti dei quali in ambito radiologico, dimostrano come l'AI stia diventando una parte integrante del sistema sanitario. Questi dispositivi non solo migliorano la diagnosi ma anche la gestione e il trattamento delle malattie, offrendo nuove opportunità per una sanità più efficiente e personalizzata.   L'AI semplifica anche i carichi amministrativi e migliora la collaborazione interdisciplinare tra i professionisti sanitari. Strumenti come i chatbot basati su AI facilitano la formazione continua e l'aggiornamento professionale, permettendo ai medici di rimanere aggiornati sulle ultime scoperte e pratiche migliori nel loro campo.   Un esempio emblematico di queste innovazioni è il King Faisal Specialist Hospital & Research Centre (KFSH&RC), classificato tra i migliori istituti sanitari a livello globale. Questo ospedale utilizza tecnologie AI e robotica per promuovere l'eccellenza nelle terapie e migliorare l'assistenza sanitaria complessiva.   Pubblica amministrazione  La pubblica amministrazione può trarre enormi vantaggi dall'integrazione dell'intelligenza artificiale nei propri processi. L'AI ha il potenziale di automatizzare molte attività burocratiche, riducendo significativamente i tempi di elaborazione e migliorando la precisione delle operazioni amministrative. Per esempio, l'automazione dei processi di gestione dei documenti può ridurre gli errori umani e accelerare le procedure di approvazione, consentendo una gestione più efficiente delle risorse pubbliche.   Inoltre, l'AI può migliorare la gestione dei dati. Grazie all'analisi avanzata dei dati, le amministrazioni pubbliche possono ottenere insights preziosi che facilitano la pianificazione strategica e l'allocazione delle risorse. Questo tipo di analisi può aiutare a identificare aree critiche che necessitano di interventi, migliorando così la qualità dei servizi offerti ai cittadini.   Un caso studio significativo è quello del Comune di Barcellona, che ha implementato un assistente virtuale basato sull'AI per migliorare l'interazione con i cittadini. Questo assistente è in grado di rispondere a una vasta gamma di domande, dai servizi municipali alle procedure amministrative, contribuendo a ridurre i tempi di attesa e ad aumentare la soddisfazione dei cittadini.   Inoltre, l'AI può migliorare la trasparenza delle operazioni governative. Attraverso l'uso di algoritmi di machine learning, è possibile monitorare e analizzare i dati relativi ai processi amministrativi in tempo reale, individuando inefficienze e aree di miglioramento. Questo livello di trasparenza può rafforzare la fiducia dei cittadini nelle istituzioni pubbliche, poiché consente un controllo più rigoroso delle attività governative.   Tuttavia, è importante sottolineare che l'implementazione dell'AI nella pubblica amministrazione deve essere accompagnata da una rigorosa attenzione alla protezione dei dati e alla sicurezza informatica. La gestione di informazioni sensibili richiede misure di sicurezza avanzate per prevenire accessi non autorizzati e garantire la privacy dei cittadini.   Educazione  L'intelligenza artificiale sta trasformando il settore dell'educazione, offrendo strumenti innovativi che permettono di personalizzare l'apprendimento come mai prima d'ora. Grazie a sofisticati algoritmi di machine learning, l'AI può adattare i contenuti didattici alle esigenze specifiche di ogni studente, tenendo conto delle loro competenze, lacune e stili di apprendimento. Questo approccio individualizzato aumenta significativamente l'efficacia dell'istruzione, consentendo agli studenti di avanzare al proprio ritmo e di concentrarsi sulle aree che necessitano di maggiore attenzione.   Un esempio significativo di come l'AI possa migliorare l'educazione è l'uso di piattaforme di apprendimento online che sfruttano tecnologie AI per creare percorsi didattici personalizzati. Piattaforme come Khan Academy e Coursera utilizzano algoritmi per analizzare le risposte degli studenti e fornire contenuti su misura per i loro bisogni educativi. Questo non solo migliora l'apprendimento, ma riduce anche il senso di frustrazione e noia che spesso accompagna un approccio didattico uniforme.   Inoltre, l'AI può svolgere un ruolo cruciale nel colmare le lacune educative. Gli strumenti di apprendimento adattivo possono identificare rapidamente le aree di difficoltà di uno studente e fornire risorse mirate per aiutarlo a migliorare. Questo è particolarmente utile nelle aule con un numero elevato di studenti, dove gli insegnanti potrebbero non avere il tempo o le risorse per offrire un'attenzione individualizzata a ciascuno.   L'intelligenza artificiale supporta anche gli insegnanti nel monitoraggio del progresso degli studenti. Piattaforme dotate di AI possono raccogliere e analizzare dati sulle prestazioni degli studenti, fornendo agli insegnanti informazioni dettagliate e in tempo reale sui punti di forza e di debolezza di ciascun alunno. Questo permette agli educatori di intervenire tempestivamente e in modo mirato, migliorando l'efficacia dell'insegnamento e supportando gli studenti in modo più efficiente.   Oltre agli aspetti accademici, l'AI può essere utilizzata per sviluppare competenze trasversali come il pensiero critico, la risoluzione dei problemi e la creatività. Attraverso simulazioni e ambienti di apprendimento interattivi, gli studenti possono sperimentare scenari realistici e complessi che li aiutano a sviluppare queste abilità essenziali per il futuro.   Un altro vantaggio significativo dell'uso dell'AI nell'educazione è la possibilità di rendere l'apprendimento più inclusivo. Gli strumenti di AI possono essere progettati per supportare studenti con disabilità, fornendo assistenza personalizzata che facilita l'accesso ai materiali didattici e la partecipazione attiva alle lezioni.   Gestione delle risorse energetiche La gestione delle risorse energetiche tramite l'intelligenza artificiale (AI) rappresenta una delle innovazioni più promettenti nel campo dell'energia e della sostenibilità ambientale.   Un ambito dove l'AI trova applicazione è l'ottimizzazione dell'uso dell'energia. Attraverso algoritmi avanzati e modelli predittivi, l'AI può monitorare e regolare dinamicamente i consumi energetici, riducendo al minimo gli sprechi e le emissioni di CO2. Ad esempio, sistemi di gestione energetica basati sull'AI analizzano dati storici e in tempo reale per prevedere i picchi di domanda e adattare di conseguenza l'offerta, garantendo un uso dell'energia il più efficiente possibile.   Le reti intelligenti di distribuzione dell'energia, conosciute come smart grids, sono un esempio di come l'AI possa migliorare la gestione delle risorse. Queste reti utilizzano sensori e tecnologie di comunicazione avanzate per raccogliere e analizzare dati sull'uso dell'energia. Grazie all'AI, le smart grids possono bilanciare domanda e offerta in tempo reale, evitando sovraccarichi e blackout, migliorando complessivamente l'efficienza del sistema energetico.   Un esempio tangibile dell'utilizzo delle smart grids è la loro capacità di integrare fonti di energia rinnovabile come il solare e l'eolico. Queste fonti, intrinsecamente soggette a variazioni, possono essere gestite dall'AI che prevede le loro fluttuazioni e adatta la distribuzione dell'energia di conseguenza. Questo approccio consente di ridurre la dipendenza dai combustibili fossili e le emissioni correlate.   L'uso dell'AI nella gestione energetica non si limita alle grandi reti di distribuzione. Anche a livello domestico, l'AI può ottimizzare il consumo energetico attraverso sistemi di domotica avanzati, che regolano automaticamente l'illuminazione, il riscaldamento e gli elettrodomestici in base alle abitudini degli utenti e alle condizioni ambientali.   Sicurezza nazionale e difesa La sicurezza nazionale e la difesa sono settori in cui l'intelligenza artificiale sta assumendo un ruolo sempre più cruciale, grazie alla sua capacità di monitorare e analizzare potenziali minacce, migliorare la sicurezza informatica e supportare le operazioni militari con decisioni rapide e informate.   Nel monitoraggio delle minacce, l'AI è in grado di analizzare grandi quantità di dati provenienti da diverse fonti, come satelliti, sensori e reti di comunicazione, individuando comportamenti anomali o potenziali minacce in tempo reale. Ad esempio, i sistemi di sorveglianza basati sull'AI possono identificare movimenti sospetti lungo i confini o rilevare attività terroristiche prima che queste si concretizzino.   Per quanto riguarda la sicurezza informatica, l'AI viene impiegata per rilevare e rispondere a cyber attacchi con una velocità e precisione senza precedenti. Algoritmi avanzati possono analizzare il traffico di rete per individuare intrusioni e comportamenti anomali, attivando contromisure automatiche per mitigare i danni. Ad esempio, l'utilizzo di reti neurali permette di identificare malware nascosti nei sistemi, rendendo le difese informatiche più resilienti contro le minacce emergenti.   Nell'ambito del supporto alle operazioni militari, l'AI può migliorare significativamente le capacità di comando e controllo, permettendo ai decisori di elaborare rapidamente informazioni complesse e prendere decisioni strategiche con maggiore efficienza. Sistemi di AI possono fornire analisi dettagliate dei campi di battaglia, ottimizzare la logistica militare e persino prevedere le mosse dell'avversario tramite simulazioni avanzate. Un esempio concreto è l'uso dei droni autonomi, che possono eseguire missioni di ricognizione e sorveglianza senza mettere a rischio vite umane.   Tuttavia, l'integrazione dell'AI nelle operazioni di difesa solleva anche sfide etiche e di sicurezza. È fondamentale garantire che queste tecnologie siano sviluppate e utilizzate in modo responsabile, con adeguate misure di controllo per evitare abusi e assicurare il rispetto delle leggi internazionali. La trasparenza nei processi decisionali e l'implementazione di meccanismi di responsabilità sono essenziali per assicurare che l'AI contribuisca positivamente alla sicurezza nazionale.   Investimenti e collaborazioni Per sfruttare appieno le opportunità di crescita offerte dalle tecnologie avanzate, è cruciale che l'Italia continui a investire significativamente in ricerca e sviluppo (R&S), infrastrutture tecnologiche e formazione di talenti. Nel 2023, gli investimenti italiani in R&S hanno raggiunto circa 26 miliardi di euro, con un incremento del 5,2% rispetto all'anno precedente, segnando una ripresa dopo le difficoltà causate dalla pandemia​.   Le regioni che maggiormente contribuiscono alla spesa in R&S sono la Lombardia, il Lazio, l'Emilia-Romagna, il Piemonte e il Veneto, con la Lombardia che da sola rappresenta il 20% del totale nazionale​. Settori chiave che hanno visto un aumento degli investimenti includono l'industria dei macchinari, autoveicoli, mezzi di trasporto ed elettronica. Tuttavia, le piccole e medie imprese hanno osservato una lieve diminuzione degli investimenti in ricerca e sviluppo (R&S), in parte a causa degli effetti duraturi della crisi pandemica.   Le collaborazioni pubblico-private giocano un ruolo fondamentale nel promuovere l'innovazione. Il supporto governativo, attraverso crediti d'imposta e incentivi finanziari, è stato cruciale per stimolare gli investimenti privati in ricerca e sviluppo. Queste politiche mirano anche a trattenere i talenti nel paese, contrastando la fuga di cervelli e creando un ambiente fertile per l'innovazione tecnologica e la crescita economica​.   Valori e contesto socioculturale Sviluppare soluzioni di Intelligenza Artificiale che riflettano i valori e le peculiarità socioculturali italiane è di fondamentale importanza per vari motivi. L'Italia, con il suo ricco patrimonio culturale e sociale unico al mondo, non può permettersi di trascurare queste caratteristiche nella progettazione di tecnologie avanzate come l'AI. Creare soluzioni AI allineate ai valori italiani assicura che queste tecnologie siano ben accolte dalla popolazione, favorendo una maggiore integrazione e accettazione.   La lunga tradizione italiana di artigianato e manifattura di alta qualità offre un esempio significativo. Integrare questi valori nelle soluzioni AI significa sviluppare tecnologie che supportino e migliorino le capacità artigianali, anziché sostituirle. Un'AI progettata per assistere gli artigiani può preservare e promuovere tecniche tradizionali, rendendole accessibili a un pubblico più vasto e aumentando la competitività dei prodotti italiani sui mercati internazionali.   L'Italia è anche famosa per la sua enfasi sulla qualità della vita, che comprende la gastronomia, la moda, il design e l'ospitalità. Soluzioni AI che valorizzino questi aspetti possono migliorare l'esperienza dei consumatori e dei turisti, rafforzando l'immagine dell'Italia come leader in questi settori. Per esempio, un sistema AI nel settore turistico potrebbe offrire esperienze personalizzate ai visitatori, basate su una conoscenza approfondita della cultura e delle tradizioni locali, rendendo le destinazioni italiane ancora più attraenti.   Un approccio centrato sui valori e sul contesto socioculturale italiano può anche mitigare i rischi legati alla dipendenza da tecnologie esterne. Utilizzare soluzioni AI sviluppate internamente garantisce che i dati raccolti siano gestiti in conformità con le normative italiane ed europee sulla privacy, riducendo il rischio di esposizione a normative straniere meno rigorose.   Infine, sviluppare tecnologie AI che riflettano i valori socioculturali italiani può stimolare l'innovazione locale e creare nuove opportunità di lavoro altamente qualificato, contribuendo così alla crescita economica del paese.   Settori e ambiti di applicazione Per concretizzare gli investimenti sull'Intelligenza Artificiale, è fondamentale interessare tutte le aree e i possibili ambiti di applicazione, con un'attenzione particolare a quelli che svolgono un ruolo prominente nel tessuto produttivo e sociale italiano.   Nell'ottica di rafforzare la competitività del nostro Paese, gli ambiti di particolare interesse per lo sviluppo e la promozione dell'AI, sia in ambito di ricerca applicata che in soluzioni aziendali, includono:   - L'industria del Made in Italy, con particolare attenzione all'identità manifatturiera e alle filiere dell'automazione, dell'agroalimentare, dell'arredo, dell'abbigliamento, e ai settori del turismo, chimico, farmaceutico e aerospaziale. - L'industria del Digitale, con le imprese di servizi ICT e lo sviluppo delle infrastrutture di rete digitale necessarie per abilitare le soluzioni di AI. - L'industria Finanziaria, dove l'uso dell'AI è già una realtà consolidata a livello internazionale, compresi i servizi bancari e assicurativi.   Per quanto riguarda l'uso dell'AI come leva per migliorare la qualità della vita e promuovere il benessere sociale, gli ambiti di particolare interesse sono: - La salute, intesa nella sua accezione di “one health”. Questo comprende non solo l'uso di tecnologie digitali di AI in ambito medico, ma anche la prevenzione, la promozione di stili di vita più sani e la cura delle persone più fragili. - L'educazione, settore in cui le tecnologie di AI stanno entrando con forza e che necessita di una guida per preservare la qualità del sistema educativo complessivo. - La tutela del territorio, con riferimento ai beni culturali e ambientali, alle comunità e ai fattori connessi alla sostenibilità ambientale della transizione digitale basata sull'AI. Questo include aspetti legati alla gestione dell'energia, specialmente da fonti rinnovabili, e alla mobilità sostenibile.   Infine, la Pubblica Amministrazione rappresenterà un dominio privilegiato di azione, per le sue ricadute su entrambi gli aspetti sopra delineati: migliorare la competitività (ad esempio, con l'efficientamento delle procedure amministrative e in settori specifici come la giustizia) e migliorare le interazioni dei cittadini con le strutture periferiche e centrali.   Ricerca L'Italia dovrà incrementare gli investimenti nella ricerca fondazionale e applicata nell'ambito dell'Intelligenza Artificiale, promuovendo la creazione di competenze e tecnologie adeguate al contesto nazionale e in linea con i principi di affidabilità, responsabilità e antropocentrismo propri dei paradigmi europei. L'Unione Europea sta già puntando fortemente sull'Intelligenza Artificiale attraverso iniziative come il programma Horizon Europe, che finanzia progetti innovativi e di ricerca in vari settori, inclusa l'AI, con un budget di 95,5 miliardi di euro per il periodo 2021-2027, dimostrando l'importanza attribuita alla ricerca e innovazione a livello continentale.   La ricerca scientifica italiana dovrà consolidare e ampliare il proprio impatto internazionale, con particolare attenzione all'ecosistema pubblico e alla ricerca finanziata dallo Stato. In questo contesto, il Consiglio Nazionale delle Ricerche (CNR) svolge un ruolo cruciale nel coordinamento della ricerca scientifica e tecnologica in Italia. È fondamentale che questa ricerca proceda liberamente nelle proprie attività di sperimentazione, utilizzando contenuti e dati per creare dataset e addestrare modelli disponibili in open source, favorendo così la collaborazione internazionale e accelerando il progresso scientifico.   La ricerca fondazionale potrà concentrarsi sullo sviluppo di nuovi algoritmi, modelli, sistemi di spiegabilità e robustezza in ambiti safety-critical, approcci per l'addestramento, paradigmi di privacy e riservatezza dei dati e architetture di calcolo. Promuovere la collaborazione tra diverse competenze e settori disciplinari sarà essenziale, evitando di focalizzarsi esclusivamente su tecnologie specifiche e aprendo nuove strade il cui potenziale potrebbe emergere nel medio periodo. In questo contesto, istituzioni accademiche come il Politecnico di Milano e l'Università di Bologna sono già impegnate in progetti di ricerca avanzata sull'AI, spesso in collaborazione con partner internazionali.   La ricerca applicata dovrà essere orientata dalle esigenze specifiche del breve periodo, articolandosi in iniziative co-progettate da partenariati pubblico-privati con un impatto concreto sul tessuto produttivo e imprenditoriale. Un esempio è il progetto AI4EU, finanziato dall'UE, che mira a creare una piattaforma europea per l'Intelligenza Artificiale, facilitando la collaborazione tra industria e accademia. Questa ricerca dovrà focalizzarsi su contesti di maggiore valore economico per l'Italia, per l'industria nazionale e con un impatto significativo sul benessere dei cittadini. Sarà cruciale avviare progetti su larga scala, capaci di creare esperienze e competenze diffuse nelle diverse aree geografiche del Paese.   Pubblica amministrazione L'Italia ha identificato diverse aree fondamentali per migliorare l'efficienza della Pubblica Amministrazione (PA) tramite l'Intelligenza Artificiale. Queste tecnologie offrono un'opportunità unica per ottimizzare i processi, supportare la pianificazione strategica e gestire le risorse pubbliche in modo più efficace. Tuttavia, l'adozione dell'AI richiede una guida attenta e la risoluzione di alcune sfide chiave.   È cruciale che ogni algoritmo utilizzato sia non solo efficace, ma anche giustificabile e trasparente. La PA deve garantire che le decisioni prese tramite AI siano accompagnate da spiegazioni comprensibili e tracciabili. Questo per evitare percezioni di opacità e aumentare la trasparenza e la responsabilità delle istituzioni.   Un elemento centrale in questo processo è la formazione del personale. Il Ministro per la Pubblica Amministrazione ha sottolineato l'importanza di investire nelle competenze dei dipendenti pubblici, affinché siano capaci di utilizzare al meglio le nuove tecnologie. A tal proposito, è stata introdotta una direttiva che prevede almeno 24 ore di formazione annuale per ciascun dipendente, con un focus sulla transizione digitale e sulle nuove tecnologie.   Un altro aspetto cruciale è la gestione dei dati. Le PA devono assicurarsi che i fornitori di servizi di AI gestiscano i dati in modo conforme alle normative vigenti, garantendo la protezione dei dati personali e la privacy. Inoltre, è necessario sviluppare dataset di alta qualità che rappresentino fedelmente la realtà amministrativa italiana, per assicurare che i sistemi di AI funzionino correttamente e in modo imparziale.   Infine, l'integrazione dell'AI nella PA deve promuovere la partecipazione e il coinvolgimento dei cittadini, garantendo al contempo la neutralità tecnologica. Questo significa evitare l'obbligo per i cittadini di utilizzare applicazioni proprietarie per accedere ai servizi pubblici. L'obiettivo è creare un ambiente inclusivo, dove l'innovazione tecnologica supporta una governance più efficiente e trasparente.   Per raggiungere questi obiettivi, l'Italia deve puntare su piattaforme nazionali robuste, sulla formazione continua del personale e sulla collaborazione con esperti di vari settori per sviluppare soluzioni etiche e responsabili. Questi sforzi congiunti possono portare a una PA più efficiente, capace di rispondere meglio alle esigenze dei cittadini e di sostenere lo sviluppo di un'amministrazione pubblica moderna e trasparente.   Imprese Per favorire lo sviluppo e l'adozione di soluzioni di Intelligenza Artificiale (AI) nelle imprese italiane, è essenziale non solo ottimizzare i processi esistenti, ma anche abilitarne di nuovi, aprendo ulteriori possibilità di crescita. È cruciale definire un insieme di azioni a livello di sistema-Paese che supportino tutte le imprese, comprese le più piccole, affrontando le barriere di competenze e infrastrutturali che ostacolano la diffusione delle nuove tecnologie. Questo richiede un'attenzione particolare alla formazione del personale e alla creazione di sinergie con il mondo accademico e della ricerca.   Affrontare questa sfida richiede politiche che incentivino la collaborazione tra imprese, università e centri di ricerca. Iniziative come i distretti tecnologici possono fungere da catalizzatori per l'innovazione, facilitando l'incontro tra domanda e offerta di competenze specializzate. Un esempio di successo è il Distretto Tecnologico del Lazio, che ha promosso numerosi progetti di ricerca applicata in collaborazione con PMI e grandi aziende del settore ICT.   Dato che l'economia italiana è costituita principalmente da microimprese e PMI, è fondamentale sensibilizzare gli imprenditori sulle potenzialità dell'AI, in particolare di quella generativa. L'introduzione dell'AI non rappresenta solo l'adozione di una nuova tecnologia, ma un nuovo approccio alla produzione, amministrazione e commercializzazione dei prodotti. Non esiste un approccio standardizzato all'implementazione dell'AI; ogni azienda dovrà trovare il metodo più adatto alle proprie peculiarità, visione e storia.   La strategia per le imprese richiede di operare su due livelli. Da un lato, è necessario intercettare i bisogni delle imprese che utilizzano le nuove tecnologie, concentrandosi sui settori produttivi tipici dell'economia italiana, come moda, design e automotive. Identificare gli attori capaci di colmare il divario tra ricerca applicata e tessuto produttivo sarà cruciale. Piattaforme come il Competence Center MADE di Milano, specializzato in Industria 4.0, possono fornire supporto tecnico e formazione, facilitando l'adozione delle tecnologie avanzate.   Dall'altro lato, è necessario potenziare le opportunità di crescita per gli abilitatori dei processi di innovazione, ovvero tutte quelle imprese con vocazione ICT e start-up specializzate in AI. Iniziative come il Fondo Nazionale Innovazione, che sostiene le start-up italiane con investimenti mirati, possono creare un ecosistema favorevole all'innovazione. Programmi di accelerazione come Luiss EnLabs offrono supporto per la crescita delle start-up tecnologiche, fornendo mentorship, risorse e accesso a reti di investitori.   Un ulteriore incentivo potrebbe essere la creazione di agevolazioni fiscali per le imprese che investono in tecnologie di AI, similmente a quanto avviene per la Ricerca e Sviluppo. Questo stimolerebbe ulteriormente l'adozione di soluzioni innovative, aumentando la competitività dell'Italia a livello internazionale.   Per sviluppare l'Intelligenza Artificiale nelle imprese italiane, è necessario un approccio integrato che includa incentivi economici per rendere più accessibili gli investimenti in tecnologie avanzate, aumentando la consapevolezza delle potenzialità dell'AI tra imprenditori e dirigenti aziendali. Il supporto alla formazione del personale è essenziale per permettere alle aziende di utilizzare al meglio le nuove tecnologie, mentre la promozione delle collaborazioni tra imprese e centri di ricerca accelererà l'innovazione.   Infine, la creazione di un ecosistema favorevole all'innovazione è fondamentale. Questo comprende infrastrutture adeguate, politiche di sostegno alle start-up tecnologiche e programmi di accelerazione che offrano mentorship, risorse e accesso a reti di investitori. Solo con questo approccio integrato sarà possibile sfruttare appieno le potenzialità delle nuove tecnologie, garantendo una crescita sostenibile e inclusiva per il sistema produttivo italiano.   Formazione Per affrontare le sfide poste dall’Intelligenza Artificiale nei prossimi anni, l'Italia deve promuovere una formazione di elevata qualità, adeguata alle nuove competenze richieste. Il quadro che l'introduzione dell'intelligenza artificiale ci sta proponendo sulle competenze richieste ai lavoratori è ormai piuttosto chiaro: le competenze necessarie per lavori ripetitivi e di generale minor valore aggiunto saranno sempre meno importanti perché sostituite dalle nuove tecnologie. Invece, competenze come la capacità critica, la competenza computazionale e la capacità di trovare soluzioni innovative ai problemi sono quanto richiesto dai lavoratori nell'era dell'AI.   Numerose università italiane stanno già implementando corsi di laurea e master specifici in AI, spesso con un approccio interdisciplinare e collaborativo. L'Università degli Studi di Milano, in collaborazione con l'Università di Milano-Bicocca e l'Università di Pavia, offre un corso di laurea triennale e magistrale in Intelligenza Artificiale, interamente erogato in inglese. Questo programma mira a fornire competenze teoriche e pratiche nei vari ambiti dell'AI, promuovendo l'innovazione tecnologica e lo sviluppo economico e sociale del paese.   Analogamente, l'Università di Bologna ha sviluppato un corso di laurea magistrale in Artificial Intelligence, rispondendo alla crescente domanda di professionisti altamente specializzati. Il corso integra competenze di informatica, matematica e statistica, includendo moduli su machine learning, visione artificiale, elaborazione del linguaggio naturale e altre aree fondamentali dell’AI.   Per preparare anche i futuri imprenditori, manager e dirigenti aziendali, il Politecnico di Milano offre il Master in Management Engineering, un programma che prepara gli studenti a diventare leader tecnologici nel campo dell'ingegneria industriale. Il curriculum include la gestione dell'innovazione e la strategia d'impresa, essenziali per chi deve navigare nell'ambito delle tecnologie emergenti come l'IA. La Bocconi, rinomata per i suoi programmi in economia e management, ha integrato corsi specifici sulle tecnologie digitali e l'intelligenza artificiale come il Master in Data Science and Business Analytics. L'Università di Torino ha introdotto un corso di laurea magistrale in Innovation Management, focalizzato su gestione dell'innovazione e trasformazione digitale, mentre la Scuola Superiore Sant'Anna di Pisa propone programmi di ricerca avanzati nel campo della gestione dell'innovazione e delle tecnologie robotiche.   Oltre ai percorsi universitari, è fondamentale promuovere programmi educativi per i cittadini e la forza lavoro attuale, preparandoli all'impatto dell'intelligenza artificiale. Questo comprende iniziative di reskilling e upskilling in tutti i settori produttivi, non solo nell'ambito ICT. Concentrarsi su questi percorsi formativi contribuisce a colmare il divario dell'Italia nelle competenze digitali di base, rendendo la società più competitiva e preparata per l'impatto dell'AI sulle professioni.   Investire in formazione di qualità e promuovere programmi innovativi a tutti i livelli educativi sono passi fondamentali per garantire che l'Italia possa non solo affrontare le sfide dell'AI, ma anche sfruttare le opportunità che essa offre.   Rischi della strategia Le recenti innovazioni tecnologiche hanno alimentato un intenso dibattito internazionale sui rischi legati all'Intelligenza Artificiale, spesso offuscando le discussioni sui benefici che queste tecnologie possono apportare non solo all'economia e alla competitività, ma anche alla società e agli individui. È ben noto, grazie ai numerosi studi sulle questioni etiche e legali derivanti dall'uso dell'AI, che una gestione inappropriata di una leva trasformativa di tale portata può accelerare le disuguaglianze sociali e rappresentare un rischio per la stabilità democratica.   Idealmente, le tecnologie sono progettate per essere imparziali, prive di pregiudizi o influenze umane; in un contesto pubblico, dovrebbero agire senza favorire specifici interessi, gruppi sociali o prospettive. Tuttavia, l'Intelligenza Artificiale può facilmente apparire "non neutrale" a causa della sua stretta connessione con le informazioni prodotte dalla società, dalle scelte umane che la guidano e dalle complesse interazioni che genera. Una strategia per l'Intelligenza Artificiale deve quindi affrontare la grande responsabilità di orientare queste tecnologie, consapevole che ogni orientamento comporta impatti e rischi specifici.   Piuttosto che sviluppare un quadro dei rischi basato su valutazioni generali e transnazionali, è essenziale comprendere i rischi associati all'attuazione della nostra specifica strategia nazionale, delineata considerando le peculiarità del nostro sistema e orientata verso obiettivi ben definiti. Tuttavia, è importante ricordare che l'analisi dettagliata deve inquadrarsi nel contesto della regolamentazione completa e sistematica dell'Intelligenza Artificiale proposta dall'Unione Europea. Questa regolamentazione mira a stabilire limiti affinché l'implementazione di tali tecnologie rispetti i valori e i diritti fondamentali condivisi dalla Comunità Europea. Questo contesto è stato inoltre richiamato da altri importanti atti o dichiarazioni internazionali, come il recente executive order statunitense, che mira a orientare lo sviluppo dell'Intelligenza Artificiale negli USA verso soluzioni sicure, affidabili e trasparenti, e la dichiarazione di Bletchley, firmata dall'Unione Europea e da 28 Stati per collaborare nella mitigazione dei rischi legati all'uso dell'AI, in particolare dei Foundation Model.   In un'analisi che non può essere esaustiva, i principali rischi identificati sono delineati di seguito, evidenziando per ciascuno l'approccio metodologico proposto per mitigarli e affrontarli consapevolmente. Questi approcci saranno successivamente integrati nella definizione delle specifiche azioni strategiche per le aree della Formazione, della Ricerca, della Pubblica Amministrazione e delle Imprese.   Il rischio del “non fare” In Italia, storicamente resistente all'adozione delle tecnologie dell’informazione e della comunicazione (ICT) e caratterizzata da una certa lentezza, l'approccio timido nel perseguimento degli obiettivi strategici rischia di tradursi in uno spreco di risorse e una perdita di competitività. Nel 2023, solo il 45,7% degli italiani tra i 16 e i 74 anni possiede competenze digitali adeguate, con significative disparità regionali. La Lombardia, ad esempio, ha un punteggio DESI (Digital Economy and Society Index) di 72 su 100, mentre la Calabria è molto indietro con 18,8. Questo divario digitale sottolinea l'urgenza di interventi mirati per ridurre le disuguaglianze tecnologiche.   Un atteggiamento passivo verso l’innovazione, limitato all'importazione o all'acquisto di soluzioni esistenti, potrebbe alimentare l'idea che la rivoluzione dell’Intelligenza Artificiale sia una semplice sfida nella creazione di interfacce per un mondo tecnologico sviluppato da altri. È quindi necessario essere ambiziosi e riconoscere il valore economico dell'impiego di questi sistemi tecnologici nei servizi pubblici e nei processi produttivi. Nel 2023, il valore degli acquisti online in Italia ha raggiunto i 54,2 miliardi di euro, con un incremento del 13% rispetto all'anno precedente.   L'atteggiamento passivo può essere ulteriormente incentivato da azioni e iniziative mal focalizzate, incapaci di rispondere adeguatamente alle esigenze del contesto specifico. È cruciale potenziare la capacità di sviluppare una tecnologia su misura delle esigenze, dei valori, dei diritti e degli interessi del nostro Paese. Bisogna investire in applicazioni e soluzioni orientate a supportare le specificità del nostro sistema, privilegiando uno sviluppo applicativo interno piuttosto che basato su una prospettiva di importazione. Questo è particolarmente importante nell'attuale competizione geopolitica sulla tecnologia, soprattutto sull’AI, competizione nella quale l’Italia deve partecipare da protagonista, supportando e stimolando l’Unione Europea e i suoi Stati membri. Attualmente, l’86,4% delle regioni italiane e il 70,4% dei comuni offrono servizi online, ma la sicurezza informatica rimane una priorità da rafforzare.   Il rischio dell’omogeinizzazione Il rischio dell'omogeneizzazione culturale, accentuato dall'avvento e dalla diffusione dell'intelligenza artificiale generativa, rappresenta una sfida cruciale per l'Italia e l'Europa. La strategia italiana punta sull'aumento della diffusione dei sistemi di AI, inclusa quella generativa, ma deve affrontare il fatto che molti di questi sistemi sono sviluppati all'estero, portando con sé idee e valori potenzialmente in contrasto con quelli locali.   Questa dinamica potrebbe compromettere la diversità culturale e mettere a rischio i diritti di libertà della società. L'omogeneizzazione culturale non è un fenomeno nuovo, ma con l'AI generativa, la sua portata e velocità di diffusione sono amplificate. Gli algoritmi e i modelli di AI sviluppati in contesti culturali diversi possono riflettere valori e norme che non sempre risuonano con le tradizioni e le leggi locali, creando una tensione tra la tecnologia importata e il tessuto sociale autoctono.   In questo contesto, è essenziale sviluppare e adottare sistemi di AI conformi ai valori costituzionali italiani ed europei. Questo è fondamentale non solo per preservare l'identità culturale, ma anche per garantire che la tecnologia supporti e non comprometta i principi democratici fondamentali. Un esempio significativo può essere trovato nel settore della Pubblica Amministrazione, dove l'adozione di modelli di AI deve essere guidata da un rigoroso rispetto dell'etica e delle normative vigenti.   L'importanza di questa conformità non può essere sottovalutata. Ad esempio, il Regolamento generale sulla protezione dei dati (GDPR) dell'Unione Europea stabilisce rigorose linee guida sulla protezione dei dati personali. Qualsiasi sistema di AI implementato deve operare nel rispetto di queste norme per garantire la privacy e i diritti dei cittadini.   Un'altra area critica è l'educazione, dove l'integrazione di modelli di AI può influenzare significativamente la formazione delle future generazioni. È imperativo che questi strumenti siano progettati per promuovere l'inclusività, il rispetto delle diversità culturali e l'integrità intellettuale, evitando di perpetuare stereotipi o di favorire narrazioni unilaterali.   Il rischio dell’iperregolazione nazionale  L'Intelligenza Artificiale è un elemento centrale della strategia "A Europe Fit for the Digital Age" della Commissione Europea. Questa tecnologia, tuttavia, è soggetta a una regolamentazione rigorosa per gestirne l'impatto. Le normative attuali riguardano vari aspetti, come la protezione, valorizzazione e sicurezza dei dati personali e non (GDPR, Data Act, Data Governance Act, e NIS) e la regolamentazione dei fornitori di servizi (Digital Markets Act, Digital Services Act, European Digital Identity).   In questo contesto normativo complesso si inserisce l'AI Act, una normativa dell'Unione Europea pubblicata in Gazzetta Ufficiale il 12 luglio 2024, con l'obiettivo di creare un quadro regolatorio armonizzato per l'intelligenza artificiale. Conosciuto come Regolamento (UE) 2024/1689, questo provvedimento mira a fornire regole chiare e certe a produttori e utilizzatori di tecnologie AI, tenendo conto delle continue evoluzioni tecnologiche.   L'AI Act adotta un approccio basato sul rischio, imponendo regole più severe per i sistemi di intelligenza artificiale che presentano un rischio maggiore per la società. L'obiettivo è promuovere lo sviluppo e l'adozione di sistemi di AI sicuri e affidabili, garantendo al contempo la protezione dei diritti fondamentali dei cittadini e stimolando gli investimenti nel settore.   Nei prossimi mesi, l'attuazione dell'AI Act coinvolgerà progressivamente tutti gli Stati membri dell'UE, con tempi di implementazione variabili dai 6 ai 36 mesi a seconda del settore di applicazione. Questo periodo di transizione è stato concepito per consentire un'implementazione graduale ed efficace delle nuove norme, con priorità data ai settori a rischio elevato.   A livello nazionale, sarà cruciale evitare l'aggiunta di ulteriori sovrastrutture normative nelle strategie di attuazione. Invece, si dovrà promuovere l'AI Act con linee guida agili e percorsi facilitati, a misura di impresa e cittadino, per agevolare l'adozione e l'implementazione dell'Intelligenza Artificiale.   Un esempio di sovra regolamentazioni si osserva in alcune iniziative nazionali che, pur mirate a rafforzare la protezione dei dati o la sicurezza informatica, creano un labirinto regolatorio complesso per le imprese. In Italia, oltre alle direttive europee, l'introduzione di leggi e decreti specifici impone ulteriori adempimenti burocratici, rallentando innovazione e competitività.   È quindi essenziale che i regolatori nazionali collaborino strettamente con le istituzioni europee per garantire un'applicazione uniforme e coerente delle normative, evitando duplicazioni e sovrapposizioni. Creare un ambiente normativo favorevole all'innovazione richiede un approccio bilanciato, che protegga i diritti dei cittadini e promuova lo sviluppo tecnologico.   Il successo dell'AI Act dipenderà non solo dalla sua formulazione, ma anche dalla capacità dei singoli Stati membri di implementarlo in modo efficiente e coerente con le linee guida europee, senza aggiungere inutili complessità. Solo così sarà possibile creare un ecosistema digitale competitivo e innovativo, capace di sfruttare appieno le potenzialità dell'Intelligenza Artificiale.   Il rischio per il mondo del lavoro Nonostante i numerosi studi di settore condotti negli ultimi anni, non esiste una visione unanime sull’impatto che i sistemi di Intelligenza Artificiale avranno sul mondo del lavoro. Se gli scenari catastrofici a lungo termine sembrano improbabili, nel medio periodo è realistico aspettarsi che nuove competenze e professionalità sostituiranno quelle esistenti. L'adozione accelerata di sistemi di Intelligenza Artificiale renderà evidente questo inevitabile processo di trasformazione.   Secondo il rapporto OCSE "Employment Outlook 2023", il 27% delle occupazioni nei paesi OCSE è a rischio di automazione, in particolare quelle che richiedono competenze meno sofisticate. Tuttavia, le professioni che necessitano di competenze elevate, come avvocati, giornalisti, designer e ingegneri, sono maggiormente influenzate dall'AI. In questi casi, l'intelligenza artificiale tende a essere complementare piuttosto che sostitutiva, aumentando la produttività e la soddisfazione dei lavoratori quando ben integrata nel flusso di lavoro.   È per questo motivo che tale processo dovrà essere attentamente guidato e regolato, considerando il capitale umano e le persone nelle sue azioni strategiche più impattanti. Cruciali saranno le iniziative nell’area della formazione, in particolare i percorsi di upskilling e reskilling, con un'attenzione particolare a preservare e migliorare la qualità del lavoro conseguente all'adozione dei sistemi di AI e al riposizionamento del personale.   Nel contesto attuale, il valore si genera tramite l’innovazione e la rapidità nel raggiungere il mercato. L'Intelligenza Artificiale stimola l'innovazione e facilita il cambiamento organizzativo. Ad esempio, Microsoft ha acquisito parte di OpenAI per mantenere la sua posizione competitiva, un chiaro segnale di come le grandi aziende stiano integrando nuove tecnologie per trasformare le loro operazioni.   L'uso di AI nelle risorse umane permette di analizzare dati in modo approfondito, migliorando la gestione dei talenti e favorendo la mobilità interna. Questo approccio, definito "HR sistemica", è fondamentale per superare le gerarchie tradizionali e adottare nuove metodologie agili e internazionali.   Un altro aspetto importante è la crescente domanda di competenze relative all'AI in tutti i settori industriali. I lavori che richiedono queste competenze offrono salari più alti dell'11% rispetto a quelli simili senza tali requisiti. Tuttavia, questo può creare polarizzazioni tra lavoratori qualificati e no, accentuando le disuguaglianze. È quindi essenziale promuovere l'inclusione e colmare i ritardi di competenze per evitare questi rischi.   Il rischio del digital divide L'Italia è ancora lontana dall'aver raggiunto un livello soddisfacente di digitalizzazione e competenze digitali, sia nel settore pubblico che privato. Questa carenza è particolarmente evidente nel tessuto sociale del paese, dove si osservano notevoli disomogeneità territoriali tra regioni e città. Nel 2023, l'Italia si posiziona al 18° posto su 27 Stati membri dell'UE nell'Indice di Digital Economy and Society (DESI), nonostante alcuni miglioramenti recenti dovuti agli investimenti nella transizione digitale. Sebbene la connessione a banda larga si stia diffondendo, permangono significative lacune nelle competenze digitali di base, con oltre la metà dei cittadini italiani che ne sono privi.   Un programma ambizioso di innovazione sull'Intelligenza Artificiale, se non ben guidato e indirizzato, rischia di accentuare questi divari e disomogeneità. Recenti analisi indicano che il 40% delle famiglie italiane è escluso parzialmente o totalmente dal mondo digitale, con una maggiore presenza di esclusione nelle aree rurali rispetto a quelle urbane.   Gli investimenti previsti dalla strategia nazionale nel capitale umano, nei talenti e nei percorsi di upskilling e reskilling potrebbero trasformarsi in pesanti boomerang sociali se non inseriti in iniziative trasparenti, pienamente accessibili e fruibili su tutto il territorio nazionale. Le azioni strategiche, in particolare quelle legate alla formazione, inclusa quella aziendale, devono privilegiare iniziative di sistema, evitando progetti estemporanei o localizzati.   Nel 2024, l'utilizzo dei servizi pubblici digitali è cresciuto, ma rimane limitato al 40% degli utenti italiani, rispetto alla media UE del 65%. La digitalizzazione delle PMI italiane ha visto un incremento nell'uso dei servizi cloud, ma è ancora necessario colmare il gap nell'adozione di tecnologie avanzate come l'Intelligenza Artificiale e i Big Data.   La pubblicizzazione di queste iniziative e la sensibilizzazione sulla loro importanza dovranno rappresentare una linea strategica trasversale e comune a tutte le azioni specifiche. È essenziale che i programmi di digitalizzazione siano inclusivi e accessibili a tutte le fasce della popolazione, compresi gli anziani, spesso esclusi dalle nuove tecnologie. Soluzioni come la tecnologia Ftth (Fiber To The Home) e Fwa (Fixed Wireless Access), insieme all'implementazione del 5G, potrebbero aiutare a colmare il divario digitale, permettendo un accesso veloce e affidabile a Internet anche nelle aree più remote del paese.   Per garantire un vero progresso, l'Italia deve continuare a investire non solo nelle infrastrutture digitali, ma anche nelle competenze digitali della popolazione, promuovendo un'alfabetizzazione digitale diffusa che permetta a tutti di trarre vantaggio dalle opportunità offerte dalla trasformazione digitale.   Il rischio dell’inefficacia Un aspetto cruciale da considerare è il rischio che la strategia nazionale per l'Intelligenza Artificiale possa rivelarsi inefficace nella sua attuazione, non riuscendo a raggiungere gli obiettivi prefissati. Questo rischio è sempre presente nella pianificazione, soprattutto in un campo dinamico come quello dell'AI, che richiede continui aggiornamenti organizzativi e normativi.   Le politiche per l'AI sono un bersaglio mobile: la rapidità dei cambiamenti impone una costante revisione delle strategie, con il pericolo che una pianificazione accurata possa diventare rapidamente obsoleta. Per mitigare questo rischio, l'Italia ha adottato una serie di misure, tra cui la creazione del Comitato di Coordinamento per l'Intelligenza Artificiale, istituito per garantire lo sviluppo responsabile, etico e sicuro dell'AI nel Paese.   Il Programma Strategico per l'Intelligenza Artificiale 2022-2024, elaborato con il contributo di diversi ministeri e supportato da esperti del settore, prevede ventiquattro politiche volte a potenziare il sistema AI in Italia, promuovendo la ricerca, lo sviluppo delle competenze e l'adozione delle tecnologie AI nelle industrie e nella pubblica amministrazione.   Per garantire un controllo costante e mirato sui risultati, ogni azione strategica è associata a indicatori e obiettivi specifici. Inoltre, la governance del programma include un sistema di monitoraggio e un gruppo di lavoro permanente che coordinerà le iniziative governative sul tema. Questo approccio olistico mira a creare un ambiente in cui l'AI non solo prosperi come motore di progresso economico e tecnologico, ma contribuisca anche al benessere collettivo.   Architettura della strategia italiana per l’intelligenza artificiale La strategia delineata è estremamente ambiziosa e prevede obiettivi chiari per ciascuna delle quattro macroaree: Ricerca, Pubblica Amministrazione, Imprese e Formazione. Per raggiungere questi obiettivi, sarà necessario un grande sforzo organizzativo e un'azione di coordinamento mirata e sapiente, sia all’interno di ogni singola area, sia trasversalmente tra le diverse aree. È fondamentale mantenere una visione d’insieme, mettere a fattor comune le buone pratiche e mantenere la logica che lega i vari ambiti di interesse.   In un contesto che dipende fortemente dalla disponibilità di grandi risorse di calcolo per l’analisi di enormi quantità di dati, potenziare le infrastrutture è imprescindibile. Investire in infrastrutture fisiche per lo sviluppo di soluzioni avanzate di Intelligenza Artificiale è cruciale per mantenere e migliorare il livello di competitività internazionale. Inoltre, i repository di dati e informazioni, sui quali i sistemi di AI vengono addestrati, rappresentano una componente fondamentale che necessita di crescente attenzione.   Per concretizzare la visione strategica, l’Italia dovrà promuovere una grande iniziativa di condivisione e riuso di dataset e modelli acquisiti in specifici progetti e contesti. Questo favorirà lo scambio di conoscenze e competenze tra mondo accademico, imprese e Pubblica Amministrazione. La strategia prevede un contesto di azioni strategiche abilitanti, che costituiranno la cornice entro cui le specifiche iniziative saranno dispiegate nelle diverse macroaree. Queste azioni si suddividono in due tipologie: infrastrutturali e per l’attuazione, il coordinamento e il monitoraggio della strategia.   Un elemento chiave della strategia sarà la creazione di un “registro” di dati e modelli, che promuoverà pratiche di standardizzazione e accelererà lo sviluppo di soluzioni. Questo registro si alimenterà con dati e modelli che rappresentano le peculiarità e le esigenze del nostro Paese.   Basandosi sulle azioni abilitanti infrastrutturali, il raggiungimento degli obiettivi strategici per Ricerca, Pubblica Amministrazione, Imprese e Formazione dipenderà dalla capacità di attuare le diverse iniziative. Sarà essenziale definire un quadro di risorse economiche sostenibile, attraverso la costituzione di un fondo alimentato anche dai ricavi delle stesse azioni. Inoltre, sarà necessario identificare un soggetto responsabile della gestione di tale fondo e dell’implementazione delle diverse azioni strategiche. Questo soggetto dovrà promuovere sinergie tra i diversi attori dell’ecosistema dell’innovazione attorno all’Intelligenza Artificiale, supervisionare gli elementi infrastrutturali, monitorare l’andamento delle strategie in un’ottica di miglioramento continuo e gestire il budget delle azioni abilitanti.   Patrimonio di conoscenza nazionale Per mettere a sistema la conoscenza acquisita e consentire il riuso di artefatti di AI, si realizzerà un programma mirato alla definizione di un registro di dataset e modelli. Questi saranno realizzati seguendo principi di trasparenza e correttezza, assicurando etica e affidabilità intrinseca, oltre a essere riutilizzabili per accelerare le soluzioni delle aziende italiane.   La definizione del progetto si articolerà secondo tre macro-direzioni: 1. Metodologica : Per definire un protocollo nazionale che garantisca dataset affidabili fin dalla loro progettazione e per impostazione predefinita, è necessario un approccio metodologico rigoroso. Questo protocollo deve essere solido sia dal punto di vista legale che ingegneristico, assicurando che tutti gli aspetti normativi e tecnici siano adeguatamente coperti. Un elemento cruciale di questo processo è l'identificazione e l'implementazione di approcci specifici per mitigare i rischi. Questi rischi possono riguardare sia le questioni etiche che quelle di sicurezza informatica, richiedendo soluzioni che siano in grado di proteggere i dati e rispettare i principi etici. Dal punto di vista legale, il protocollo deve includere normative che garantiscano il rispetto della privacy e dei diritti degli individui, oltre a promuovere la trasparenza e l'accountability. Questo significa sviluppare linee guida che definiscano chiaramente come i dati devono essere raccolti, utilizzati e conservati, assicurando che tutte le pratiche siano conformi alle leggi esistenti. Sul fronte ingegneristico, è essenziale adottare tecniche di progettazione che integrino la sicurezza e l'affidabilità fin dalle prime fasi dello sviluppo del dataset. Ciò può includere l'uso di crittografia avanzata per proteggere i dati, l'implementazione di controlli di accesso rigorosi e l'adozione di misure per prevenire accessi non autorizzati o manipolazioni dei dati. La mitigazione dei rischi etici richiede un'attenzione particolare alle implicazioni morali dell'uso dei dati. Questo implica assicurarsi che i dataset non contengano bias o discriminazioni e che l'uso dei dati non causi danni a individui o gruppi. La definizione di linee guida etiche aiuta a prevenire l'uso improprio dei dati e a promuovere pratiche che rispettino la dignità e i diritti di tutte le persone coinvolte. Infine, la sicurezza informatica è una componente fondamentale per garantire dataset affidabili. Questo comporta l'implementazione di misure di sicurezza avanzate per proteggere i dati da minacce esterne e interne, inclusi attacchi informatici e violazioni dei dati. L'adozione di strategie di sicurezza proattive e reattive contribuisce a mantenere l'integrità e la disponibilità dei dati, assicurando che rimangano sicuri e affidabili nel tempo. In sintesi, un protocollo nazionale che garantisca dataset affidabili richiede un approccio integrato che copra aspetti legali, ingegneristici, etici e di sicurezza informatica. Solo attraverso un'attenta pianificazione e implementazione di queste misure è possibile creare dataset che siano realmente trustworthy-by-design e trustworthy-by-default.   2.  Realizzativa : Per implementare e rendere disponibile una piattaforma che integri moderni approcci MLOps e di preparazione dei dati, è necessario seguire una serie di passaggi chiave. In primo luogo, è fondamentale progettare l'architettura della piattaforma in modo che sia scalabile e flessibile. Questo permette di adattarsi ai crescenti volumi di dati e alle diverse esigenze degli utenti. Un'architettura ben progettata deve poter gestire grandi quantità di dati e supportare l'integrazione di vari strumenti e tecnologie. Successivamente, occorre selezionare le tecnologie appropriate per l'implementazione della piattaforma. Le tecnologie di MLOps devono facilitare l'automazione e la gestione dell'intero ciclo di vita del machine learning, dalla raccolta dei dati alla modellazione, fino alla distribuzione e monitoraggio dei modelli. Strumenti come Kubernetes, Docker, e sistemi di versionamento dei dati e dei modelli, sono essenziali per garantire un ambiente di sviluppo efficiente e ripetibile. Parallelamente, la preparazione dei dati gioca un ruolo cruciale. È necessario sviluppare pipeline di dati che permettano di raccogliere, pulire, trasformare e arricchire i dati in modo continuo e automatizzato. Questo processo deve essere progettato per essere robusto e affidabile, minimizzando gli errori e assicurando che i dati siano sempre pronti per essere utilizzati nei modelli di machine learning. L'integrazione di queste pipeline con le tecnologie di MLOps permette di creare un flusso di lavoro continuo, dove i dati vengono preparati e i modelli vengono addestrati e distribuiti senza interruzioni. È importante anche implementare sistemi di monitoraggio e logging per tenere traccia delle prestazioni dei modelli e della qualità dei dati, in modo da poter intervenire tempestivamente in caso di problemi.   3. Applicativa : Per verticalizzare una piattaforma su specifici ambiti applicativi di interesse nazionale, è necessario adottare un approccio strutturato che consenta di adattare le funzionalità generali della piattaforma alle esigenze particolari dei settori target. In primo luogo, è fondamentale identificare con precisione gli ambiti applicativi di interesse. Questi possono includere settori come la sanità, l'istruzione, l'agricoltura, l'energia e la pubblica amministrazione. Ogni settore ha le proprie peculiarità e requisiti specifici, che devono essere compresi e analizzati a fondo. Una volta definiti gli ambiti applicativi, è necessario condurre un'analisi approfondita delle esigenze specifiche di ciascun settore. Questo può includere la raccolta di dati, la comprensione dei processi operativi, e l'identificazione delle sfide principali che la piattaforma può aiutare a risolvere. Ad esempio, nel settore sanitario, potrebbe essere necessario integrare la piattaforma con i sistemi di gestione dei pazienti e le cartelle cliniche elettroniche, mentre nel settore agricolo potrebbe essere più rilevante raccogliere dati dai sensori di campo e dalle previsioni meteorologiche. Successivamente, si deve procedere alla personalizzazione della piattaforma in base ai requisiti emersi. Questo può comportare lo sviluppo di moduli specifici o la configurazione di funzionalità esistenti per rispondere alle esigenze del settore. Per esempio, per il settore dell'energia, potrebbe essere utile sviluppare strumenti per l'analisi dei consumi energetici e la gestione delle reti intelligenti, mentre per il settore dell'istruzione si potrebbero implementare funzionalità per il monitoraggio del progresso degli studenti e l'analisi delle prestazioni accademiche. Un altro aspetto cruciale è l'integrazione con i sistemi e le tecnologie già in uso nei diversi settori. Questo richiede la capacità di connettere la piattaforma con varie fonti di dati e applicazioni esistenti, assicurando la compatibilità e l'interoperabilità. Ad esempio, per la pubblica amministrazione, la piattaforma potrebbe dover interfacciarsi con sistemi di gestione documentale e piattaforme di e-government. È inoltre importante considerare l'usabilità e l'accessibilità della piattaforma per gli utenti finali. Le interfacce devono essere intuitive e progettate per facilitare l'adozione da parte di operatori e professionisti del settore. Formazione e supporto continuo sono essenziali per garantire che gli utenti possano sfruttare al meglio le funzionalità della piattaforma. Infine, è fondamentale monitorare e valutare l'impatto della piattaforma nel tempo. Questo include la raccolta di feedback dagli utenti, l'analisi delle prestazioni e l'identificazione di aree di miglioramento. Adattamenti e aggiornamenti continui sono necessari per mantenere la piattaforma allineata con le evoluzioni tecnologiche e le nuove esigenze dei settori applicativi.   Tutti i progetti finanziati nell’ambito della strategia nazionale o che riceveranno finanziamenti pubblici dovranno riportare i dataset utilizzati e i modelli prodotti nel registro, seguendo linee guida che definiranno i livelli di accesso e le modalità di riuso. Il registro sarà utilizzato anche in specifiche iniziative di verticalizzazione per le Imprese e la Pubblica Amministrazione.   Verticalizzazione sulle Imprese Per le Imprese, il focus sarà sull’identificazione di specifiche filiere produttive, promuovendo la condivisione di dati reali e la generazione di dataset sintetici per contesti applicativi specifici. In questo ambito, sarà cruciale promuovere l’uso di Privacy-Enhancing Technologies (PET), soluzioni digitali che permettono di raccogliere, elaborare, analizzare e condividere informazioni proteggendo la riservatezza e la privacy dei dati. Queste tecnologie saranno promosse attraverso interventi formativi e di sensibilizzazione per creare una cultura della condivisione dei dati basata sulla fiducia e sulla tutela della privacy.   Verticalizzazione sulla Pubblica Amministrazione La Pubblica Amministrazione si propone di incentivare il riuso di soluzioni sviluppate con fondi pubblici, promuovendo al contempo la standardizzazione di procedure e piattaforme. Inizialmente, si svilupperanno ecosistemi locali di competenze, che poi saranno espansi a livello nazionale attraverso un processo che parte dal basso, coinvolgendo altre comunità locali e fornendo soluzioni mirate ai loro bisogni specifici. Tuttavia, ci sono sfide da affrontare, come la disomogeneità dei progetti e i differenti livelli di scalabilità. Per risolvere queste problematiche, sarà creato un registro che catalogherà i vari database esistenti nella Pubblica Amministrazione, annotandoli con indicatori di qualità e riservatezza che ne faciliteranno l'uso esterno.   Infrastrutture Digitali L'incremento dell'uso di soluzioni basate sull'intelligenza artificiale potrebbe causare un rischio di congestione delle attuali infrastrutture digitali di comunicazione, dovuto all'aumento significativo del traffico dati. Di conseguenza, sarà fondamentale pianificare azioni strategiche per migliorare e ampliare la rete esistente, con particolare attenzione alle aree ad alta densità di traffico. Verrà incoraggiato lo sviluppo di reti intelligenti, capaci di adattarsi dinamicamente alla domanda in tempo reale, garantendo così una gestione efficiente del flusso di dati e prevenendo eventuali sovraccarichi.   Collaborazione Pubblico-Privato La collaborazione tra settore pubblico e privato sarà incentivata per assicurare che operatori di rete e aziende tecnologiche uniscano le forze nel fronteggiare la congestione di Internet. Questa partnership includerà incentivi per investimenti nelle infrastrutture e programmi di ricerca e sviluppo congiunti per soluzioni innovative. Verranno implementate soluzioni interoperabili per diminuire il carico di dati e la congestione, investendo nella standardizzazione delle soluzioni di rete per tecnologie basate sull'intelligenza artificiale. Inoltre, si promuoverà la consapevolezza e l'educazione sulla gestione responsabile dell'AI, incoraggiando le aziende a adottare pratiche per ridurre l'impatto sulla rete, come l'ottimizzazione degli algoritmi, la compressione dei dati e l'uso di tecnologie di edge computing.   Fondazione per l’intelligenza artificiale Per perseguire efficacemente gli obiettivi definiti nella strategia, sarà fondamentale individuare un'entità responsabile dell'attuazione, del coordinamento e del monitoraggio delle singole iniziative. Questa entità potrebbe essere una Fondazione, posta sotto il controllo diretto della Presidenza del Consiglio dei Ministri, data la sua centralità nell'ecosistema dell'innovazione. La Fondazione avrà il compito di gestire e mantenere il registro delle soluzioni di intelligenza artificiale, valorizzandolo attraverso un modello di business sostenibile. In particolare, è importante prevedere forme di equo compenso per i titolari dei diritti sui dati e sui contenuti utilizzati per scopi di lucro all'interno del registro. La Fondazione fungerà anche da nodo centrale in una rete di attori, promuovendo lo sviluppo e l'adozione di sistemi di AI nelle macroaree strategiche, con particolare attenzione a imprese e Pubblica Amministrazione. Inoltre, le politiche per l'AI sono in continua evoluzione, richiedendo un costante adeguamento delle traiettorie di sviluppo tecnologico per mantenere la competitività del Paese.   In questa prospettiva, il coordinamento della Fondazione dovrà concentrarsi su varie attività, tra cui: 1. Identificare un'agenda di sviluppo in termini di competenze, strumenti, processi e prodotti, collaborando con tutti gli attori dell'ecosistema. 2. Promuovere iniziative di sensibilizzazione per informare le PMI e le microimprese sulle opportunità di business offerte dall'intelligenza artificiale, stimolando così la domanda. 3. Definire criteri per la certificazione delle competenze digitali e di AI delle imprese. 4. Redigere un documento annuale di forecasting sull'utilizzo dell'AI nelle imprese e nella Pubblica Amministrazione. 5. Definire e incentivare iniziative strategiche per l'applicazione industriale dell'AI. 6. Raccogliere i bisogni delle imprese nei diversi settori tecnologici. 7. Coordinare la valutazione di progetti per l'accesso a finanziamenti specifici per PMI e start-up, nell'ambito della strategia nazionale. 8. Supportare la compliance regolativa tramite linee guida e best practices.   Infine, la Fondazione sarà responsabile del monitoraggio dell'intera strategia, valutando costantemente lo stato di avanzamento delle azioni e il raggiungimento dei target.   Strategia per la ricerca Il principale obiettivo della ricerca scientifica è migliorare la qualità della vita delle persone e del contesto sociale in cui vivono. L’Intelligenza Artificiale, nel prossimo futuro, potrà offrire strumenti e tecniche sempre più efficaci per raggiungere questo scopo, grazie alla rapida trasformazione dei risultati della ricerca in servizi e prodotti utili per individui, società e mondo produttivo. In questo scenario di costante innovazione, l’Italia deve puntare a mantenere e intensificare la propria competitività nella ricerca internazionale, sia in ambito accademico sia nel technology transfer, affinché la ricerca fondamentale diventi un motore per la realizzazione di tecnologie applicabili all’innovazione del Paese. La ricerca nell'AI supera i confini nazionali e richiede cooperazione su larga scala. Pertanto, sono necessarie azioni che supportino l’ecosistema nazionale nel contesto delle relazioni internazionali, soprattutto europee. Questo implica promuovere la mobilità, il ritorno dei talenti italiani dall’estero e l’attrattività delle università e dei centri di ricerca italiani per talenti stranieri. Inoltre, la ricerca italiana deve essere sostenuta con investimenti comparabili a quelli internazionali, orientati sia alla ricerca fondamentale dell’AI, in continua evoluzione, sia alla ricerca blue-sky ad alto rischio e lungo termine. È inoltre fondamentale privilegiare la sostenibilità in termini ecologici, sociali, etici e legali, con particolare attenzione alla multidisciplinarità e alla ricerca applicata in collaborazione con le imprese. Questo è cruciale per evitare che l’Italia perda competitività a livello globale nelle sue eccellenze produttive, se non efficacemente supportata da tecnologie innovative. È essenziale favorire sinergie con imprese utilizzatrici di tecnologie e con quelle operanti nel settore ICT, abilitando nuove soluzioni di Intelligenza Artificiale e creando un robusto ecosistema nazionale fertile per lo sviluppo di start-up innovative.   Progettazione di LMM italiani Lo sviluppo dei Foundation Model è sempre più dominato da grandi centri di ricerca privati, con investimenti spesso fuori portata per l’ecosistema italiano. Tuttavia, l'Italia non può permettersi di arretrare su questo importante fronte tecnologico e deve diventare competitiva in Europa, dove spiccano gli investimenti di Germania e Gran Bretagna, rispettivamente per 500 milioni di euro e 100 milioni di euro (in questo caso per modelli fondazionali “safe”).   Perciò, sarà necessario avviare programmi competitivi per il finanziamento di progetti di ricerca collaborativa, anche in sinergia con soggetti privati, per la realizzazione di Large Language Model (LLM) e Large Multimodal Model (LMM) basati sull’italiano e multilingue. Lo sviluppo dovrà concentrarsi su applicazioni specifiche e contestualizzate in settori strategici per l'Italia, come la Pubblica Amministrazione o la salute, assicurando il rispetto dei valori e delle regolamentazioni europee riguardo a:   1. Trasparenza sui dati di training : garantire il rispetto delle leggi sulla non discriminazione, la privacy (GDPR) e la tutela dei diritti umani, fornendo informazioni affidabili sulle fonti dei contenuti generati. 2. Protezione dai contenuti generati falsi (allucinazioni). 3. Tutela dei diritti degli autori e dei creatori  le cui opere sono utilizzate nei dati di addestramento. 4. Meccanismi di tracciamento dei contenuti generati dall’AI , come il watermarking. 5. Sostenibilità ambientale , puntando a tecniche innovative per la riduzione delle dimensioni dei modelli, anche attraverso approcci di incremental e federated learning. 6. Valutazione degli impatti socioeconomici a medio e lungo termine .   Il programma potrebbe essere strutturato in fasi, con un ente di monitoraggio incaricato di selezionare i progetti che avanzano alle fasi successive sulla base dei risultati ottenuti.   Vista la complessità e la natura stessa dei sistemi LMM, ogni iniziativa dovrà essere supervisionata da un Comitato Etico che approvi le linee generali e le metodologie realizzative. In particolare, il Comitato avrà il compito di evidenziare i rischi specifici delle iniziative, orientando le scelte progettuali verso approcci che garantiscano la sicurezza e l'affidabilità delle soluzioni.   Sinergie: progetti interdisciplinari per il benessere sociale Per promuovere la ricerca interdisciplinare nell'ambito dell'Intelligenza Artificiale, saranno attivate iniziative su base competitiva per progetti di ricerca sinergici di medio-piccole dimensioni, coinvolgendo da 2 a 5 partner. Questi progetti mireranno a raggiungere significativi avanzamenti scientifici in vari domini in cui l'AI gioca un ruolo cruciale o è oggetto stesso della ricerca, richiedendo il coordinamento di competenze multidisciplinari. La valutazione dei progetti seguirà criteri di eccellenza, interdisciplinarità e originalità, ispirati ai Synergy Grants dell'European Research Council (ERC). Gli ambiti di applicazione dovranno prioritariamente considerare l'utilizzo dell'AI per il benessere sociale.   A titolo esemplificativo, alcuni specifici domini applicativi includono: - Progetti per la tutela del paesaggio, del mare o dell'ambiente. - Ricerca sulle nuove sfide create dall'AI in temi come copyright, deepfake, disinformazione online e responsabilità. - Studi su etica e AI. - Analisi degli impatti socioeconomici dell'AI su questioni come disuguaglianza economica, discriminazione sociale e monopoli. - Applicazione del machine learning in altre discipline (progetti di AI4Science). - Sicurezza nazionale e delle persone. - Ottimizzazione delle risorse ambientali ed energetiche. - Pilot di sistemi digitali/AI e sociali per guidare la trasformazione digitale centrata sulle persone e sulla società, abilitata dall'AI. - Soluzioni a supporto del patrimonio intellettuale e culturale digitalizzato (digital humanities).   Ricerca fondazionale e blue-sky per l’AI di prossima generazione Nell’ottica di sostenere le attività di ricerca fondazionale e in linea con quanto sviluppato nel progetto FAIR, si prevede di lanciare un programma di ricerca ispirato alle challenge di ricerca nordamericane. Questo programma sarà focalizzato su ricerche con il potenziale di generare un salto generazionale a livello tecnologico-scientifico e promuovere innovazione dirompente.   Il programma avrà una struttura bottom-up e si articolerà in due fasi per la selezione delle idee progettuali. Nella prima fase, i ricercatori potranno proporre tematiche per le challenge. Le idee raccolte verranno selezionate, e i proponenti dei temi scelti contribuiranno alla gestione della fase successiva. In questa seconda fase, si raccoglieranno le proposte coerenti con i temi selezionati, e verranno individuate le proposte vincenti.   Le proposte saranno presentate da consorzi di piccole dimensioni, garantendo così un’ampia partecipazione e una diversificazione delle idee.   Strategia per la pubblica amministrazione L’Intelligenza Artificiale può diventare un fattore centrale nella trasformazione digitale della Pubblica Amministrazione, grazie al suo potenziale sia per migliorare l’efficienza delle attività interne, sia per offrire servizi più adeguati alle esigenze dei cittadini. Negli ultimi anni, diverse iniziative settoriali hanno avviato l’integrazione dell’AI nella PA. Ora è necessario un approccio strutturato e sistematico che supporti tutti gli elementi necessari per un funzionamento efficace della PA. È cruciale evitare la frammentazione delle soluzioni, sviluppando iniziative progettuali di interesse nazionale e definendo i contorni operativi per le singole amministrazioni, in modo che possano innovare autonomamente, ma all’interno di un quadro collettivo che assicuri interoperabilità e standard funzionali precisi.   Nello sviluppare la strategia per la Pubblica Amministrazione, è fondamentale adottare un insieme coerente di azioni multidisciplinari per sfruttare appieno le opportunità offerte dalle tecnologie basate sull’Intelligenza Artificiale. L'obiettivo è creare un circolo virtuoso tra vari aspetti:   1. Qualità, privacy, sicurezza e gestione dei dati : Fondamentali per l’uso delle tecniche di AI. 2. Sviluppo di tecnologie e strumenti software basati su AI : Per garantire interoperabilità, tracciabilità, credibilità, accuratezza e pertinenza delle fonti, creando fiducia nei processi decisionali. 3. Formazione del personale della PA : Sulle tecnologie e sugli strumenti di AI, nel rispetto di leggi, regolamenti e migliori pratiche. 4. Monitoraggio e miglioramento sistematico : Con misure statistiche di qualità per valutare le prestazioni dei servizi in sviluppo e in esercizio. 5. Supporto per i processi decisionali strategici : E valutazione regolare delle prestazioni degli strumenti di AI. 6. Impegno contro pregiudizi e violazioni della proprietà intellettuale . 7. Sviluppo di strumenti a supporto dei cittadini : Valutandone attentamente capacità abilitanti, vantaggi e rischi.   AI nella scuole per la pubblica amministrazione Per supportare i processi di innovazione della Pubblica Amministrazione, è fondamentale promuovere percorsi di upskilling specifici, mirati ad ampliare le competenze e le conoscenze del personale attualmente in servizio. A tal fine, presso la Scuola Nazionale dell’Amministrazione, verrà istituito un Dipartimento dedicato all’Intelligenza Artificiale. Questo dipartimento offrirà corsi di formazione post-laurea di eccellenza per i dipendenti della Pubblica Amministrazione, con programmi differenziati in base al livello e ai contenuti, adattati all'inquadramento delle diverse figure professionali coinvolte.   L'iniziativa sarà inoltre propedeutica all’avvio di progetti di innovazione nella Pubblica Amministrazione, realizzati in collaborazione con università e centri di ricerca. Tali percorsi formativi dovranno essere implementati anche nelle scuole di formazione per la Pubblica Amministrazione, inclusi gli enti locali, per garantire un approccio omogeneo e coordinato all'interno dell'intero settore pubblico.   Strategia per le imprese Il sistema imprenditoriale italiano è caratterizzato da una forte propensione all'eccellenza nei processi e nei prodotti. L’Italia, storicamente un grande paese industriale con una solida vocazione manifatturiera, è da sempre all'avanguardia nell'innovazione e nell'automazione. In questo contesto, abbracciare la rivoluzione dell’Intelligenza Artificiale rappresenta un percorso naturale per lo sviluppo del sistema produttivo e imprenditoriale del nostro Paese.   Per realizzare questo obiettivo, è fondamentale elaborare un progetto strategico su due livelli. Da un lato, bisogna valorizzare il ruolo delle imprese ICT italiane, facilitandone lo sviluppo di nuove soluzioni e applicazioni di AI. Questo implica promuovere sinergie con università e centri di ricerca, nonché creare reti di relazioni nazionali che favoriscano la crescita delle competenze e una massa critica in specifici ambiti tecnologici e applicativi, con l'obiettivo di emergere a livello internazionale.   Parallelamente, la strategia deve rivolgersi anche alle imprese non direttamente coinvolte nello sviluppo di soluzioni tecnologiche, ma che traggono vantaggio dall'innovazione per migliorare la propria catena del valore. La trasformazione digitale ha già portato imprenditori e manager a riorientare le strategie aziendali verso la centralità del dato e dell’AI per mantenere la competitività, tenendo conto anche delle sfide future legate alla sostenibilità ambientale.   Diventa quindi sempre più rilevante affermare la necessità di un nuovo approccio operativo aziendale, dove la trasformazione dei dati in insight, azioni e decisioni, e l’abilitazione di nuovi processi attraverso l'uso di sistemi di AI, anche generativi, assumano una centralità accanto a quella produttiva. Nel definire strategie coerenti con questa visione, è essenziale considerare le peculiarità del tessuto produttivo italiano, progettando un ecosistema dell'innovazione guidata dall’AI che rafforzi l’eccellenza delle imprese italiane attraverso soluzioni innovative che ne valorizzino i tratti distintivi.   La strategia per l’AI in Italia deve quindi essere saldamente ancorata alle specificità del nostro sistema sociotecnico e sfruttare le iniziative già in corso di trasferimento tecnologico verso le PMI, promuovendo la collaborazione con grandi imprese, università e organismi di ricerca.   Obiettivi - Intercettare i bisogni di innovazione delle imprese italiane. - Sostenere il comparto italiano dell’ICT.   Azioni strategiche - Facilitatori per l’AI nelle PMI : Supportare le PMI nell’adozione di tecnologie AI. - Sostegno allo sviluppo e all’adozione di soluzioni di AI : Incentivare la creazione e l’implementazione di soluzioni AI. - Laboratori per lo sviluppo di applicazioni AI in contesti industriali : Creare spazi dedicati alla sperimentazione e sviluppo di applicazioni AI. - Sviluppo di start-up in ambito AI : Promuovere la nascita di nuove start-up nel settore dell’AI. - Servizi per le aziende ICT sull’AI : Fornire supporto alle aziende ICT per lo sviluppo di soluzioni AI.   In sintesi, la strategia nazionale mira a coordinare e rafforzare l'ecosistema dell’AI tra le PMI, anche attraverso fondi dedicati, e a potenziare il sistema ICT e la creazione di start-up innovative. Queste azioni intendono intercettare le esigenze di innovazione delle imprese italiane e sostenere il settore ICT, promuovendone il ruolo abilitante per la definizione di nuove applicazioni AI e favorendo l’attrazione di finanziamenti per nuove iniziative progettuali.   Facilitatori per l’intelligenza artificiale nelle PMI Per sfruttare appieno le enormi potenzialità dell'Intelligenza Artificiale nel contesto produttivo e imprenditoriale, sarà necessario promuovere soluzioni e sviluppare applicazioni concretamente utilizzabili in specifici settori come automazione, agroalimentare, arredo, abbigliamento, turismo, chimico, farmaceutico e aerospazio. A tal fine, verrà definito un ecosistema di facilitatori radicati sul territorio, sotto il diretto controllo della Fondazione per l’Intelligenza Artificiale. La fondazione si occuperà dell'attuazione, del coordinamento e del monitoraggio, lavorando in stretta sinergia con gli attuali attori dell'ecosistema dell'innovazione e con altre fondazioni rilevanti come FAIR, Chips.IT e AI4Industry.   Ogni facilitatore collaborerà con università e centri di ricerca, coprendo una o più filiere produttive e diventando un punto di incontro naturale tra le imprese ICT, che offrono soluzioni per l'innovazione, e le aziende che beneficiano di tali tecnologie.   I facilitatori avranno diverse funzioni chiave: 1. Erogare servizi di innovazione basati sull’AI, come la valutazione della maturità tecnologica delle aziende e l'analisi delle necessità e opportunità di innovazione. 2. Abilitare soluzioni interoperabili per le imprese della filiera, coinvolgendo in particolare le aziende ICT italiane per sviluppare soluzioni di AI che rispondano alle esigenze comuni di un'intera filiera, con eventuali personalizzazioni demandate ai singoli soggetti. 3. Raccogliere e codificare i dati caratteristici delle arti e dei mestieri distintivi dei vari settori, utilizzandoli per l’addestramento delle soluzioni di Intelligenza Artificiale e contribuendo al Patrimonio di Conoscenza Nazionale. 4. Sensibilizzare e promuovere la formazione delle risorse umane. 5. Certificare le competenze digitali e dell’AI all'interno delle imprese. 6. Creare sinergie tra grandi imprese, aziende leader di mercato e PMI, favorendo il trasferimento tecnologico. 7. Sostenere lo sviluppo di start-up, facilitandone l'interconnessione con il sistema delle imprese utilizzatrici di AI, anche attraverso sinergie con incubatori esistenti.   Questo approccio integrato e collaborativo mira a massimizzare l'impatto dell'Intelligenza Artificiale nel tessuto produttivo nazionale, promuovendo innovazione e competitività.   Sostegno allo sviluppo e all’adozione di soluzioni di AI Un elemento cruciale per lo sviluppo dell'ecosistema dell'Intelligenza Artificiale in Italia sarà la creazione di un serbatoio dedicato di risorse finanziarie, finalizzato a sostenere specifiche iniziative progettuali. Questo fondo sarà destinato a finanziare progetti sia di imprese operanti nel settore ICT, focalizzate sullo sviluppo di nuove soluzioni di AI, sia di imprese non ICT che mirano a innovare i propri processi produttivi adottando soluzioni di AI.   I progetti potranno essere promossi sia da reti di imprese che da singole aziende e verranno agevolati attraverso diversi strumenti finanziari:   1. Finanza ordinaria  per supportare progetti di investimento in AI a livello di singola impresa. 2. Strumenti di corporate venture capital  per iniziative AI-driven che riguardano, ad esempio, le catene di fornitura. 3. Supporto in termini di private equity . 4. Voucher  da utilizzare per attività di supporto all'innovazione basata sull'AI nei facilitatori.   Questo approccio multilaterale permetterà di sostenere in modo efficace la crescita e l'innovazione tecnologica nel settore dell'Intelligenza Artificiale in Italia.   Laboratori per lo sviluppo di applicazioni AI in contesti industriali Per stimolare la crescita del tessuto produttivo in Italia, è fondamentale sviluppare progetti coordinati che promuovano la collaborazione tra imprese e università. Grandi imprese in settori come il manifatturiero, energetico e farmaceutico, aziende di consulenza e servizi, nonché associazioni di imprese, hanno da tempo istituito centri di ricerca verticali. Questi centri consolidano il loro know-how tecnologico e lo arricchiscono attraverso progetti con università e centri di ricerca. Tali iniziative sono perlopiù finanziate privatamente o tramite fondi regionali ed europei.   Nel campo dell'Intelligenza Artificiale, il connubio pubblico-privato è essenziale, come dimostrato da numerose esperienze internazionali. Questa collaborazione è cruciale non solo per la definizione delle attività progettuali, ma anche per la costituzione dei centri di ricerca stessi, dove il contributo industriale e accademico deve essere paritetico.   La ricerca universitaria nell'AI deve fungere da fonte di ispirazione per nuove idee e sperimentazioni. Pertanto, si promuoverà in Italia la creazione di "laboratori tematici in AI applicata" che coinvolgano un'impresa e uno o più atenei o centri di ricerca pubblici. Allo stesso tempo, si incoraggerà la formazione di "centri/istituti tematici in AI applicata" che raggruppino più imprese dello stesso settore, sempre in collaborazione con enti di ricerca pubblici.   Questi centri saranno orientati verso livelli di maturità tecnologica (TRL) vicini alle applicazioni di mercato e avranno i seguenti obiettivi: 1. Sviluppare ricerca applicata esplorativa di interesse per le aziende o per la filiera, con gestione condivisa della proprietà intellettuale, anche in relazione ai finanziamenti specifici. 2. Abilitare soluzioni esistenti in chiave di filiera, sperimentando verticalizzazioni innovative che preservino il know-how italiano. 3. Fare da ponte tra imprese, università e il mondo della ricerca e dello sviluppo a livello europeo e internazionale, sfruttando legami accademici, soprattutto nelle aree di interesse per l'export italiano. 4. Creare sinergie tra grandi imprese, aziende, PMI e start-up. 5. Fornire supporto alla certificazione e brevettazione, in collaborazione con l’ecosistema nazionale della ricerca e con i centri di competenza e gli EDIH di matrice più industriale. 6. Supportare la formazione dei futuri esperti in AI, finanziando dottorandi, ricercatori, professori, figure dedicate al trasferimento tecnologico, e soprattutto tecnici e professionisti da inserire immediatamente nel mercato del lavoro.   Sviluppo di start-up nell’ambito AI Nell’ambito dello sviluppo e dell’applicazione delle tecnologie per l’Intelligenza Artificiale, le start-up rivestono un ruolo cruciale per la competitività del tessuto produttivo e imprenditoriale. Tuttavia, l’Italia si colloca attualmente agli ultimi posti in Europa per numero di start-up di AI, con solo 0.68 start-up per milione di abitanti, rispetto alle 2.05 della Francia e alle 1.99 della Germania.   Nonostante in Italia siano già presenti attori con competenze consolidate nell'incubazione, accelerazione e raccolta di investimenti, sia nel settore privato che accademico, i numeri mostrano chiaramente la necessità di ulteriori e significativi investimenti in questo settore. È fondamentale consolidare e supportare le iniziative esistenti, creando sinergie tra di esse. Questo non significa solo finanziare direttamente le nuove imprese ad alto contenuto tecnologico o promuovere iniziative di defiscalizzazione, ma anche sostenere programmi articolati che accompagnino le start-up in tutte le fasi del loro sviluppo.   Di particolare rilievo è la promozione di iniziative accademiche che si configurano come spin-off universitari. A tale scopo, si potrebbe incentivare la creazione, all'interno degli atenei, di laboratori di AI-Enterprise basati sul modello del Regno Unito. Questi laboratori offrirebbero un ambiente dinamico in cui i ricercatori collaborano con professionisti aziendali, usufruendo di programmi di accelerazione, supporto finanziario e consulenza specializzata. Tali laboratori aiuterebbero a comprendere le dinamiche del mercato e le esigenze dell’industria dell’AI, trasformando le idee accademiche in soluzioni commerciali.   In questo contesto, è necessario promuovere pratiche comuni per la concessione di licenze sulla proprietà intellettuale e per la creazione degli spin-off, con particolare attenzione ai rapporti economici e alle partecipazioni azionarie.   Parallelamente, è necessario promuovere l'interconnessione tra start-up e imprese che utilizzano applicazioni di intelligenza artificiale, superando le difficoltà di interazione tra il mondo delle imprese innovative e le aziende già consolidate. Per farlo, è essenziale mantenere un approccio integrato e coordinato, coinvolgendo attori istituzionali, privati e accademici in una rete collaborativa. Un punto cruciale per raggiungere una massa critica consiste nell'identificare progetti in grado di agire come catalizzatori e punti di riferimento a livello nazionale, attirando così investitori.   La promozione delle partnership pubblico-privato è un elemento cruciale, insieme al coinvolgimento dei talenti formati in ambito accademico attraverso progetti congiunti. È importante valorizzare a livello internazionale le soluzioni di intelligenza artificiale sviluppate dalle start-up, incentivando al contempo progetti mirati all'implementazione di sandboxes. Questi spazi protetti permettono di sperimentare e testare innovazioni in un ambiente controllato, favorendo così lo sviluppo e la diffusione di nuove tecnologie.   Servizi per le aziende ICT sull’AI La competitività dell'industria nazionale nel campo dell'Intelligenza Artificiale dipenderà in gran parte dalla capacità delle imprese italiane di sviluppare soluzioni e servizi all'interno di un contesto normativo europeo e globale estremamente dinamico, dove i costi della compliance rappresentano una barriera significativa all'ingresso nel mercato. A livello comunitario e internazionale, vari Stati hanno avvertito la necessità di creare "spazi di sperimentazione normativa" per l'AI (sandbox), con l'obiettivo di offrire un ambiente controllato che faciliti lo sviluppo e la validazione delle soluzioni di Intelligenza Artificiale.   L'AI Act prevede la marcatura CE per i sistemi di AI ad alto rischio, richiedendo ulteriori certificazioni in contesti applicativi specifici. Pertanto, è fondamentale adottare misure di sostegno per ridurre gli oneri della compliance normativa e delle certificazioni, in particolare per le applicazioni ad alto rischio. Allo stesso tempo, è importante incentivare le piccole e medie imprese e le start-up a sfruttare le sandbox. Questi supporti potrebbero essere implementati attraverso bandi di finanziamento o fornendo servizi di consulenza specializzata.   Parallelamente, sarà necessario supportare le aziende nel riconoscimento e ottenimento delle certificazioni per i sistemi AI in settori specifici, come l'aerospazio (ad esempio, in conformità con ENAV, ASA, EASA), anche in considerazione dei nuovi regolamenti EU 2023/988 e 2023/1230.   Strategia per la formazione L'Intelligenza Artificiale può trasformare significativamente il sistema socioeconomico del Paese, sfruttando i rapidi progressi e le opportunità offerte dall'AI generativa. Tuttavia, per beneficiare appieno di queste tecnologie, è indispensabile disporre di elevate competenze professionali capaci di sviluppare e gestire algoritmi e sistemi di AI. Attualmente, la disponibilità di tali competenze in Italia è notevolmente inferiore alla domanda, causando un rallentamento nell'adozione di queste soluzioni. Pertanto, è fondamentale affrontare questo problema strutturale attraverso un piano strategico volto a rafforzare, integrare e diffondere la conoscenza dell'AI e delle competenze digitali nel sistema educativo, dai Tecnici Superiori (ITS) alle università, con particolare attenzione ai dottorati di ricerca.   Questo investimento deve essere integrato con importanti temi sociali, come la riduzione del divario di genere nelle discipline STEM e la considerazione della natura intrinsecamente multidisciplinare dell'AI, che richiede percorsi formativi aperti a vari ambiti e competenze.   L'impatto dell'AI non si limita all'istruzione; le competenze richieste nei luoghi di lavoro sono sempre più avanzate e vi è il rischio di emarginazione per chi non è adeguatamente formato. Una strategia nazionale per l'AI deve assicurare che nessun lavoratore venga lasciato indietro. È necessario un programma robusto di incentivazione per il reskilling e l'upskilling, aggiornando e riqualificando i lavoratori per reinserirli efficacemente nel ciclo produttivo e renderli utilizzatori consapevoli dei nuovi strumenti tecnologici. L'AI può creare nuova occupazione e migliorare la qualità del lavoro, aumentando efficienza e produttività in ambienti più adatti alle persone. La realizzazione di efficaci programmi di reskilling e upskilling su tutto il territorio nazionale è quindi essenziale per questa trasformazione.   Nonostante ciò, sarà necessario un ulteriore sforzo. Affinché l'AI produca effetti positivi su tutta la società riducendo i rischi, bisognerà ampliare il concetto di "formazione", implementando un processo di alfabetizzazione sull'AI che coinvolga scuole, lavoratori e cittadini, con un'attenzione particolare alle categorie più deboli. L'obiettivo è evitare che i processi di digital divide minino la coesione sociale ed economica del Paese. Educare alla cittadinanza digitale nell'era dell'AI è cruciale per colmare il divario di conoscenza e affrontare le preoccupazioni etiche e sociali associate a questa tecnologia. Percorsi formativi sull'AI nelle scuole, campagne pubblicitarie informative e la promozione della comprensione delle implicazioni etiche dell'AI sono passi fondamentali per orientare correttamente il tessuto socioeconomico verso un uso consapevole dell'AI, cogliendone i vantaggi e valutandone criticamente i rischi.   Obiettivi - Promuovere una formazione universitaria capillare sull’AI : Rispondere alle crescenti richieste di nuove competenze nella società e nel mondo del lavoro con un approccio trasversale e interdisciplinare. Consolidare la formazione specialistica nei percorsi tecnici e di ricerca, come il Dottorato Nazionale sull’Intelligenza Artificiale.   - Realizzare percorsi educativi sull’AI nelle scuole: Preparare le nuove generazioni a un uso consapevole delle nuove tecnologie. Sviluppare iniziative di divulgazione per sensibilizzare e coinvolgere la società italiana nella rivoluzione dell’AI.   - Finanziare e sostenere iniziative di reskilling e upskilling : Implementare tali iniziative in tutti i contesti produttivi per aggiornare e riqualificare i lavoratori, assicurando una loro integrazione efficace nel ciclo produttivo e una consapevolezza nell'uso delle nuove tecnologie.   Percorsi per l’avvicinamento all’AI nella scuola – studenti e docenti La rivoluzione dell’AI richiede un avvicinamento graduale alla disciplina già dalle scuole primarie e secondarie. Per questo motivo, è necessario realizzare percorsi formativi per l’alfabetizzazione nell’AI, rivolti prioritariamente ai docenti e successivamente agli studenti.   Per quanto riguarda gli studenti, un utile orientamento è rappresentato dalla legge 20 agosto 2019, n. 92, “Introduzione dell’insegnamento scolastico dell’educazione civica”, che all’articolo 5 individua il nucleo tematico dell’Educazione alla cittadinanza digitale. L’attuazione di questa norma dovrà includere percorsi che prevedano lo studio dei principi base dell’AI e attività pratiche per sviluppare competenze nell’utilizzo degli strumenti disponibili, evidenziando il corretto uso degli stessi in termini di etica, aspetti sociali, privacy e sicurezza cibernetica.   Per garantire l’efficacia dei percorsi rivolti agli studenti, è fondamentale che i docenti siano previamente formati sulle basi teoriche e pratiche necessarie per integrare questi concetti nei programmi di studio. A tal fine, sarà necessaria una vasta campagna di formazione ad-hoc, coinvolgendo università, centri di ricerca, associazioni del terzo settore e aziende con specifiche competenze in iniziative di formazione digitale.   I percorsi formativi dovranno essere erogati su base nazionale, sia in presenza sia in modalità online o ibrida, e dovranno garantire un’ampia condivisione del materiale didattico utilizzato. Questo potrebbe essere realizzato attraverso repository online o altri strumenti digitali che permettano un accesso facile e aperto a risorse educative di qualità. La condivisione del materiale favorirà la trasparenza e la collaborazione tra le istituzioni educative e contribuirà alla creazione di una base comune di conoscenza nell’ambito della didattica dell’Intelligenza Artificiale.   Per garantire programmi educativi coerenti e ben strutturati, sarà cruciale collaborare con esperti di intelligenza artificiale, pedagogia e sociologia. Questo lavoro di squadra permetterà di stabilire obiettivi di apprendimento chiari, individuare i concetti essenziali da affrontare e creare metodologie didattiche efficaci, personalizzate in base alle diverse tipologie di studenti. La sinergia tra tecnici e specialisti della formazione garantirà che i percorsi educativi siano tecnicamente accurati e adeguati alle esigenze degli studenti, favorendo un'educazione completa e mirata.   Mobilità quale strumento per la formazione sull’AI In un contesto dinamico come quello dell'Intelligenza Artificiale, è cruciale stabilire meccanismi per lo scambio di competenze ed esperienze tra vari attori istituzionali. Per raggiungere questo obiettivo, è necessario implementare specifici programmi di mobilità, articolati su quattro direttrici principali.   1. Tirocini : Le esperienze nelle imprese sono spesso fondamentali per la formazione dei giovani studenti universitari. Per promuovere questa pratica, saranno finanziate borse di studio per tirocinanti per periodi di 3-6 mesi, assegnate secondo i principi del diritto allo studio.   2. Internship : L'interscambio di competenze tra università e imprese è una buona pratica internazionale che trova difficoltà ad essere recepita in Italia. Per incentivare la sua adozione, le imprese e le università potranno beneficiare di opportuni incentivi. Per le Pubbliche Amministrazioni, i percorsi di internship potranno essere assimilati alla formazione obbligatoria.   3. Mobilità per la ricerca : Attraverso borse di ricerca, saranno finanziati periodi di mobilità e visite tra diverse università italiane e/o centri pubblici e/o della Pubblica Amministrazione, con l'obiettivo di massimizzare il trasferimento delle conoscenze e favorire uno sviluppo diffuso e dettagliato.   4. Alto Apprendistato : Si dovrà promuovere il modello dell’Apprendistato Duale di Alta Formazione e Ricerca, utilizzato da varie regioni con fondi FSE. Questo modello permette alle imprese di assumere giovani sotto i 30 anni (studenti di ITS, università, master, dottorato) beneficiando degli sgravi fiscali dell’apprendistato tradizionale e consentendo ai neoassunti un periodo di formazione. Anche in questo caso, specifici finanziamenti per la formazione potranno promuovere questi percorsi innovativi.   Didattica diffusa sull’AI nei corsi di laurea universitari Considerando le crescenti esigenze del mercato del lavoro per personale con competenze digitali avanzate e il divario attuale con la qualificazione dei laureati, è necessario rafforzare ulteriormente i corsi di laurea universitari in Intelligenza Artificiale, promuovendo anche significative iniziative di orientamento. Tuttavia, uno dei rischi legati allo sviluppo rapido delle tecniche e conoscenze in ambito AI è la limitatezza del numero di persone che hanno accesso a percorsi formativi continui e aggiornati. Questi percorsi sono essenziali per costruire le competenze necessarie a comprendere i costi e i benefici dell'AI, valutarne i processi in maniera critica e utilizzarne gli strumenti in modo creativo.   Per mitigare questo rischio, sarà fondamentale integrare insegnamenti sulle basi dell’Intelligenza Artificiale in tutti i percorsi universitari, inclusi quelli non-STEM, adattando i contenuti agli obiettivi delle specifiche discipline. Di conseguenza, le università dovranno essere incentivate, ad esempio attraverso la quota premiale di funzionamento, sulla base della percentuale di corsi di studio in cui tali insegnamenti sono attivati.   Potenziamento del dottorato nazionale in AI Il Dottorato di Interesse Nazionale in AI ( www.PhD-AI.it ), attivato nel XXXVII ciclo, rappresenta il punto di riferimento per la formazione dottorale in intelligenza artificiale. Con circa 150 iscritti per ciascuno dei tre cicli attivati fino ad oggi, ha creato un ecosistema integrato che ha superato la frammentazione esistente nella formazione dottorale in AI, coordinando le iniziative di oltre 60 università ed enti di ricerca. I primi due cicli sono stati finanziati specificamente dal MUR, mentre il terzo ciclo ha ricevuto principalmente fondi dal PNRR.   Per garantire la continuità di questa opportunità strategica, sarà necessario supportare costantemente i cinque dottorati con il co-finanziamento di almeno 40 borse l’anno per ciascuno, promuovendo eventualmente l'allargamento del partenariato attuale. Questo è essenziale per rispettare il vincolo del DM 226/21 sui Dottorati di Interesse Nazionale e per consentire una pianificazione pluriennale, evitando la competizione con i dottorati locali delle singole università, in linea con lo spirito dell'art. 11 del DM 226/21: “Il Ministero favorisce l’attivazione dei dottorati di interesse nazionale e ne prevede le modalità di cofinanziamento”.   Per quanto riguarda le attività didattiche, il PhD-AI.it ha usufruito di un budget limitato per le iniziative promosse dal Comitato di Coordinamento solo nei primi due anni, finanziato inizialmente dal MUR/CNR. Pertanto, sarà necessario sostenere in modo continuativo le iniziative didattiche coordinate tra i cinque dottorati. Questo include, ad esempio, l'invito di scienziati internazionali per tenere corsi comuni, l'organizzazione di scuole di dottorato sia a livello individuale che nazionale, e la promozione e disseminazione dei risultati.   Programmi di upskilling e reskilling per imprese e pubblica amministrazione L'uso sempre più diffuso dell'Intelligenza Artificiale nei contesti produttivi sta rapidamente trasformando le dinamiche del mondo del lavoro. Contrariamente a scenari catastrofici sulle prospettive occupazionali, emerge sempre più chiaramente che le nuove tecnologie rappresentano una grande opportunità.   Le competenze digitali e la conoscenza specifica dell'Intelligenza Artificiale aprono già oggi, e apriranno sempre più in futuro, nuove strade nel mondo lavorativo. Tuttavia, le prospettive, come descritto dal World Economic Forum, mostrano un crescente disallineamento tra le competenze richieste e quelle possedute dai lavoratori. Ci troviamo quindi in uno scenario paradossale in cui l'Intelligenza Artificiale rischia di ridurre i posti di lavoro non a causa della sua capacità di automazione, ma perché il sistema formativo non riesce a colmare efficacemente questa distanza. Investire in percorsi di upskilling e reskilling diventa dunque essenziale. È necessario sviluppare corsi di formazione sull'AI per riqualificare e aggiornare i lavoratori, facilitando il loro reinserimento nei nuovi posti di lavoro creati dalle tecnologie dell'AI.   Particolare attenzione deve essere rivolta ai lavoratori dei settori in cui le tecnologie AI hanno raggiunto un elevato grado di maturità e offrono maggiori prospettive di impatto. È fondamentale accompagnare e motivare coloro che potrebbero incontrare maggiori difficoltà, ad esempio per ragioni di età, nell'adattarsi a nuovi scenari e innovazioni tecnologiche. Nei percorsi formativi, sarà indispensabile articolare i piani d'azione in relazione ai diversi ruoli e funzioni dei lavoratori, privilegiando azioni rivolte agli utilizzatori delle tecnologie per creare ambienti ricettivi al cambiamento e pronti a valorizzare le competenze esistenti supportate dall'Intelligenza Artificiale.   La condivisione di esperienze di successo, maturate sia nel settore pubblico sia in quello privato, sarà utile a tale scopo. Ad esempio, ispirandosi all'iniziativa “Elementi di AI” promossa dal Dipartimento di Transizione Digitale e resa disponibile a tutte le realtà economiche tramite lo sportello digitale dell’imprenditore sviluppato da InfoCamere, si potrà realizzare un corso video sull'AI, erogato dai maggiori esperti italiani nel settore, accessibile con modalità analoghe.   Percorsi di reskilling e upskilling dovranno inoltre coinvolgere anche i quadri dirigenziali. Le nuove tecnologie impattano profondamente sugli aspetti organizzativi e sulla gestione dei processi interni. Innovare significa non solo adottare nuove tecnologie per rispondere a specifiche esigenze di efficientamento, ma soprattutto rivedere complessivamente l'organizzazione interna per creare ambienti più stimolanti e in linea con le esigenze dei lavoratori, grazie alle potenzialità offerte dall'AI.   Infine, percorsi di reskilling e upskilling dovranno essere destinati ai tecnici, sia delle imprese sia della Pubblica Amministrazione, per aggiornare le loro competenze con le nuove tecnologie dell'AI. In questo contesto, oltre all'attivazione di master dedicati e percorsi professionalizzanti, una best practice da adottare è quella delle Academy di filiera, implementata da alcune regioni con fondi FSC. L'iniziativa prevede la creazione di consorzi, che includono enti di formazione, associazioni di categoria e imprese medio-grandi, capaci di erogare corsi di reskilling e upskilling per i propri lavoratori e quelli delle PMI coinvolte nella filiera. I consorziati sarebbero incaricati di progettare e offrire i percorsi formativi, mettendo a disposizione le loro strutture e risorse umane per la formazione degli studenti. Utilizzeranno i laboratori didattici e si occuperanno anche della promozione dei corsi, con l'obiettivo di attrarre giovani talenti e favorire un'ampia partecipazione.   Educazione all’utilizzo degli strumenti di AI L'uso sempre più diffuso dell'intelligenza artificiale rende indispensabile sensibilizzare i cittadini sul corretto utilizzo delle nuove tecnologie. È cruciale promuovere un uso consapevole degli strumenti digitali e delle applicazioni disponibili oggi. Per raggiungere questo obiettivo, è necessario il coinvolgimento di vari "attori" nazionali, come amministrazioni pubbliche, istituzioni governative, associazioni, fondazioni e media. Questo permetterà di diffondere una cultura digitale che incoraggi un utilizzo informato delle tecnologie informatiche, non limitandosi esclusivamente all'AI.   Un ruolo chiave sarà giocato dalla collaborazione con attori del terzo settore, che possiedono competenze specifiche in questo tipo di iniziative. Le attività di sensibilizzazione dovranno essere articolate su più livelli:   1. Programmi televisivi o radiofonici:  Inserire contenuti dedicati all'interno di trasmissioni esistenti. 2. Rubriche informative : Creare rubriche continuative su riviste e giornali generalisti. 3. Pubblicità progresso : Lanciare una campagna dedicata ai rischi e alle opportunità dell'AI. 4. Campagna di affissioni : Utilizzare messaggi emozionali attraverso cartelloni, siti web e social media, con videoclip dedicati. 5. Eventi sul territorio : Organizzare eventi in collaborazione con associazioni di persone o professionali. 6. Dibattiti pubblici : Promuovere discussioni sociali informate, coinvolgendo diversi stakeholder con l'ausilio di piattaforme.   Tutte queste iniziative saranno coordinate centralmente da un comitato tecnico-scientifico, che avrà il compito di definire ambiti, canali e contenuti delle attività di sensibilizzazione.   Corsi ITS focalizzati sull’AI Gli Istituti Tecnologici Superiori (ITS) rappresentano un eccellente strumento di formazione di qualità e offerta formativa terziaria professionalizzante in Italia, un sistema consolidato anche in altri paesi europei. Gli ITS propongono corsi biennali o triennali per diplomati, che prevedono circa 900 ore annuali di attività laboratoriale e stage presso le imprese, con classi composte da circa 30 studenti. L'obiettivo principale è formare professionisti con elevate competenze tecnologiche e tecniche, contribuendo in modo sistematico allo sviluppo economico e alla competitività del sistema produttivo, in linea con le aree tecnologiche strategiche delle politiche di sviluppo industriale, tecnologico e di riconversione ecologica.   Queste strutture di formazione dovranno inoltre adattarsi per offrire corsi sull'intelligenza artificiale e integrare tale tematica nei corsi esistenti, coinvolgendo attivamente università e aziende del settore ICT specializzate nello sviluppo di soluzioni basate sull’AI.   Monitoraggio della strategia L'implementazione di qualsiasi iniziativa strategica richiede un sistema di monitoraggio adeguato, fondamentale per garantirne il successo. Monitorare lo stato di avanzamento e le criticità consente di intervenire con azioni correttive o, se necessario, rivedere gli obiettivi strategici in risposta a significative evoluzioni del contesto. I sistemi di misurazione possono essere distinti tra strumenti quantitativi e approcci qualitativi, ma la scelta dell'uno o dell'altro dipende dal contesto, dalla natura del piano e dalla disponibilità di dati.   Ogni azione strategica nelle aree della Formazione, della Ricerca, della Pubblica Amministrazione e delle Imprese è associata a un valore target specifico e a una metrica quantitativa, definita attraverso un indicatore chiave di prestazione (KPI). Questi KPI sono utilizzati per monitorare l'avanzamento delle azioni verso i loro obiettivi, focalizzandosi sull'efficacia.   A un livello più complesso, si potrebbe considerare il rapporto costo/efficacia e, ancora più difficile, il rapporto costi/benefici, valutando il beneficio differenziale del progetto rispetto agli usi alternativi delle risorse. Tuttavia, la strategia attuale si limita a valutazioni di efficacia, promuovendo la cultura dell'autovalutazione senza entrare in giudizi di valore economico.   La valutazione dell'efficacia della strategia non si limita all'analisi del raggiungimento dei KPI delle singole azioni, ma deve considerare l'impatto complessivo generato. Questa valutazione sarà affidata alla Fondazione per l'Intelligenza Artificiale, che si occuperà del monitoraggio globale e delle singole azioni, del controllo e delle segnalazioni preventive. La Fondazione redigerà un report annuale in cui aggiornerà l'analisi di contesto e valuterà l'implementazione della strategia, garantendo una visione completa e approfondita dei risultati ottenuti.   Monitoraggio delle aree strategiche Per la Formazione , il panel di esperti analizzerà specifici KPI come: - Numero di corsi di laurea interdisciplinari con insegnamenti di AI - Numero di studenti iscritti a dottorati inerenti all’AI - Competenze e consapevolezza sulla AI nella cittadinanza tramite survey CATI/CAWI.   Per la Ricerca , verranno valutati sia KPI sia flagship projects, tra cui: - Produzione scientifica sull'AI, usando indicatori bibliometrici consolidati. - Avanzamento e qualità delle iniziative volte a rafforzare l'ecosistema della ricerca e realizzare LMM italiani.   Per la Pubblica Amministrazione , il monitoraggio si focalizzerà su due flagship projects: - Iniziative strategiche per migliorare l'accesso e l'uso dei servizi al cittadino, nonché il livello di digitalizzazione. - Iniziative strategiche con esperti incaricati di valutare l'efficienza delle procedure amministrative.   Per le Imprese , saranno valutati KPI e flagship projects come: - Adozione dell’AI nelle PMI, basandosi su dati ISTAT. - Impatto delle iniziative strategiche, con particolare attenzione alle PMI coinvolte e all'efficacia nel promuovere l'adozione di soluzioni di intelligenza artificiale. - Numero di start-up focalizzate sull'AI e imprese attive nello sviluppo di tecnologie AI, rilevanti per monitorare l'impatto della strategia sul contesto produttivo.   La Fondazione utilizzerà un panel di esperti e il metodo Delphi per produrre relazioni di valutazione basate sui KPI e sui flagship projects. Questo approccio, sviluppato dalla Rand Corporation, coinvolge esperti anonimi che rispondono a questionari in diversi turni, con sintesi e revisioni iterative guidate da un facilitatore.   Organi regolatori Il regolamento europeo sull’intelligenza artificiale (AI Act) istituirà un quadro giuridico uniforme volto a regolare lo sviluppo, la commercializzazione e l’uso dei sistemi di intelligenza artificiale in conformità con i valori e i diritti costituzionali dell’UE. Questo regolamento adotta un approccio basato sul rischio, distinguendo tra obblighi di conformità di varia intensità a seconda del rischio (basso, medio o elevato) che le applicazioni intelligenti possono rappresentare per i diritti fondamentali. Più alto è il rischio, maggiori sono gli oneri di conformità e le responsabilità degli sviluppatori. Inoltre, l'AI Act proibisce l'uso dell'intelligenza artificiale per alcune finalità ritenute contrarie ai valori dell'UE, come il social scoring.   Dopo la pubblicazione ufficiale, il regolamento richiederà circa due anni per essere pienamente applicato, per permettere agli operatori di adeguarsi alle nuove norme. Le attuali versioni del regolamento prevedono l'istituzione di più Autorità per vigilare e attuare la normativa sull'AI, suddivise per competenze e funzioni a livello europeo (art. 56) e nazionale (art. 59). L'Autorità europea avrà il compito di coordinare l'applicazione della disciplina e le attività delle Autorità nazionali, redigendo linee guida e best practices per supportare sviluppatori e utilizzatori. Questo ruolo sarà sia di coordinamento che di chiarificazione e supporto, con funzioni di vigilanza, anche tramite eventuali indagini congiunte.   Le Autorità nazionali, istituite o designate da ciascuno Stato membro secondo l'AI Act, avranno due funzioni principali: vigilanza e notificazione. La funzione di vigilanza controllerà il rispetto dell'AI Act da parte di produttori e distributori di sistemi di AI, mentre la funzione di notificazione verificherà la regolarità delle certificazioni rilasciate da terzi per i sistemi di AI ad alto rischio. Queste Autorità dovranno avere una forte specializzazione tecnica, essendo istituite tramite fonti primarie nazionali coordinate con il quadro normativo europeo.   Agenzia di vigilanza italiana Alla luce del quadro sopra delineato, l'Autorità che sarà definita in Italia nell'ambito del quadro regolatorio europeo potrebbe essere configurata come un'Agenzia con funzioni di vigilanza e notificazione. Questo comporta due ordini di problemi che influenzeranno la competitività dei sistemi di AI sviluppati in Italia. Innanzitutto, l'Agenzia dovrà supportare sviluppatori, distributori e implementatori dell'AI nella comprensione e attuazione della complessa normativa europea e nazionale. Grazie alle sue competenze giuridiche e tecnologiche, l'Agenzia si porrà come interlocutore privilegiato per sostenere l'industria digitale e il sistema produttivo italiano nell'adozione dei sistemi di AI, in stretta sinergia con la Fondazione per l’attuazione, il coordinamento e il monitoraggio. L'Agenzia dovrà inoltre fornire orientamento giuridico per facilitare l'adozione delle nuove norme.   L'AI Act interessa numerosi ambiti giuridici già regolati, in cui operano altre Autorità con competenze specifiche: la protezione dei dati (Garante privacy), la tutela dei consumatori e la regolamentazione del mercato dei servizi digitali (AGCM), il contrasto ai contenuti digitali dannosi (AGCOM), e la regolamentazione del settore bancario e finanziario (BCE e Banca d'Italia/Consob). L'Agenzia dovrà quindi semplificare questo quadro complesso e sovrapposto di regolamentazioni e competenze, garantendo un'applicazione chiara che favorisca il sistema produttivo e l'innovazione.   L'Agenzia dovrà anche siglare protocolli e mantenere una stretta collaborazione con l'Agenzia per la Cybersicurezza Nazionale (ACN), considerata l'importanza dell'AI nel settore della sicurezza e le implicazioni normative relative, come la responsabilità per attacchi cyber mediante strumenti di AI. Tuttavia, l'Agenzia di vigilanza e l'ACN dovrà restare differenziata e indipendente per attuare distinti apparati normativi e garantire l'alta specializzazione e complessità delle loro funzioni. La collaborazione tra queste entità sarà essenziale per assicurare che i sistemi di AI implementati in Italia mantengano i più alti standard di affidabilità, integrità, disponibilità e sicurezza.   Conclusioni L'Italia sta attraversando una trasformazione significativa con l'adozione delle tecnologie di Intelligenza Artificiale, che offre enormi potenzialità per migliorare la produttività, l'efficienza e la qualità della vita. Tuttavia, per sfruttare appieno queste opportunità, è necessario superare una serie di sfide strategiche che richiedono un approccio innovativo e integrato.   Innanzitutto, l'Italia deve affrontare il problema del "rischio di non fare". Questo rischio è amplificato dalla tradizionale lentezza nell'adozione delle nuove tecnologie, che potrebbe portare il paese a perdere competitività. Per contrastare questo rischio, è cruciale adottare una mentalità ambiziosa e proattiva, sviluppando tecnologie su misura che rispecchino i valori e le esigenze nazionali. Ciò implica investire nella creazione di soluzioni tecnologiche interne e promuovere lo sviluppo applicativo piuttosto che l'importazione di tecnologie estere.   Un altro rischio rilevante è quello dell'omogeneizzazione culturale, particolarmente accentuato dall'adozione di modelli di AI generativi sviluppati all'estero. Questi modelli potrebbero introdurre valori e ideologie non conformi alle peculiarità culturali italiane. Per mitigare questo rischio, è essenziale sviluppare tecnologie AI che riflettano i valori costituzionali italiani, garantendo così che le soluzioni tecnologiche adottate non solo siano efficaci ma anche eticamente allineate con la società italiana.   Inoltre, l'iper-regolazione nazionale potrebbe rappresentare un ostacolo significativo. Mentre la regolamentazione è fondamentale per garantire la sicurezza e l'affidabilità delle tecnologie AI, un eccesso di norme potrebbe soffocare l'innovazione. Pertanto, è necessario bilanciare attentamente la regolamentazione con la flessibilità, promuovendo linee guida che facilitino l'adozione delle tecnologie senza aggiungere inutili sovrastrutture normative.   La trasformazione del mercato del lavoro è un'altra sfida critica. L'introduzione dell'AI porterà inevitabilmente a un disallineamento tra le competenze richieste e quelle disponibili. È fondamentale investire in programmi di upskilling e reskilling per aggiornare e riqualificare i lavoratori, assicurando che possano adattarsi efficacemente alle nuove esigenze tecnologiche. Questo non solo aiuterà a preservare l'occupazione, ma contribuirà anche a creare un ambiente lavorativo più stimolante e produttivo.   Il digital divide rappresenta un ulteriore ostacolo, soprattutto considerando le disomogeneità territoriali e la carenza di competenze digitali di base. Per affrontare questa sfida, è necessario promuovere iniziative educative capillari che coinvolgano scuole, università e istituzioni pubbliche, garantendo un accesso equo alle opportunità formative in tutto il paese. Questo approccio integrato contribuirà a ridurre il divario digitale, promuovendo una maggiore inclusione sociale ed economica.   Infine, l'efficacia della strategia nazionale dipenderà dalla capacità di implementare un sistema di monitoraggio adeguato. Questo sistema deve essere in grado di valutare costantemente l'avanzamento delle azioni strategiche, identificando tempestivamente le criticità e adottando le necessarie misure correttive. Un approccio basato su indicatori chiave di prestazione (KPI) e flagship projects consentirà di monitorare l'impatto complessivo della strategia, garantendo che gli obiettivi siano raggiunti in modo efficace ed efficiente.   In sintesi, l'Italia ha l'opportunità di diventare un leader nell'adozione delle tecnologie di AI, ma per farlo deve affrontare con determinazione e visione le sfide strategiche. Solo attraverso un approccio integrato, che consideri le peculiarità culturali, sociali ed economiche del paese, sarà possibile realizzare una trasformazione digitale che migliori la competitività e la qualità della vita di tutti i cittadini.

ChatLogic è un innovativo strumento che combina la programmazione logica con modelli di linguaggio avanzati come GPT-4. È stato creato da un gruppo di ricercatori dell'Università di Auckland: Zhongsheng Wang, Jiamou Liu, Qiming Bao, Hongfei Rong e Jingfeng Zhang . Questo sistema risolve alcune delle principali difficoltà degli attuali modelli di linguaggio, come l'uso efficace della memoria a lungo termine, essenziale per un ragionamento complesso. La forza di ChatLogic sta nella sua capacità di trasformare problemi logici in forme simboliche, che possono essere elaborate da un motore di inferenza. Questo rende i modelli di linguaggio molto più capaci di fare deduzioni articolate su più passaggi. In pratica, il modello di linguaggio agisce come un direttore d'orchestra, gestendo ogni fase del ragionamento e utilizzando una memoria simbolica per migliorare le abilità deduttive su più step. I test hanno dimostrato che ChatLogic migliora notevolmente le prestazioni dei modelli di linguaggio nei compiti di ragionamento complesso, superando i metodi tradizionali in vari scenari. In particolare, nei dataset PARARULE-Plus e CONCEPTRULES V12 e V23, ChatLogic ha ottenuto risultati migliori rispetto agli standard, mostrando un significativo aumento dell'accuratezza nel ragionamento multi-step. PARARULE-Plus è un dataset progettato per testare la capacità dei modelli di linguaggio di eseguire ragionamenti basati su regole parafrastiche. Questo significa che il modello deve essere in grado di capire e applicare regole logiche espresse in modi diversi ma con lo stesso significato. CONCEPTRULES V12 e V23, invece, sono dataset che valutano la capacità dei modelli di linguaggio di comprendere e applicare regole concettuali complesse. Questi dataset mettono alla prova la capacità del modello di fare deduzioni logiche basate su concetti astratti e regole intricate. ChatLogic è stato progettato per essere accessibile e facilmente replicabile, con codice sorgente e dati disponibili pubblicamente. Questo facilita ulteriori ricerche e sviluppi. In sostanza, ChatLogic rappresenta un passo avanti nel migliorare le capacità di ragionamento dei modelli di linguaggio, rendendoli più efficaci in situazioni complesse e reali. Il codice sorgente e i dati sono disponibili su https://github.com/Strong-AI-Lab/ChatLogic . I recenti progressi nei modelli linguistici di grandi dimensioni, come GPT-4 e Llama2, hanno notevolmente potenziato le loro capacità, rivelandosi preziosi in vari settori. Questi modelli stanno innovando ambiti come il servizio clienti, la sanità e l'istruzione grazie alla loro avanzata comprensione contestuale e abilità conversazionali. Tuttavia, gli LLMs affrontano sfide significative nei compiti di ragionamento logico complesso.   Nonostante eccellano nella generazione di contenuti, questi modelli spesso faticano a produrre risposte coerenti quando è richiesto un ragionamento articolato in più passaggi. La loro metodologia di addestramento, basata principalmente sulla "predizione del prossimo token", limita la loro capacità di applicare regole logiche e di comprendere il contesto in profondità. Ad esempio, è difficile per loro trovare un percorso logico coerente quando devono riordinare una sequenza di proposizioni disordinata. Questa è una delle aree critiche in cui gli LLMs attuali necessitano di miglioramenti.   Un'ulteriore complicazione è il limite intrinseco dei token in questi modelli, che diventa evidente nei dialoghi prolungati. Sebbene tecnologie come il Recursive Model Training possano estendere questi limiti, rappresentano ancora una restrizione significativa. Questo problema è particolarmente evidente nelle conversazioni multi-turn, tipiche dei compiti di ragionamento logico complesso.   Per superare queste limitazioni, vengono esplorati approcci innovativi come la generazione aumentata dal recupero (RAG). Questo metodo prevede l'integrazione dei modelli di linguaggio di grandi dimensioni con ampi database per migliorare le loro capacità di ragionamento. Tuttavia, questa integrazione può introdurre bias dai modelli di recupero delle informazioni, influenzando l'accuratezza e la stabilità delle risposte.   Per affrontare queste sfide, è stato sviluppato ChatLogic, un framework che potenzia gli LLMs con un motore di ragionamento logico. Questo framework implementa una tecnica chiamata "Mix-shot Chain of Thought", che migliora le prestazioni degli LLMs combinando vari metodi di ingegneria dei prompt. Mix-shot CoT guida il modello attraverso i passaggi di ragionamento logico, migliorando la risoluzione dei problemi con un consumo minimo di risorse. ChatLogic è progettato per essere compatibile con gli LLMs esistenti, migliorando significativamente la loro accuratezza, soprattutto in scenari che richiedono alta precisione. Il framework permette al modello di generare risposte efficienti in vari compiti, ottimizzando le capacità inferenziali degli LLMs.   ChatLogic impiega pyDatalog, un modulo Python per la programmazione logica, per convertire il linguaggio naturale in simboli logici. Questo metodo permette di gestire regole e fatti in modo da derivare conclusioni o inferenze specifiche a partire da dati iniziali.   Il processo utilizzato da ChatLogic stabilizza e rende più affidabile il ragionamento dei modelli di linguaggio naturale (LLM), consentendo loro di gestire compiti complessi con una precisione superiore. La fusione di LLM e pyDatalog permette di interpretare le richieste in linguaggio naturale e di tradurle in codice logico, migliorando l'accuratezza delle inferenze in scenari che richiedono ragionamenti articolati su più fasi, come dimostrato dall'utilizzo del dataset PARARULE-Plus.   ChatLogic minimizza anche la perdita di informazioni, un limite comune nei LLM impiegati in task di elaborazione di lunghe sequenze di dati. Include inoltre un modulo di correzione della sintassi che affina i programmi logici apprendendo dalle esecuzioni precedenti, incrementando notevolmente l'efficacia e l'applicabilità pratica del codice.   LLMs e le sfide del ragionamento complesso Gli LLMs incontrano difficoltà nei compiti logici complessi che richiedono più passaggi e coinvolgono informazioni simultanee o sequenze logiche intricate. Tuttavia, approcci emergenti come la self-consistency, che implica la coerenza interna nel risolvere problemi, stanno mostrando un potenziale significativo per migliorare le prestazioni in aree come l'aritmetica e il ragionamento basato sul buon senso. Un aspetto cruciale di questi miglioramenti è la rilevanza dei percorsi di ragionamento causale, che garantisce che l'output dei modelli sia accurato, trasparente e verificabile. Tra i metodi più efficaci vi è il Chain of Thought (CoT), che espone i passaggi intermedi del ragionamento utilizzati dai modelli nella risoluzione dei problemi, permettendo una continua auto-correzione e migliorando significativamente la razionalità delle capacità di ragionamento. Nonostante ciò, rimane la sfida di estrarre contenuti efficaci da informazioni lunghe e disordinate, e si stanno cercando soluzioni per affrontare questa difficoltà.   Parallelamente, gli LLMs hanno dimostrato la capacità di generare codice in vari linguaggi di programmazione per soddisfare esigenze specifiche degli utenti. Tuttavia, l'applicazione diretta del codice generato in ambienti reali è ancora problematica. Per affrontare questo problema, l'approccio SELF-DEBUGGING guida la fase post-generazione del codice, dotando i modelli della capacità di eseguire il debug del proprio output, migliorando così continuamente il codice generato. Un altro metodo promettente è LOGIC-LM, che crea un risolutore simbolico deterministico per esprimere il ragionamento in un formato simbolico specifico, ottenendo risultati concreti. Nonostante alcuni difetti, come la generazione di "fantasie" dovute alla mancanza di conoscenza di pyDatalog nei dati di pre-addestramento, i modelli possono ancora produrre output di alta precisione. L'obiettivo finale è generare codice che soddisfi perfettamente i requisiti e possa essere eseguito direttamente su un computer con un ambiente Python di base.   Il prompt engineering è un'altra area chiave negli LLMs, in quanto guida il modello verso predizioni specifiche. Questo include il few-shot learning, che si concentra sull'addestramento dei modelli con un numero minimo di dati etichettati per ottimizzare le prestazioni. Ad esempio, modelli come GPT-3 possono gestire compiti con pochi esempi, ottenendo risultati comparabili a quelli di modelli finemente regolati. Grazie a questo approccio, le capacità di ragionamento dei modelli sono notevolmente migliorate.   Il zero-sample prompt, che si basa sulla vasta conoscenza intrinseca del modello e sul corpus di addestramento, permette al modello di risolvere problemi senza alcuna personalizzazione specifica per il compito. Sorprendentemente, nonostante la guida limitata, si ottengono spesso risultati che superano le aspettative. In particolare, zero-sample CoT (Chain of Thought) è attualmente considerato il miglior prompt di inferenza. Utilizzando un semplice prompt come "Let's think step by step", questa tecnica migliora significativamente molti compiti di inferenza correlati allo zero-shot, superando le precedenti tecniche zero-shot. Chiedere al modello di pensare passo dopo passo aiuta a scomporre problemi complessi in passaggi più semplici, migliorando la precisione delle risposte generate.   In ChatLogic, si sviluppano template di prompt indipendenti per i vari collegamenti nel framework e si utilizzano in modo autonomo. I primi risultati indicano una direzione promettente, mettendo in evidenza le capacità di ragionamento innate dei modelli linguistici di grandi dimensioni (LLMs) e integrandole con regole simboliche di base. Questo metodo ha il potenziale di migliorare ulteriormente l'efficacia dei modelli nella risoluzione di compiti complessi, sfruttando tecniche di apprendimento su piccoli set di dati e simboli esterni di supporto.   Migliorare i modelli linguistici avanzati con pyDatalog I modelli linguistici avanzati come Llama2 e GPT-4 mostrano grandi capacità nel convertire testi in strutture formali come equazioni matematiche e linguaggi di programmazione. Tuttavia, incontrano difficoltà con compiti di ragionamento complessi e multi-step. La difficoltà aumenta con la complessità del ragionamento, e spesso questi modelli mancano di passaggi fondamentali nel processo.   L'obiettivo è migliorare la capacità di questi modelli di rappresentare problemi nei linguaggi di programmazione logica, in particolare utilizzando pyDatalog. Questa libreria Python, che integra la programmazione logica, è particolarmente utile per il ragionamento dichiarativo e le query complesse. Permette di incorporare regole logiche sofisticate e inferenze nelle applicazioni Python, migliorando così le capacità decisionali.   Il problema del ragionamento deduttivo multi-step viene definito attraverso Fatti, Regole e Query.   I dati utilizzati negli esperimenti sono strutturati come segue: - Fatti : Un Fatto F è una sequenza di frasi con soggetto, verbo predicato e oggetto, come “Bob è povero” e “I cani amano i gatti”. I predicati possono essere negativi. - Regole : Una Regola R è una sequenza di frasi dichiarative con giudizio condizionale, come “Se qualcuno è povero allora è cattivo”. - Query : Una Query Q è una frase dichiarativa coerente con il formato delle frasi.   Per raggiungere l'obiettivo, ci si focalizza su due sotto-compiti principali. Il primo è il potenziamento delle capacità inferenziali dei modelli linguistici. L'obiettivo è sfruttare le capacità di generalizzazione one-shot e zero-shot dei modelli, indicate come capacità C. Per fare questo, si familiarizza il modello con le complessità del linguaggio simbolico utilizzando pyDatalog, tramite esempi ben progettati che coprono tutti i casi limite. La sintassi strutturata di pyDatalog e un insieme dettagliato di esempi S vengono forniti per migliorare la capacità C del modello. Il codice generato viene eseguito da un compilatore locale per ottenere risultati di inferenza multi-step accurati. Risultato  = EsecuzioneLocale(pydatalogCode)   Genera codice di alta qualità con moduli specifici in ChatLogic La traduzione da testo a codice realizzata dai LLM spesso non è perfetta al primo tentativo e può presentare errori. L'obiettivo è sviluppare un modulo specifico all'interno di ChatLogic per garantire un allineamento preciso tra il linguaggio naturale e il codice tradotto. Il codice generato deve essere facilmente eseguibile localmente, producendo i risultati desiderati immediatamente. In sostanza, questo modulo mira a migliorare la qualità della generazione del codice, permettendo una esecuzione accurata e affidabile.   pyDatalogCode  = M(C(LLM(F,R,Q),S))   ChatLogic Il framework ChatLogic si compone di quattro fasi principali: elaborazione dell'input, correzione semantica, correzione sintattica e risposta di esecuzione locale. Questo processo completo, che va dall'inserimento del problema alla produzione del risultato, viene illustrato come dimostrazione. Inizialmente, il codice generato dai modelli di linguaggio subisce continue revisioni attraverso iterazioni multiple nei moduli di correzione semantica e sintattica. Il perfezionamento del codice potenzia ulteriormente l'eseguibilità, contribuendo a migliorare le prestazioni e l'accuratezza del sistema.   Ad eccezione della parte eseguita localmente, tutti i sotto-compiti all'interno di ChatLogic sono controllati e gestiti dagli LLM che agiscono come componenti. Questo processo include due cicli, ciascuno corrispondente alle fasi di correzione. Gli LLM eccellono nelle correzioni semantiche e, con minime modifiche, riescono a ottenere traduzioni testuali corrette. Per determinare la somiglianza testuale di due proposizioni, viene utilizzato il metodo zero-shot CoT nelle righe 5 e 6 del codice. In base al risultato, l'etichetta “DifferentFlag” viene aggiornata, influenzando la progressione del ciclo di “Correzione Semantica”. Le correzioni sintattiche, tuttavia, possono essere inaffidabili e rischiano di bloccarsi in un loop infinito, eseguendo ripetutamente compiti inutili. Per risolvere questo problema, è stato introdotto un limite superiore al loop, il che riduce leggermente le capacità inferenziali di ChatLogic, ma ne migliora significativamente la robustezza.   Mix-shot CoT Il mix-shot CoT (Chain of Thought) rappresenta una metodologia ibrida innovativa progettata per migliorare l'apprendimento dei modelli linguistici attraverso la combinazione delle tecniche zero-shot CoT e one-shot learning. Zero-shot CoT sfrutta le capacità generative dei LLM e i modelli di pensiero a catena per completare compiti in linguaggio naturale senza richiedere addestramento specifico o fine-tuning. In pratica, permette ai modelli di eseguire compiti complessi semplicemente seguendo una sequenza logica di pensiero, senza bisogno di esempi precedenti.   One-shot learning, d'altra parte, fornisce un singolo esempio ben strutturato di completamento del compito. Questo esempio serve da guida per i modelli linguistici, permettendo loro di imitare il processo e raggiungere un elevato livello di precisione nel completamento del compito. L'esempio è stato accuratamente selezionato per essere il più rappresentativo e chiaro possibile, permettendo al modello di comprendere con precisione cosa deve fare.   Al cuore del mix-shot CoT c'è la capacità del modello di identificare autonomamente i sotto-compiti necessari per completare un compito più complesso. Questo viene fatto seguendo accuratamente i modelli stabiliti dal one-shot learning e combinandoli con le capacità generative dello zero-shot CoT. In questo modo, il mix-shot CoT utilizza esempi di dimostrazione di alta qualità come guide, migliorando la precisione e la profondità contestuale del modello. Questo è particolarmente utile per compiti che richiedono una comprensione dettagliata e sfumata, come la conversione di domande in linguaggio naturale in codici logici.   In scenari che richiedono un'analisi più estesa, come il confronto della somiglianza testuale tra proposizioni generate e proposizioni originali, il mix-shot CoT consente ai modelli linguistici di sfruttare le loro capacità analitiche in modo più autonomo. Questo processo è facilitato dall'uso di un sistema di chiamata in due fasi dello zero-shot CoT. Durante la seconda chiamata agli LLM, vengono estratte informazioni chiave dal primo passaggio, che vengono utilizzate come etichette di stato per guidare il normale funzionamento dell'intero framework.   Il mix-shot CoT è progettato per sviluppare un processo di apprendimento adattabile nei modelli linguistici, combinando una guida strutturata con la libertà di esplorazione. Questa flessibilità è cruciale per permettere al modello di seguire modelli prestabiliti, innovare e adattarsi a compiti diversi. La metodologia mostra un notevole miglioramento delle prestazioni, raggiungendo un equilibrio ottimale tra la precisione del one-shot learning e la flessibilità generativa dello zero-shot CoT.   Uno dei principali vantaggi del mix-shot CoT è la sua capacità di ridurre significativamente le allucinazioni, un problema comune nei modelli linguistici. Grazie all'uso di esempi di dimostrazione di alta qualità, il mix-shot CoT migliora l'accuratezza del modello per il compito. Sebbene non elimini completamente la necessità di dimostrazioni, come fa lo zero-shot CoT, né raggiunga i livelli minimi di allucinazione del one-shot learning, il mix-shot CoT si distingue per la sua adattabilità ed efficienza migliorate.   Questo lo rende uno strumento potente nel campo dell'ingegneria dei prompt, particolarmente utile nelle applicazioni reali dove la precisione e l'adattabilità sono fondamentali. Riconoscendo i limiti, come la necessità di dimostrazioni e una scalabilità inferiore rispetto allo zero-shot CoT, il mix-shot CoT offre comunque una soluzione pragmatica ed efficace. La sua capacità di adattarsi dinamicamente alla complessità e ai requisiti specifici dei vari compiti lo rende un metodo prezioso per migliorare l'efficacia dei modelli linguistici in diversi contesti applicativi.   Valutazione ChatLogic con dataset PARARULE-Plus e CONCEPTRULES Il dataset PARARULE-Plus comprende circa 400.000 campioni di domande di ragionamento che rispettano l'assunzione del mondo chiuso. Questo dataset include informazioni linguistiche relative a due scenari contestuali: Persone e Animali. Nell'esperimento, sono state selezionate casualmente 50 istanze per ciascun livello di profondità nelle categorie Animali e Persone, combinandole per formare un set di 100 casi di test per ciascun livello di profondità, da Depth=2 a Depth=5.   Oltre a PARARULE-Plus, sono stati inclusi nello studio i dataset CONCEPTRULES V12 e CONCEPTRULES V23. Questi dataset richiedono ragionamenti multi-step, con profondità fino a 3, rendendoli adatti per valutare le capacità dei modelli in compiti di ragionamento complesso. Sono disponibili sia in versioni semplificate che complete. Per ciascuna versione, tutti i dati dei set di addestramento, test e sviluppo sono stati inizialmente consolidati in un unico pool, dal quale sono state campionate casualmente 100 istanze per i test.   Gli esperimenti sono stati condotti utilizzando ChatGPT, GPT-4 e Llama 2-7B, con l'obiettivo di stabilire una baseline per le capacità di ragionamento di questi modelli, come documentato nella letteratura. Ciò ha comportato il test di configurazioni come ChatGPT vs. ChatLogic (ChatGPT) in scenari uniformi, utilizzando istanze dai dataset PARARULE-Plus e CONCEPTRULES. L'ipotesi principale è che i modelli arricchiti con ChatLogic possano dimostrare un miglioramento delle prestazioni di ragionamento rispetto ai loro baseline, attraverso vari livelli di difficoltà.   Configurazione Nell'uso del framework ChatLogic, è essenziale mantenere il controllo sul testo generato. Per i modelli ChatGPT e GPT-4, vengono utilizzate rispettivamente le versioni "gpt-3.5-turbo" e "gpt-4", con il parametro di temperatura impostato a 0 per garantire un output più preciso. Per Llama 2-7B, impiegando una NVIDIA GeForce RTX 3090 con 24GB di memoria, si usa la versione meta-llama/Llama-2-7b-chat-hf di Huggingface.   Negli esperimenti si è scoperto che i modelli di linguaggio hanno difficoltà a completare le informazioni mancanti nel set di dati chiamato PARARULE-Plus. Questo porta a una riduzione dell'efficienza nel ragionamento. Per avviare un processo di ragionamento deduttivo complesso, bisogna partire dagli attributi esistenti di un oggetto, detti "meta attributi". Questi meta attributi devono essere reali, non derivati da altre informazioni.   Ad esempio, se si sta analizzando un frutto come una mela, i meta attributi potrebbero includere il colore, la forma e la dimensione. Questi sono attributi reali che si possono osservare direttamente. Se invece si utilizza un attributo derivato, come "quanto è dolce la mela", si parte da un'ipotesi che non è direttamente osservabile ma che si basa su altre informazioni.   Questa mancanza di informazioni reali nei dati richiede che qualcuno integri manualmente i dati mancanti. In altre parole, quando i dati non sono completi, si deve intervenire manualmente per aggiungere le informazioni necessarie affinché il modello di linguaggio possa funzionare correttamente.   Per risolvere questo problema, è stato creato uno script che utilizza il riconoscimento di entità nominate (NER) per estrarre le relazioni tra soggetti e attributi presenti nel testo. Il NER è una tecnica che permette di identificare e classificare automaticamente le parole in un testo che rappresentano entità come nomi di persone, luoghi, organizzazioni, date, ecc. Questo script aggiunge le informazioni mancanti nel testo creando frasi in linguaggio naturale generate artificialmente.   Una volta arricchito il testo, viene utilizzato il framework ChatLogic per migliorare la capacità dei modelli di linguaggio di ragionare sui testi. Per esempio, nelle regole descritte in una determinata figura, se non è specificato che qualcuno ha l'attributo "grande", questo attributo deve essere aggiunto alla descrizione del personaggio. Se nei "Fatti" non è presente l'attributo "grande", si considera che non esista e deve essere aggiunto manualmente nei "Fatti". Questo procedimento è illustrato chiaramente nell'algoritmo utilizzato.   Al contrario, i set di dati semplificati e completi chiamati CONCEPTRULES (V1 e V2) non richiedevano questa integrazione manuale aggiuntiva.   Confronto dell'accuratezza sul dataset PARARULE-Plus Il confronto dell'accuratezza sul dataset PARARULE-Plus mostra come i vari modelli di intelligenza artificiale performano a diversi livelli di profondità. Nel caso del modello GPT-3.5, il metodo di base ha ottenuto punteggi di 0.4, 0.34, 0.32 e 0.3 per le profondità 2, 3, 4 e 5 rispettivamente, con un punteggio totale di 0.344. Utilizzando il metodo Zero-shot CoT, i punteggi sono stati leggermente superiori, con 0.42 per le profondità 2 e 3, 0.41 per la profondità 4 e 0.3 per la profondità 5, raggiungendo un totale di 0.3875. Con il framework ChatLogic, il modello GPT-3.5 ha mostrato un notevole miglioramento, con punteggi di 0.49, 0.56, 0.65 e 0.41 per le rispettive profondità, totalizzando 0.5275.   Passando al modello GPT-4, il metodo di base ha ottenuto punteggi significativamente migliori con 0.65, 0.75, 0.42 e 0.4 per le profondità 2, 3, 4 e 5, con un totale di 0.555. Con il metodo Zero-shot CoT, i punteggi sono stati di 0.72 per le profondità 2 e 3, 0.62 per la profondità 4 e 0.7 per la profondità 5, con un totale di 0.69. Utilizzando ChatLogic, il modello ha ottenuto risultati ancora migliori, con punteggi di 0.72, 0.8, 0.7 e 0.7 per le rispettive profondità, raggiungendo un totale di 0.73.   Infine, il modello Llama 2-7B ha mostrato prestazioni più basse rispetto agli altri due modelli. Con il metodo di base, i punteggi erano 0.11, 0.06, 0.01 e 0.01 per le profondità 2, 3, 4 e 5, con un totale di 0.0475. Utilizzando Zero-shot CoT, i punteggi sono stati leggermente migliori con 0.15, 0.13, 0.08 e 0.06 per le rispettive profondità, raggiungendo un totale di 0.105. Con il framework ChatLogic, le prestazioni sono migliorate, con punteggi di 0.2, 0.13, 0.22 e 0.18 per le profondità 2, 3, 4 e 5, totalizzando 0.1825.   In generale, il framework ChatLogic ha dimostrato di essere più efficace rispetto ai metodi di base e Zero-shot CoT, evidenziando la sua superiorità nell'ottenere migliori risultati di accuratezza con i modelli di linguaggio naturale.   Confronto dell'accuratezza sui dataset CONCEPTRULES V1 e V2 Il confronto dell'accuratezza tra i dataset CONCEPTRULES V1 e V2 mostra risultati variabili a seconda del modello e del metodo utilizzato. GPT-3.5, ad esempio, ottiene un'accuratezza di 0.57 nella versione semplificata di CONCEPTRULES V1 e di 0.55 nella versione completa. Tuttavia, le sue prestazioni calano leggermente con CONCEPTRULES V2, con un'accuratezza di 0.5 nella versione semplificata e di 0.51 in quella completa.   Quando si utilizza il metodo Zero-shot CoT, GPT-3.5 vede un miglioramento significativo in CONCEPTRULES V1, raggiungendo un'accuratezza di 0.63 nella versione semplificata, ma cala a 0.51 nella versione completa. Per CONCEPTRULES V2, invece, ottiene 0.7 nella versione semplificata e 0.67 in quella completa. Il framework ChatLogic per GPT-3.5 aumenta ulteriormente l'accuratezza, portandola a 0.69 per la versione semplificata e a 0.67 per la versione completa di CONCEPTRULES V1, e rispettivamente a 0.79 e 0.74 per le versioni di CONCEPTRULES V2.   Passando a GPT-4, il modello di base raggiunge un'accuratezza molto alta: 0.95 nella versione semplificata e 0.94 nella versione completa di CONCEPTRULES V1. Per CONCEPTRULES V2, i valori sono leggermente inferiori, con 0.89 nella versione semplificata e 0.86 in quella completa. Utilizzando Zero-shot CoT, GPT-4 mostra un'accuratezza di 0.96 nella versione semplificata e di 0.97 in quella completa di CONCEPTRULES V1, mentre per CONCEPTRULES V2 raggiunge rispettivamente 0.95 e 0.94. ChatLogic mantiene un livello di prestazioni molto alto per GPT-4, con 0.96 in entrambe le versioni dei dataset CONCEPTRULES V1 e con 0.94 per entrambe le versioni di CONCEPTRULES V2.   Llama 2-7B mostra risultati inferiori rispetto a GPT-3.5 e GPT-4. Il modello di base ottiene un'accuratezza di 0.32 nella versione semplificata e di 0.29 nella versione completa di CONCEPTRULES V1, mentre per CONCEPTRULES V2 ottiene rispettivamente 0.31 e 0.24. Con il metodo Zero-shot CoT, i valori sono leggermente migliori: 0.42 e 0.41 per le versioni semplificate e complete di CONCEPTRULES V1, e 0.33 e 0.3 per le versioni di CONCEPTRULES V2. Utilizzando ChatLogic, l'accuratezza di Llama 2-7B aumenta a 0.48 per la versione semplificata e a 0.49 per quella completa di CONCEPTRULES V1, mentre per CONCEPTRULES V2 si attesta rispettivamente a 0.37 e 0.36.   Da questi risultati emerge che il framework ChatLogic generalmente supera gli altri modelli, dimostrando una maggiore efficacia.   Risultati dell'esperimento I risultati dell'esperimento evidenziano chiaramente come l'uso del framework ChatLogic migliori le prestazioni dei modelli di linguaggio di grandi dimensioni rispetto al baseline, mostrando una precisione superiore nella maggior parte dei test. L'integrazione di ChatLogic con i LLM garantisce una superiore accuratezza anche nelle domande più complesse, evidenziando l'importanza delle operazioni logiche simboliche nel ragionamento multi-step. Questa metodologia assicura la conservazione delle informazioni nel linguaggio naturale, prevenendo omissioni ed errori che potrebbero compromettere i risultati del ragionamento. Inoltre, l'approccio migliora la trasparenza del processo di ragionamento, aumentando la credibilità e la tracciabilità dei risultati.   Nel dataset PARARULE-Plus, la combinazione di ChatLogic e LLM risulta significativamente superiore rispetto ai modelli di riferimento 'Base' e 'Zero-shot CoT' nella maggior parte dei casi. In particolare, GPT-4, quando combinato con ChatLogic, mostra prestazioni eccellenti su domande di alta complessità (Profondità=4 e Profondità=5), evidenziando la capacità di ChatLogic di gestire problemi complessi. Anche Llama 2-7B, sebbene parta da una base meno performante, migliora significativamente a tutti i livelli di profondità grazie a ChatLogic, dimostrando la versatilità del framework nell'ottimizzare il ragionamento multi-step su diversi modelli.   Nei dataset CONCEPTRULES V1 e V2, si nota un miglioramento nelle prestazioni di GPT-4. Con Zero-shot CoT, GPT-4 eguaglia o supera leggermente ChatLogic in molti casi, soprattutto nella versione completa del dataset CONCEPTRULES V2. La differenza di prestazioni tra GPT-4 e ChatLogic in questi dataset è meno marcata rispetto a PARARULE-Plus. Questo suggerisce che la robustezza del modello GPT-4, dovuta al suo maggiore numero di parametri, gli conferisce già una notevole capacità. Questo risultato indica la necessità di dataset più complessi per testare i limiti degli LLM avanzati. Inoltre, ChatLogic migliora principalmente i modelli con un minor numero di parametri, fornendo una guida appropriata e aumentando così le loro prestazioni.   Risultati dei test di eseguibilità del codice Per il dataset CONCEPTRULES V1, il modello GPT-3.5 ha mostrato un valore base di eseguibilità del codice di 0.63, che è aumentato a 0.68 con l'implementazione della Correzione Semantica (SE) e ulteriormente a 0.7 con l'aggiunta della Correzione Sintattica (SE+SYN). Il modello GPT-4 ha iniziato con un valore base di 0.92, migliorando a 0.96 sia con SE che con SE+SYN. Il modello Llama 2-7B ha mostrato un valore base di 0.31, che è cresciuto a 0.60 con SE e a 0.62 con SE+SYN.   Per il dataset CONCEPTRULES V2, GPT-3.5 ha mostrato un valore base di 0.6, che è aumentato a 0.73 con SE e a 0.8 con SE+SYN. GPT-4 ha mantenuto un valore base di 0.92, che è salito a 0.93 con SE e a 0.95 con SE+SYN. Llama 2-7B ha iniziato con un valore base di 0.33, che è migliorato a 0.52 con SE e a 0.53 con SE+SYN.   Infine, per il dataset PARARULE-Plus, GPT-3.5 ha mostrato un valore base di 0.26, che è aumentato a 0.5 con SE e a 0.62 con SE+SYN. GPT-4 ha avuto un valore base di 0.54, migliorato a 0.64 con SE e a 0.7 con SE+SYN. Il modello Llama 2-7B ha mostrato un valore base di 0.1, che è salito a 0.16 sia con SE che con SE+SYN.   È importante notare che i due moduli, la Correzione Semantica (SE) e la Correzione Sintattica combinata con la Correzione Semantica (SE+SYN), migliorano entrambi l'eseguibilità del codice.   Limitazioni di ChatLogic Le valutazioni sperimentali sui vari modelli di linguaggio avanzati hanno dimostrato che ChatLogic+LLMs offre prestazioni superiori rispetto ai modelli di linguaggio di base. Tuttavia, sono emerse alcune problematiche. Il modello PARARULE-Plus si basa sull'ipotesi di un mondo chiuso nei dati di question-answering, dove tutte le informazioni necessarie sono contenute nel dataset e non c'è bisogno di cercare fonti esterne. Al contrario, in un contesto di mondo aperto, le informazioni possono provenire da fonti esterne e non predefinite, richiedendo al sistema di importare, integrare e inferire informazioni espresse in modi diversi.   Inoltre, dataset come CONCEPTRULES V1 e V2, creati artificialmente, mancano di naturalezza nell'espressione linguistica e potrebbero non rappresentare pienamente le complessità del mondo reale. Quando si affrontano frasi più complesse in un contesto di mondo aperto, l'importazione, l'integrazione e l'inferenza di informazioni esterne continuano a rappresentare sfide significative.   Nonostante i risultati preziosi ottenuti negli esperimenti per migliorare l'affidabilità del codice, è importante riconoscere che l'applicabilità del modulo di ottimizzazione è attualmente limitata a specifici dataset. Anche i campioni di prompt attentamente progettati sono ottimizzati per dataset specifici e non rappresentano un template di prompt universale. Gli sviluppi futuri dovrebbero concentrarsi sulla creazione di componenti di ottimizzazione adattabili per affrontare una gamma più ampia di scenari e fonti di dati.   Conclusioni Il framework ChatLogic rappresenta un avanzamento significativo nel campo dell'intelligenza artificiale, in particolare per quanto riguarda la capacità di eseguire ragionamenti complessi e multi-step. Questo strumento risolve alcune delle principali limitazioni dei modelli di linguaggio attuali, come la gestione della memoria a lungo termine e l'applicazione di regole logiche. La capacità di trasformare problemi logici in forme simboliche, elaborate da un motore di inferenza, permette ai modelli di linguaggio di superare le prestazioni dei metodi tradizionali in vari scenari, come dimostrato dai test sui dataset PARARULE-Plus e CONCEPTRULES.   Il successo di ChatLogic risiede nell'implementazione di una memoria simbolica e nell'uso del motore di programmazione logica pyDatalog, che insieme migliorano le abilità deduttive e la precisione dei modelli di linguaggio in compiti di ragionamento complesso. L'adozione della tecnica "Mix-shot Chain of Thought" ottimizza le capacità inferenziali degli LLM, rendendo il processo di risoluzione dei problemi più efficace e meno dispendioso in termini di risorse.   Dal punto di vista strategico, l'adozione di ChatLogic può trasformare il modo in cui le aziende utilizzano l'intelligenza artificiale per affrontare problemi complessi. La possibilità di migliorare la precisione delle inferenze e di ridurre gli errori nelle applicazioni pratiche apre nuove opportunità per settori come la finanza, la sanità e la logistica, dove il ragionamento articolato e la gestione delle informazioni sono cruciali.   Un altro aspetto rilevante è la facilità di accesso e replicabilità del framework, grazie alla disponibilità del codice sorgente e dei dati su piattaforme pubbliche come GitHub. Questo favorisce ulteriori ricerche e sviluppi, potenziando l'innovazione nel campo dell'intelligenza artificiale. La comunità accademica e industriale può trarre vantaggio da queste risorse per sviluppare applicazioni personalizzate e migliorare ulteriormente le capacità di ragionamento dei modelli di linguaggio.   Nonostante i risultati promettenti, è importante riconoscere le limitazioni attuali di ChatLogic. I dataset utilizzati per i test, come PARARULE-Plus e CONCEPTRULES, sebbene utili, non rappresentano appieno la complessità e la variabilità del mondo reale. Per affrontare scenari più complessi e realistici, è necessaria un'integrazione più robusta delle informazioni esterne e un miglioramento continuo delle tecniche di inferenza.   In sintesi, ChatLogic offre una prospettiva inedita sulle potenzialità dei modelli di linguaggio avanzati, combinando logica simbolica e capacità deduttive per superare le sfide del ragionamento complesso. Questa innovazione ha il potenziale di trasformare significativamente il modo in cui le imprese utilizzano l'intelligenza artificiale, migliorando l'efficienza e la precisione delle loro operazioni. Tuttavia, per sfruttare appieno queste opportunità, è essenziale continuare a sviluppare e perfezionare il framework, affrontando le sue attuali limitazioni e adattandolo a un'ampia gamma di applicazioni reali.

La rapida adozione dei chatbot AI negli ambienti lavorativi, in particolare di modelli avanzati come ChatGPT, sta trasformando significativamente i processi di diffusione delle informazioni e la soddisfazione dei dipendenti. Lo studio " Effects of ChatGPT’s AI capabilities and human-like traits on spreading information in work environments ", condotto da Hyeon Jo del Seoul National University College of Business Administration e Do-Hyung Park del KAIST College of Business, esplora in dettaglio l'impatto delle capacità di ChatGPT e delle sue caratteristiche umane sul passaparola (WOM) e sulla gestione della conoscenza negli uffici.   Attraverso un'approfondita analisi quantitativa, i ricercatori hanno utilizzato un campionamento casuale stratificato per raccogliere dati da un gruppo diversificato di lavoratori esperti nell'uso di ChatGPT. Le ipotesi dello studio sono state testate con la Modellazione delle Equazioni Strutturali (SEM) tramite SmartPLS 4, una tecnica che consente di valutare le relazioni complesse tra le variabili.   I risultati evidenziano che gli aggiornamenti di sistema, la capacità di memorizzazione e le caratteristiche linguistiche universali di ChatGPT migliorano significativamente l'acquisizione e l'applicazione della conoscenza. Inoltre, i tratti umani del chatbot, come la personalità e l'interazione simile a quella umana, aumentano il valore utilitaristico e la soddisfazione degli utenti. Questi fattori, a loro volta, potenziano il WOM, promuovendo una maggiore condivisione di informazioni tra colleghi.   Interessante notare che l'età dei lavoratori influisce positivamente sul WOM, mentre il genere non ha mostrato un impatto significativo. Questo suggerisce che i lavoratori più anziani potrebbero essere più inclini a condividere le loro esperienze positive con ChatGPT rispetto ai loro colleghi più giovani.   Lo studio fornisce importanti contributi teorici e pratici, ampliando la comprensione del ruolo dei chatbot AI nei processi di conoscenza e soddisfazione lavorativa. Per i dirigenti aziendali e i responsabili delle risorse umane, questi risultati sottolineano l'importanza di integrare efficacemente le tecnologie AI nei flussi di lavoro per migliorare l'efficienza e il benessere dei dipendenti. L'Impatto di ChatGPT sull'acquisizione e applicazione della conoscenza aziendale ChatGPT, sviluppato da OpenAI, si è affermato come un sistema di intelligenza artificiale conversazionale che sfrutta il machine learning e il natural language processing. È diventato popolare nel mondo del lavoro, aiutando gli impiegati in molteplici compiti, come la scrittura di e-mail e l'assistenza nella ricerca.   Una delle sue caratteristiche distintive è la capacità di generare testi dall'aspetto umano, rendendolo prezioso per la redazione di contenuti, la risposta a quesiti e il supporto nelle sessioni di brainstorming. La sua versatilità lo ha reso uno strumento essenziale nelle attività quotidiane e ha evidenziato l'importanza di comprendere le dinamiche di interazione tra utenti e AI.   Circa l'8,2% dei dipendenti di organizzazioni globali ha utilizzato ChatGPT nel proprio ambiente di lavoro a marzo 2023. La diffusione di ChatGPT non è stata guidata da pubblicità tradizionali ma si è estesa principalmente attraverso il passaparola tra individui, un fenomeno notevole soprattutto tra le generazioni più giovani che utilizzano i social media come principale mezzo di comunicazione.   Il passaparola è essenziale nel plasmare le percezioni e le decisioni di adozione di nuove tecnologie. Nel caso di ChatGPT, è un indicatore prezioso per valutare la soddisfazione degli utenti e la loro propensione a raccomandare la tecnologia ad altri, essenziale per la sua diffusione negli ambienti lavorativi.   In un'epoca di crescente dipendenza da strumenti basati sull'intelligenza artificiale, capire come gli utenti condividono le loro esperienze è fondamentale per identificare i punti di forza della tecnologia e le aree che necessitano di miglioramenti. Questi progressi nell'intelligenza artificiale generativa hanno stimolato ricerche cruciali per l'avanzamento del settore.   La prima area di miglioramento è nell'informatica e si concentra sul perfezionamento dei modelli e delle tecniche usati nell'intelligenza artificiale generativa. Questo include innovazioni nelle strutture dei modelli come le GAN, le VAE e i modelli basati su transformer come GPT.   Le GAN, o Generative Adversarial Networks, sono un tipo di intelligenza artificiale che consiste in due reti neurali che competono tra loro per migliorare continuamente. Una rete crea dati falsi (come immagini), mentre l'altra cerca di distinguere tra dati veri e falsi. Questo processo aiuta a generare dati molto realistici.   Le VAE, o Variational Autoencoders, sono un altro tipo di intelligenza artificiale che lavora comprimendo i dati in una forma più semplice per poi ricostruirli. Questo è utile per generare nuovi dati simili a quelli originali, come immagini o suoni.   GPT, o Generative Pre-trained Transformer, è un modello di intelligenza artificiale progettato per comprendere e generare testo in modo molto sofisticato. Questo modello è alla base di ChatGPT di OpenAI.   Il funzionamento di GPT si basa su una fase di addestramento su enormi quantità di testo provenienti da libri, articoli, siti web e altre fonti. Durante questo processo, il modello apprende le regole, i modelli e le sfumature del linguaggio. Una volta addestrato, GPT può rispondere a domande, scrivere testi e persino tenere conversazioni in modo molto naturale, quasi come se fosse una persona reale.   Questa capacità di generare testo coerente e pertinente è resa possibile grazie all'architettura "transformer" su cui si basa. I transformer permettono al modello di gestire in modo efficiente le relazioni tra le parole in un testo, indipendentemente dalla loro posizione. Questo rende GPT estremamente potente nel comprendere il contesto e generare risposte appropriate.   La seconda area di ricerca esplora l'uso dei prompt per risolvere problemi attraverso l'AI generativa, soprattutto nel contesto del linguaggio informatico e delle scienze decisionali. Gli studiosi stanno esaminando come i prompt possano essere utilizzati strategicamente per influenzare e migliorare le prestazioni dei sistemi di AI generativa, con un focus particolare sull'assistenza nei processi decisionali complessi.   La terza area di ricerca si concentra sull'accettazione e la soddisfazione degli utenti nei confronti dell'AI generativa, esaminando i comportamenti degli utenti. Questo comporta lo studio dei fattori che influenzano la fiducia, la soddisfazione e la facilità d'uso delle applicazioni di AI generativa. I ricercatori mirano a capire meglio le interazioni degli utenti, i loro feedback e le loro preferenze per migliorare il design e l'implementazione di questi sistemi in contesti reali.   All'interno di queste aree di ricerca, particolare attenzione viene dedicata allo studio dei fattori che influenzano la soddisfazione degli utenti con l'AI generativa. Questo permette di approfondire come gli utenti interagiscono e percepiscono queste tecnologie avanzate. Le ricerche precedenti sull'AI e le interazioni sul posto di lavoro spesso hanno trascurato la complessità della relazione tra le caratteristiche dell'AI, il valore percepito, la soddisfazione e i comportamenti di passaparola (WOM). Elementi specifici come gli aggiornamenti del sistema, la memorizzabilità, le barriere linguistiche, e la loro interazione con i fattori di conoscenza degli utenti, richiedono un'analisi più dettagliata.   Inoltre, la personalità nell'interazione con le piattaforme, la soddisfazione e il passaparola non sono stati esplorati a fondo in un contesto lavorativo. Lo studio di Hyeon Jo & Do‑Hyung Park offre un'analisi dettagliata della correlazione tra le caratteristiche dei sistemi di AI e i comportamenti degli utenti, mettendo in luce i ruoli interconnessi dell'intelligenza del sistema, della conoscenza degli utenti e della personalità nel determinare la soddisfazione degli utenti e il passaparola sul posto di lavoro.   La ricerca si focalizza sull'ambiente lavorativo, un settore poco esplorato negli studi su ChatGPT. Utilizza un approccio integrativo che combina diversi elementi per sviluppare un modello completo che spiega l'interazione degli utenti con l'intelligenza artificiale, colmando le lacune presenti nella letteratura. Questo studio è tra i primi ad analizzare queste dinamiche specificamente con ChatGPT, un'AI diffusa in vari settori, offrendo insight preziosi sul suo impiego e accettazione in ambito lavorativo.   L'obiettivo principale è creare un modello che includa fattori come intelligenza, conoscenza, elementi umani e innovazione, per interpretare meglio i comportamenti degli utenti in relazione all'uso delle tecnologie AI sul posto di lavoro. Si esaminano l'influenza delle caratteristiche dell'AI, come aggiornamenti del sistema, capacità di memorizzazione e le sfide delle barriere non linguistiche, sull'uso della conoscenza in ambiente lavorativo. Si esplora anche l'effetto della personalità umanoide di ChatGPT sulla percezione del valore utilitaristico e sulla soddisfazione degli utenti, indagando come questi elementi influenzino il passaparola.   Attraverso questo studio si intende superare tre principali carenze nella ricerca corrente. Primo, molti studi sull'accettazione di ChatGPT sono frammentati e non esplorano il legame tra uso e soddisfazione, un vuoto che questa ricerca mira a colmare offrendo un'analisi olistica su come le proprietà di ChatGPT influenzino l'apprendimento e la soddisfazione nel contesto aziendale. Secondo, si approfondisce come le caratteristiche dell'AI contribuiscano al processo di conoscenza, aggiungendo valore e incrementando la soddisfazione. Infine, non è stata sufficientemente indagata la connessione tra la soddisfazione derivata dall'utilizzo delle tecnologie AI e la tendenza al passaparola in questi contesti. Il contributo di questo studio sta nel mostrare come il valore utilitaristico, derivato dall'uso efficace delle conoscenze, possa migliorare la soddisfazione e stimolare il passaparola tra i lavoratori, evidenziando così le implicazioni pratiche dell'integrazione dell'AI nei contesti di lavoro digitale e remoto.   Contesto teorico e sviluppo delle ipotesi Il modello di ricerca di questo studio si concentra su tre fattori principali: aggiornamento del sistema, memorabilità e barriere non linguistiche.   L'aggiornamento del sistema è cruciale per comprendere il valore percepito e l'accettazione delle nuove funzionalità da parte degli utenti. La percezione positiva degli aggiornamenti può influenzare la soddisfazione complessiva degli utenti, il loro atteggiamento verso la tecnologia e la loro intenzione di continuare a utilizzarla.   La memorabilità di una tecnologia guidata dall'AI, come ChatGPT, è essenziale per l'engagement e la fidelizzazione degli utenti. Nel contesto dell'AI conversazionale, la memorabilità si riferisce all'impatto delle risposte generate sull'utente, inclusa la capacità del sistema di fornire risposte accurate, nuove o emotivamente risonanti. Un'alta memorabilità può aumentare la soddisfazione dell'utente, incoraggiarne l'uso ripetuto e creare un senso di connessione con il sistema.   Le barriere linguistiche rappresentano un elemento critico per migliorare l'esperienza utente. In un ambiente lavorativo sempre più multilingue, un sistema di AI come ChatGPT, capace di comprendere diverse lingue e soddisfare le esigenze di comunicazione multilingue, è una risorsa inestimabile per le aziende.   I fattori di conoscenza, in particolare l'acquisizione e l'applicazione delle conoscenze, sono fondamentali per comprendere i comportamenti degli utenti con tecnologie di AI come ChatGPT. Questi fattori, derivati dagli studi sull'interazione uomo-computer (HCI), enfatizzano processi mentali quali percezione, memoria, apprendimento e risoluzione dei problemi. La capacità degli utenti di acquisire conoscenze da ChatGPT è particolarmente rilevante sul luogo di lavoro, poiché devono comprendere i risultati del sistema per sfruttare le sue capacità nei loro compiti. Ad esempio, ChatGPT può fornire informazioni e approfondimenti in vari domini, aiutando così l'utente nell'acquisizione di conoscenze.   L'applicazione delle conoscenze acquisite è essenziale per l'utilizzo dell'AI sul posto di lavoro, poiché indica l'utilità del sistema nell'assistere gli utenti nei loro compiti professionali. Il modello propone che i fattori di conoscenza influenzino il valore utilitaristico percepito e la soddisfazione derivata dal sistema di AI.   Inoltre, l'adozione di una personalità simile a quella umana nei sistemi di AI è un elemento fondamentale da considerare. Secondo il modello Person-Artifact-Task (PAT), l'interazione tra la persona (utente), l'artefatto (AI) e il compito influenza l'accettazione e l'uso della tecnologia. Sistemi di AI come ChatGPT, con una personalità più umana, possono favorire un ambiente interattivo, aumentando la soddisfazione e il coinvolgimento degli utenti. Le interazioni sul posto di lavoro richiedono comunicazioni razionali e logiche, e un'AI con una personalità umana può esibire queste qualità in modo efficace. ChatGPT può comprendere, generare e conversare in linguaggio naturale, imitando conversazioni umane in modo razionale e logico. Il concetto di personalità umana nei sistemi di AI è stato convalidato per influenzare il valore percepito e la soddisfazione, che sono i principali antecedenti del passaparola (WOM). Gli utenti che percepiscono un sistema di AI come dotato di tratti di personalità umana possono sviluppare un senso di rapporto, fiducia e, in definitiva, soddisfazione con il sistema. La personalità umana del sistema ChatGPT è incorporata nel modello come un fattore che influenza ulteriormente il valore percepito e la soddisfazione.   Nel contesto dell'uso di ChatGPT sul posto di lavoro, il valore utilitaristico e la soddisfazione degli utenti sono altamente rilevanti a causa del loro significativo impatto sui comportamenti degli utenti stessi, in particolare sul passaparola (WOM). Quando i lavoratori percepiscono un alto valore utilitaristico in uno strumento come ChatGPT, grazie alle sue capacità di aumentare la produttività, facilitare i compiti o fornire informazioni precise, tendono a condividere queste esperienze positive e a promuovere la tecnologia tra i loro colleghi. Allo stesso modo, quando gli utenti sperimentano soddisfazione nelle interazioni con un sistema come ChatGPT, sono più propensi a impegnarsi in passaparola positivo, raccomandando il sistema ad altri nella loro rete. La soddisfazione dipende spesso da quanto bene il sistema assista gli utenti nei loro compiti, dalla facilità d'uso e dall'affidabilità del funzionamento, influenzando significativamente i comportamenti di passaparola degli utenti. Il modello proposto suggerisce che il valore utilitaristico percepito e la soddisfazione derivati dall'uso del sistema di intelligenza artificiale influenzino direttamente il comportamento di passaparola, incidendo sulle prestazioni lavorative e portando a ulteriori raccomandazioni del sistema.   Le caratteristiche uniche di ChatGPT influenzano i fattori cognitivi cruciali per spiegare i comportamenti degli utenti verso i sistemi di intelligenza artificiale sul posto di lavoro. Questi processi cognitivi, modellati dagli attributi distintivi di ChatGPT, determinano come gli utenti percepiscono e utilizzano la tecnologia, influenzando la loro soddisfazione, le prestazioni lavorative e i comportamenti di passaparola. Il modello di ricerca offre quindi una visione comprensiva dei fattori che guidano il comportamento di passaparola legato all'uso del sistema di intelligenza artificiale ChatGPT sul posto di lavoro, attingendo a varie fondamenta teoriche per spiegare il complesso intreccio di questi elementi.   Aggiornamento del sistema Gli aggiornamenti di sistema spesso includono modifiche software destinate a migliorare le prestazioni, correggere bug, aggiungere nuove funzionalità o migliorare l'esperienza utente. Tali upgrade possono influenzare significativamente la funzionalità, l'usabilità e l'efficacia complessiva di sistemi basati su intelligenza artificiale come ChatGPT. Numerosi studi suggeriscono una relazione positiva tra l'avanzamento dei sistemi di AI e i processi di gestione della conoscenza degli utenti. L'acquisizione e l'applicazione della conoscenza sono componenti fondamentali della gestione della conoscenza e influiscono notevolmente sulle prestazioni organizzative.   In particolare, gli aggiornamenti di sistema che migliorano il processamento e la comprensione del linguaggio naturale possono potenziare significativamente la capacità dei sistemi di AI di comprendere e elaborare informazioni complesse, che possono poi essere comunicate efficacemente agli utenti. Tali aggiornamenti migliorano anche la capacità del sistema di interagire e coinvolgere gli utenti in modo più umano, incentivando l'esplorazione e l'utilizzo delle funzionalità correlate alla conoscenza.   Funzionalità avanzate di AI, un miglior processamento delle informazioni e un'esperienza utente più interattiva possono supportare i lavoratori nel loro apprendimento continuo e facilitare l'applicazione di queste conoscenze nelle loro attività quotidiane. Pertanto, questo studio propone le seguenti ipotesi:   - H1a : L'aggiornamento di sistema di ChatGPT ha un impatto positivo sull'acquisizione di conoscenze da parte dei lavoratori d'ufficio. - H1b : L'aggiornamento di sistema di ChatGPT ha un impatto positivo sull'applicazione delle conoscenze da parte dei lavoratori d'ufficio.   La memorabilità  La memorabilità si riferisce alla capacità di ChatGPT di ricordare le esigenze, le preferenze e le interazioni passate degli utenti. Questo aspetto del design e della funzionalità del sistema AI può influenzare notevolmente il coinvolgimento, la soddisfazione e l'esperienza complessiva degli utenti. Numerosi studi nel campo dell'interazione uomo-computer e dell'intelligenza artificiale indicano che la memorabilità del sistema può facilitare significativamente questi processi di gestione della conoscenza.   Quando un sistema ricorda e riconosce le esigenze e le preferenze degli utenti, può fornire informazioni più personalizzate, pertinenti e, di conseguenza, più utili. Questo, a sua volta, migliora l'acquisizione di conoscenze poiché gli utenti sono più propensi a impegnarsi e ad assimilare informazioni che rispondono direttamente alle loro necessità. Inoltre, la memorabilità può aiutare nell'applicazione delle conoscenze. Quando un sistema ricorda le interazioni passate e le preferenze degli utenti, può offrire intuizioni o suggerimenti pertinenti ai compiti dell'utente. Questo permette una applicazione efficace delle conoscenze fornite dal sistema, poiché si allinea con il contesto, le esigenze e le preferenze dell'utente.   Dato che i lavoratori d'ufficio spesso affrontano compiti che richiedono una vasta gamma di conoscenze e una rapida risoluzione dei problemi, un sistema con alta memorabilità può essere particolarmente utile. Può aiutare a fornire informazioni personalizzate, migliorando così i processi di acquisizione e applicazione delle conoscenze. Pertanto, lo studio propone le seguenti ipotesi:   H2a: La memorabilità di ChatGPT ha un impatto positivo sull'acquisizione di conoscenze dei lavoratori d'ufficio. H2b: La memorabilità di ChatGPT ha un impatto positivo sull'applicazione di conoscenze dei lavoratori d'ufficio.   Le barriere linguistiche Le barriere linguistiche riguardano la capacità dei sistemi di intelligenza artificiale di comprendere, tradurre e comunicare in diverse lingue. La capacità di un sistema di essere multilingue può contribuire significativamente a superare queste barriere, promuovendo una comunicazione più fluida tra gli utenti e l'AI.   La ricerca evidenzia che la lingua svolge un ruolo cruciale nei processi di acquisizione e applicazione della conoscenza. Un sistema di intelligenza artificiale che riesce a superare le barriere linguistiche, come ChatGPT, può facilitare notevolmente questi processi. Grazie alla capacità di comprendere e comunicare in più lingue, un'AI multilingue può rendere le informazioni più accessibili e comprensibili per gli utenti, migliorando l'acquisizione della conoscenza. Questo garantisce che gli utenti possano comprendere appieno le informazioni fornite.   Inoltre, un sistema di intelligenza artificiale multilingue può offrire soluzioni personalizzate per l'applicazione della conoscenza, adattandosi alla lingua e al contesto culturale dell'utente. Questo facilita significativamente l'applicazione della conoscenza nelle attività quotidiane e nelle attività di problem-solving degli utenti.   Pertanto, lo studio propone le seguenti ipotesi: - H3a : Le barriere linguistiche superate da ChatGPT hanno un impatto positivo sull'acquisizione della conoscenza dei lavoratori d'ufficio. - H3b : Le barriere linguistiche superate da ChatGPT hanno un impatto positivo sull'applicazione della conoscenza dei lavoratori d'ufficio.   Acquisizione della conoscenza L'acquisizione della conoscenza comporta l'ottenimento di nuove informazioni e l'ampliamento di questa conoscenza man mano che si ottengono ulteriori dati. Questo processo è fondamentale nel modellare l'interazione degli utenti con i sistemi di intelligenza artificiale e nella loro percezione di tali sistemi.   Ricerche precedenti evidenziano che un'acquisizione efficace della conoscenza può migliorare significativamente la percezione dell'utilità. Fornendo informazioni pertinenti e personalizzate, sistemi di intelligenza artificiale come ChatGPT possono migliorare le prestazioni e l'efficienza degli utenti nei loro compiti, aumentando il valore utilitaristico del sistema. Inoltre, un'acquisizione di conoscenza efficace può portare a livelli più elevati di soddisfazione dell'utente. Quando gli utenti possono acquisire facilmente ed efficacemente le informazioni di cui hanno bisogno, tendono a sentirsi più soddisfatti del sistema che fornisce tali informazioni.   Sia il valore utilitaristico che la soddisfazione sono risultati cruciali per gli utenti che interagiscono con sistemi di intelligenza artificiale come ChatGPT. In un contesto lavorativo, acquisire in modo efficace le conoscenze necessarie può aiutare gli utenti a completare i loro compiti più rapidamente, aumentando il valore utilitaristico del sistema. Contestualmente, può migliorare la soddisfazione dell'utente soddisfacendo o superando le loro aspettative. Pertanto, lo studio propone le seguenti ipotesi:   - H4a : L'acquisizione di conoscenza da ChatGPT ha un impatto positivo sul valore utilitaristico derivato dal sistema. - H4b : L'acquisizione di conoscenza da ChatGPT ha un impatto positivo sulla soddisfazione verso il sistema.   Applicazione della conoscenza L'applicazione della conoscenza è il processo di utilizzo delle informazioni acquisite per prendere decisioni, risolvere problemi o svolgere compiti. Diversi studi suggeriscono che un'applicazione efficace della conoscenza può aumentare significativamente il valore utilitaristico percepito di un sistema. Ciò avviene perché la capacità di applicare la conoscenza ottenuta da un sistema, come ChatGPT, può migliorare le prestazioni e l'efficienza delle attività svolte.   L'efficace applicazione della conoscenza non solo porta a una maggiore soddisfazione degli utenti, come riportato da numerosi studi, ma anche all'incremento del valore utilitaristico percepito. Quando gli utenti riescono ad applicare la conoscenza acquisita, l'esperienza complessiva migliora, soddisfacendo o superando le aspettative. Questo risultato è fondamentale per gli utenti che interagiscono con sistemi di intelligenza artificiale.   In pratica, le applicazioni della conoscenza permettono agli utenti di utilizzare in modo significativo e pratico le informazioni fornite dal sistema, aumentando il valore utilitaristico. Allo stesso tempo, rendono l'interazione più efficace e gratificante, accrescendo la soddisfazione dell'utente. Di conseguenza, lo studio propone le seguenti ipotesi: - H5a : L'applicazione della conoscenza tramite ChatGPT ha un impatto positivo sul valore utilitaristico percepito. - H5b : L'applicazione della conoscenza tramite ChatGPT ha un impatto positivo sulla soddisfazione dell'utente.   Personalità simile a quella umana Il concetto di personalità umana in un sistema di intelligenza artificiale riguarda la sua abilità di manifestare attributi tipici degli esseri umani, quali un'identità distintiva e caratteristiche particolari. Diverse ricerche hanno evidenziato come gli utenti ricavino un maggiore beneficio utilitario da sistemi che presentano tali tratti, in quanto risultano più affini e interattivi, influenzando positivamente l'efficacia e l'efficienza nelle attività svolte.   Inoltre, la percezione di umanità in questi sistemi, come nel caso di ChatGPT, favorisce un coinvolgimento maggiore e una maggiore soddisfazione nell'utente, che apprezza un'esperienza più personalizzata. Infatti, la presenza di una personalità che rifletta tratti umani può amplificare l'utilità pratica dell'interazione, rendendola più gratificante e coinvolgente. Pertanto, lo studio propone le seguenti ipotesi: - H6a : La personalità umana in ChatGPT ha un impatto positivo sul valore utilitario derivato dall'uso del sistema. - H6b : La personalità umana in ChatGPT ha un impatto positivo sulla soddisfazione degli utenti.   Queste ipotesi mirano a dimostrare l'importanza di sviluppare sistemi di intelligenza artificiale che possano interagire in modo più umano, migliorando l'esperienza complessiva degli utenti.   Valore utilitaristico Il valore utilitaristico rappresenta i benefici funzionali o pratici che un utente ottiene da un prodotto o servizio, come un aumento della produttività, dell'efficienza o il miglioramento delle prestazioni nelle attività quotidiane. Numerosi studi hanno dimostrato una correlazione positiva tra valore utilitaristico e soddisfazione dell'utente, evidenziando come i benefici pratici forniti da un sistema possano incrementare significativamente i livelli di soddisfazione degli utenti.   Inoltre, il valore utilitaristico di un servizio o prodotto tende a incentivare gli utenti a condividere le loro esperienze positive con altri. Le ricerche precedenti confermano che un alto valore utilitaristico può generare un passaparola positivo (WOM). Fornendo benefici pratici e promuovendo il passaparola positivo, il valore utilitaristico può migliorare l'esperienza complessiva dell'utente e favorire l'adozione del sistema.   Pertanto, lo studio propone le seguenti ipotesi:   - H7a : Il valore utilitaristico derivato da ChatGPT ha un impatto positivo sulla soddisfazione degli utenti. - H7b : Il valore utilitaristico derivato da ChatGPT ha un impatto positivo sul passaparola.   Soddisfazione degli utenti La soddisfazione degli utenti rappresenta il grado in cui le aspettative riguardo a un prodotto o servizio sono soddisfatte o superate. Questo elemento è cruciale per determinare le percezioni complessive degli utenti sulla qualità del prodotto o servizio. La connessione tra soddisfazione e passaparola (WOM) è stata ampiamente studiata e ben documentata. I clienti soddisfatti tendono a condividere le loro esperienze positive con altri, influenzando così il processo decisionale degli altri utenti.   Questa relazione diventa particolarmente rilevante nel contesto dei sistemi di intelligenza artificiale come ChatGPT. Quando gli utenti sono soddisfatti delle loro interazioni, sono più inclini a raccomandare il servizio ad altri, favorendo una maggiore accettazione e diffusione.   Alla luce di ciò, lo studio propone la seguente ipotesi: - H8 : La soddisfazione ha un impatto positivo sul passaparola.   Variabili di controllo L'età e il genere sono comunemente considerate variabili di controllo nella ricerca, poiché possono influenzare la relazione tra variabili indipendenti e dipendenti. Questo perché età e genere spesso influenzano i comportamenti, le percezioni e gli atteggiamenti degli individui, incluse le loro reazioni alle tecnologie e ai sistemi di intelligenza artificiale come ChatGPT. Considerare età e genere come variabili di controllo può aiutare a isolare gli effetti di questi fattori demografici, fornendo una comprensione più chiara della relazione tra le variabili principali di interesse.   Metodologia della ricerca Il processo di ricerca è iniziato con una revisione approfondita della letteratura per identificare gli elementi adatti a ciascun concetto. Gli elementi per i concetti di aggiornamento del sistema, memorabilità, barriere non linguistiche e personalità simile a quella umana sono stati adattati da Chen et al., che hanno condotto uno studio approfondito sulle misurazioni della qualità dei chatbot AI. Gli elementi per l'acquisizione della conoscenza e l'applicazione della conoscenza sono stati adattati dallo studio di Al-Sharafi et al. Gli elementi per il valore utilitaristico sono stati adattati da Kim e Oh, e gli elementi per la soddisfazione da Nguyen et al. Gli elementi del concetto di passaparola (WOM) sono stati adattati da Mishra e Shukla. Infine, gli elementi di ciascun concetto sono stati misurati utilizzando una scala Likert a sette punti che varia da 1 (fortemente in disaccordo) a 7 (fortemente d'accordo), ad eccezione delle variabili di controllo. Il genere è stato categorizzato come 1 per i maschi e 2 per le femmine, e l'età è stata registrata come raccolta.   Il questionario è stato strutturato in due sezioni. La prima sezione del questionario era composta da domande volte a identificare le informazioni demografiche del rispondente, inclusi genere, età e posizione. Questo approccio è stato impiegato per garantire che il campione rappresentasse adeguatamente la popolazione più ampia. La seconda parte del questionario era costituita da più elementi progettati per misurare ciascun concetto. Questi concetti includevano aggiornamento del sistema, memorabilità, barriere non linguistiche, acquisizione della conoscenza, applicazione della conoscenza, personalità simile a quella umana, valore utilitaristico, soddisfazione e passaparola. Particolare attenzione è stata prestata per garantire che gli elementi fossero chiari, concisi e non ambigui. Il linguaggio e la terminologia utilizzati nel questionario sono stati scelti con cura per essere facilmente compresi dai rispondenti senza alcuna conoscenza specialistica. È stato inoltre trovato un equilibrio nella lunghezza del questionario per evitare la fatica dei rispondenti, garantendo al contempo una copertura completa di tutti i concetti.   Prima della raccolta effettiva dei dati, il questionario è stato sottoposto a un processo di revisione da parte di esperti e a un test pilota per valutarne validità e affidabilità. Un passaggio essenziale per garantire la validità del questionario di ricerca è stato la revisione da parte degli esperti. Un panel di tre esperti nei campi dei sistemi informativi, gestione degli uffici e progettazione di sondaggi è stato selezionato per valutare la validità dello strumento. Questi esperti sono stati scelti in base alla loro vasta conoscenza ed esperienza nei campi pertinenti e alla loro comprensione della progettazione e metodologia dei questionari. Agli esperti è stato chiesto di valutare la validità del contenuto e del concetto del questionario, esaminando la chiarezza, la rilevanza e la completezza degli elementi rispetto ai concetti che dovevano misurare. Ogni esperto è stato anche invitato a fornire suggerimenti per migliorare il questionario, come riformulare elementi poco chiari o aggiungere nuovi elementi che potessero meglio catturare i concetti di interesse. I feedback della revisione da parte degli esperti sono stati preziosi per affinare il questionario. Tutti i cambiamenti suggeriti sono stati attentamente valutati e incorporati nello strumento finale ove appropriato. Ad esempio, sulla base del feedback degli esperti, alcuni elementi sono stati riformulati per una maggiore chiarezza, mentre altri sono stati esclusi per evitare ridondanze. Inoltre, sono stati aggiunti alcuni nuovi elementi per garantire una copertura completa dei concetti. Successivamente, è stato effettuato un test pilota con un campione di 20 impiegati, che ha ulteriormente garantito la chiarezza e la comprensione degli elementi.   Questo robusto processo di sviluppo dello strumento ha assicurato che le misurazioni utilizzate nello studio fossero sia valide che affidabili, catturando adeguatamente i concetti di interesse.   Ecco i dettagli dei concetti misurati e gli elementi associati:   Aggiornamento del sistema - ChatGPT dà l'impressione di essere in costante miglioramento. - ChatGPT sembra diventare sempre più avanzato. - Le funzionalità di ChatGPT sono state migliorate.    Memorabilità - Il sistema ricorda efficacemente le mie esigenze e preferenze. - Non devo ripetere continuamente le mie richieste al sistema. - Anche se non uso ChatGPT da un po', il sistema ricorda le mie preferenze e necessità al mio ritorno.    Barriere non linguistiche - ChatGPT comprende lingue di diversi paesi. - ChatGPT può cambiare lingua senza problemi. - ChatGPT soddisfa le mie esigenze di comunicazione multilingue.    Acquisizione della conoscenza - ChatGPT mi permette di generare nuova conoscenza basata su quella esistente. - ChatGPT mi consente di accedere alla conoscenza tramite varie risorse. - ChatGPT mi aiuta ad acquisire conoscenze che si adattano alle mie necessità.   Applicazione della conoscenza - ChatGPT fornisce accesso immediato a vari tipi di conoscenze. - ChatGPT mi consente di integrare diversi tipi di conoscenze. - ChatGPT può aiutare a gestire meglio i materiali dei corsi all'interno dell'università.    Personalità simile a quella umana - ChatGPT mostra tratti di personalità simili a quelli umani. - Sento che ChatGPT ha una sua personalità unica. - La personalità di ChatGPT è paragonabile a quella di un essere umano.   Valore utilitaristico - Rispetto al costo (0 KRW per la versione gratuita), l'uso di ChatGPT offre un ottimo rapporto qualità-prezzo. - Considerando lo sforzo che investo, l'uso di ChatGPT è vantaggioso per me. - In relazione al tempo che spendo, l'uso di ChatGPT vale la pena.    Soddisfazione - ChatGPT ha soddisfatto le mie aspettative. - ChatGPT soddisfa efficacemente le mie necessità, come cercare informazioni o completare transazioni. - Sono soddisfatto del supporto fornito da ChatGPT.    Passaparola (WOM) - Diffonderò recensioni positive su ChatGPT. - Raccomanderò ChatGPT ai miei amici. - Incoraggerò i miei amici a usare o acquistare ChatGPT.    Le variabili di controllo includono il genere, categorizzato come 1 per i maschi e 2 per le femmine, e l'età, registrata come raccolta.   Raccolta dati e metodo di campionamento I dati dello studio sono stati raccolti mediante un sondaggio eseguito da una società specializzata in rilevazioni, Hankook Research. Lo scopo della ricerca era analizzare l'uso e l'intenzione di uso di ChatGPT da parte dei lavoratori, coinvolgendo persone impiegate in vari settori. Per la selezione del campione è stato impiegato il campionamento stratificato, una tecnica di campionamento probabilistico. Questo metodo è noto per migliorare la rappresentatività e la generalizzabilità dei risultati, soprattutto quando la popolazione è eterogenea.   La popolazione di studio è stata suddivisa in gruppi basati su genere e posizione lavorativa. Inoltre, sono stati considerati i gruppi di età, concentrandosi sulle fasce dai 20 ai 40 anni, ritenute i principali utilizzatori di ChatGPT sul lavoro. La raccolta dei dati tramite sondaggio si è svolta in circa dieci giorni, dalla fine di maggio ai primi di giugno 2023.   Il campione era composto da 347 rispondenti, selezionati per garantire un'adeguata rappresentanza delle diverse demografie. La distribuzione per genere era equilibrata con il 50,4% di uomini (175 rispondenti) e il 49,6% di donne (172 rispondenti). I partecipanti erano equamente suddivisi tra le fasce di età dei 20, 30 e 40 anni, ciascuna rappresentante circa un terzo del campione totale. Questa scelta è stata fatta poiché tali fasce sono considerate le principali utilizzatrici di strumenti di intelligenza artificiale come ChatGPT sul posto di lavoro. Il campione rappresentava anche varie posizioni lavorative. Il gruppo più numeroso era composto da Assistenti Manageriali (27,4%, 95 rispondenti), seguito da Impiegati (25,1%, 87 rispondenti) e Manager (20,7%, 72 rispondenti). I Senior Manager costituivano il 13,5% (47 rispondenti), gli Executive Manager l'11,0% (38 rispondenti) e i Direttori e Rappresentanti ciascuno l'1,2% (4 rispondenti ciascuno) del campione totale. Questa distribuzione permette di avere una visione completa dell'uso di ChatGPT tra i lavoratori e consente un confronto tra i diversi gruppi, migliorando la generalizzabilità dei risultati dello studio.   I dati demografici dei 347 partecipanti allo studio sono distribuiti come segue: Genere - Maschi: 175 (50.4%) - Femmine: 172 (49.6%)   Età - 20-29 anni: 116 (33.4%) - 30-39 anni: 116 (33.4%) - 40-49 anni: 115 (33.1%)   Posizione lavorativa - Impiegato: 87 (25.1%) - Assistente manager: 95 (27.4%) - Manager: 72 (20.7%) - Senior manager: 47 (13.5%) - Manager esecutivo: 38 (11.0%) - Direttore: 4 (1.2%) - Rappresentante: 4 (1.2%)   Approvazione etica e metodologia di analisi nello studio Lo studio ha ricevuto l'approvazione da parte di un comitato etico istituzionale presso l'HJ Institute of Technology and Management.   Il consenso informato è stato debitamente ottenuto da tutti i partecipanti coinvolti nello studio.   Per l'analisi dei dati, è stata impiegata la tecnica del modeling di equazioni strutturali (SEM), con particolare riferimento al metodo Partial Least Squares (PLS). Il metodo PLS-SEM è stato selezionato per la sua capacità di gestire modelli complessi che includono numerosi costrutti e indicatori, la sua robustezza nei confronti delle violazioni della normalità e la sua applicabilità sia nella verifica che nello sviluppo delle teorie. Inoltre, il PLS-SEM si dimostra particolarmente adatto per ricerche di tipo esplorativo, come quella in esame, che mirano a spiegare i fattori chiave di una variabile dipendente.   I risultati includono la validazione riguardante il bias del metodo comune, il modello di misurazione e il modello strutturale.   Valutazione del bias del metodo comune (CMB) e della multicollinearità nello studio Per garantire la validità dei risultati e ridurre la possibile minaccia del bias del metodo comune, è stato eseguito il test del fattore unico di Harman. L'analisi ha mostrato un valore del costrutto singolo pari al 48,891%, indicando che il bias del metodo comune non rappresenta un problema significativo nello studio, poiché non supera la soglia del 50%.   In aggiunta, è stato valutato il Variance Inflation Factor (VIF) per misurare la gravità della multicollinearità nell'analisi di regressione. I valori di VIF oscillavano tra 1,020 e 2,503. Poiché nessuno di questi valori ha superato la soglia di 3,380, si deduce che la multicollinearità non costituisce un problema nello studio. Questi risultati dimostrano che sia il bias del metodo comune sia la multicollinearità non sono preoccupazioni rilevanti, rendendo i risultati dello studio robusti e affidabili.   Modello di Misurazione La ricerca ha adottato un approccio in due fasi raccomandato da Anderson e Gerbing per testare l'affidabilità, la validità convergente e la validità discriminante del modello di misurazione. Per analizzare l'affidabilità, sono stati utilizzati il Cronbach’s Alpha e l'Affidabilità Composita (CR). Tutti i costrutti hanno dimostrato un'affidabilità accettabile, con valori di Cronbach’s Alpha compresi tra 0,827 e 0,943, superando la soglia raccomandata di 0,782. Analogamente, i valori di CR per tutti i costrutti erano superiori al livello accettabile di 0,782, variando da 0,897 a 0,964. Questi risultati confermano l'affidabilità delle scale di misurazione utilizzate.   La validità convergente è stata confermata attraverso i carichi fattoriali e l'Average Variance Extracted (AVE). I carichi fattoriali di tutti gli elementi erano significativi e superavano il livello raccomandato di 0,782, con valori compresi tra 0,821 e 0,956. Inoltre, l'AVE di tutti i costrutti variava da 0,744 a 0,898, superando la soglia di 0,5, dimostrando ulteriormente la validità convergente.   La validità discriminante è stata verificata utilizzando il criterio di Fornell-Larcker e il rapporto Heterotrait-Monotrait (HTMT). Le radici quadrate degli AVE (elementi diagonali) erano superiori ai corrispondenti elementi fuori diagonale, confermando così la validità discriminante secondo il criterio di Fornell-Larcker. Inoltre, tutti i valori di HTMT erano inferiori alla soglia suggerita di 0,90, verificando la validità discriminante. Pertanto, il modello di misurazione ha dimostrato una buona affidabilità, validità convergente e validità discriminante, indicando che le scale di misurazione utilizzate erano affidabili e valide per ulteriori analisi.   Valutazione del Fit del modello   La valutazione del fit del modello nello studio è stata condotta utilizzando diversi indici di fit chiave, fornendo una valutazione complessiva di quanto bene il modello proposto rappresenta i dati. Gli indici di fit includono lo standardized root mean square residual (SRMR), l'Unweighted Least Squares Discrepancy (d_ULS), il Geodesic Discrepancy (d_G), il Chi-square e il normed fit index (NFI).   Lo SRMR è una misura della discrepanza media tra le correlazioni osservate e quelle previste dal modello. Nello studio, i valori di SRMR per i modelli saturati e stimati erano rispettivamente 0,042 e 0,071. Secondo Hu e Bentler, un valore di SRMR inferiore a 0,08 indica un buon fit, suggerendo che il modello raggiunge un fit accettabile con i dati.   Le funzioni di discrepanza d_ULS e d_G sono utilizzate per valutare il fit del modello, con valori inferiori che indicano un miglior fit. Il modello mostra valori di d_ULS di 0,770 per il modello saturato e 2,194 per il modello stimato, e valori di d_G di 0,555 e 0,616, rispettivamente.   Il Chi-square è una misura tradizionale del fit del modello, con un Chi-square inferiore che indica un miglior fit. Il modello presenta valori di Chi-square di 1196,856 per il modello saturato e 1192,325 per il modello stimato.   L'NFI confronta il fit del modello target con un modello nullo, con valori di NFI vicini a 1 che indicano un miglior fit. Nello studio, sia i modelli saturati che stimati producono un NFI di 0,857, suggerendo un buon fit.   Questi risultati complessivamente indicano che il modello di misurazione rappresenta adeguatamente i dati, confermando la sua validità e affidabilità per ulteriori analisi.   Valutazione del modello per la verifica delle ipotesi nello studio Il modello è stato valutato per verificare le ipotesi proposte dallo studio. Nell'analisi è stato utilizzato il metodo bootstrap con 5000 risample per generare i valori t, i valori p e gli intervalli di confidenza, necessari per determinare la significatività dei coefficienti di percorso.   I risultati dell'analisi del modello mostrano i coefficienti di percorso, i valori t e i valori p. Abbiamo riscontrato associazioni significative tra l'aggiornamento del sistema e sia l'acquisizione della conoscenza (b = 0.41, t = 6.231) che l'applicazione della conoscenza (b = 0.422, t = 7.424), confermando così le ipotesi H1a e H1b. Anche la memorabilità ha avuto un impatto positivo significativo sia sull'acquisizione della conoscenza (b = 0.189, t = 2.876) che sull'applicazione della conoscenza (b = 0.255, t = 4.589), supportando le ipotesi H2a e H2b. I dati hanno inoltre indicato una correlazione significativa tra le barriere non linguistiche e sia l'acquisizione della conoscenza (b = 0.181, t = 2.841) che l'applicazione della conoscenza (b = 0.194, t = 3.312), validando le ipotesi H3a e H3b.   È stato scoperto che l'acquisizione della conoscenza esercitava un effetto positivo significativo sia sul valore utilitaristico (b = 0.347, t = 4.466) che sulla soddisfazione (b = 0.23, t = 4.249), in linea con le ipotesi H4a e H4b. Coerentemente con le ipotesi, l'applicazione della conoscenza era significativamente associata sia al valore utilitaristico (b = 0.33, t = 4.487) che alla soddisfazione (b = 0.239, t = 4.038), corroborando le ipotesi H5a e H5b. Inoltre, la personalità simile a quella umana influenzava positivamente sia il valore utilitaristico (b = 0.124, t = 2.429) che la soddisfazione (b = 0.16, t = 3.567), supportando le ipotesi H6a e H6b. Le previsioni riguardanti la relazione tra il valore utilitaristico e sia la soddisfazione (b = 0.353, t = 5.968) che il passaparola (WOM) (b = 0.525, t = 10.783) sono state fortemente validate, confermando le ipotesi H7a e H7b. È emerso che la soddisfazione aveva un impatto positivo significativo sul passaparola (b = 0.388, t = 7.432), supportando l'ipotesi H8. Per quanto riguarda le variabili di controllo, il genere non ha mostrato un'influenza significativa sul passaparola (b = 0.057, t = 1.000), mentre l'età sì (b = 0.060, t = 2.100).   I valori R2 sono stati utilizzati per valutare l'accuratezza predittiva dei costrutti dipendenti nel modello. Il quadro concettuale ha spiegato circa il 70,9% della variazione nel passaparola, indicando una quantità sostanziale. I valori Q2, calcolati utilizzando la procedura PLSpredict in SmartPLS, sono stati impiegati per misurare la rilevanza predittiva del modello. I valori Q2 predict rappresentano la rilevanza predittiva del modello di percorso. I valori Q2 predict per tutti i costrutti endogeni (acquisizione della conoscenza, applicazione della conoscenza, valore utilitaristico, soddisfazione e passaparola) sono maggiori di zero, indicando che il modello ha rilevanza predittiva.   Infine, le dimensioni dell'effetto (f2) sono state calcolate per valutare l'impatto sostanziale di ciascun costrutto predittore sul rispettivo costrutto endogeno. La matrice delle dimensioni dell'effetto f2 per i costrutti nel modello suggerisce che alcuni predittori avevano un impatto più pronunciato su determinate variabili endogene, mentre altri hanno contribuito in modo più modesto, evidenziando l'interazione sfumata di diversi fattori all'interno del modello.   L'Impatto degli aggiornamenti di sistema e delle caratteristiche di personalizzazione di ChatGPT sull'acquisizione della conoscenza, il valore utilitaristico e la soddisfazione degli utenti   Lo studio ha confermato l'influenza positiva degli aggiornamenti di sistema sia sull'acquisizione che sull'applicazione della conoscenza, in linea con precedenti ricerche. Quando ChatGPT riceve aggiornamenti, migliora le sue capacità di fornire informazioni accurate e dettagliate, facilitando l'acquisizione di nuove conoscenze da parte degli utenti. Inoltre, gli aggiornamenti introducono nuove funzionalità per organizzare, filtrare o visualizzare i dati, migliorando l'applicazione delle conoscenze acquisite. Questo suggerisce che l'evoluzione continua di ChatGPT porterà a un maggiore beneficio per gli utenti.   La significativa associazione tra memorabilità e acquisizione e applicazione della conoscenza conferma che meccanismi di richiamo efficaci nei sistemi AI migliorano l'esperienza utente e i risultati di apprendimento. Il richiamo delle preferenze e dei requisiti degli utenti permette interazioni personalizzate, favorendo l'apprendimento e l'uso delle conoscenze.   Lo studio ha inoltre evidenziato l'influenza delle barriere non linguistiche sull'acquisizione e applicazione della conoscenza. ChatGPT, ricordando gli input e le preferenze degli utenti, fornisce informazioni più personalizzate e pertinenti, migliorando l'acquisizione di nuove conoscenze. Questa capacità di "ricordare" contribuisce a interazioni più personalizzate e efficienti nel recupero delle informazioni, facilitando anche l'applicazione delle conoscenze. Ad esempio, gli utenti possono applicare quanto appreso in sessioni precedenti a nuovi compiti o problemi, garantendo continuità nei loro compiti.   Il valore utilitaristico e la soddisfazione sono significativamente correlati all'acquisizione di conoscenze. Man mano che gli utenti acquisiscono conoscenze interagendo con ChatGPT, percepiscono un aumento del valore pratico o utilitaristico, applicando tali conoscenze in contesti pratici per migliorare decisioni, risolvere problemi o aumentare l'efficienza. Questo porta a una maggiore percezione del valore derivato dal sistema AI. L'aumento dell'acquisizione di conoscenze migliora anche la soddisfazione degli utenti, poiché aumenta la loro auto-efficacia, portando a un senso di competenza e realizzazione.   L'applicazione delle conoscenze influisce significativamente sia sul valore utilitaristico che sulla soddisfazione. Gli utenti percepiscono un maggiore valore utilitaristico quando possono applicare le conoscenze acquisite in contesti pratici e lavorativi, migliorando la produttività e l'efficienza. La soddisfazione degli utenti aumenta quando riescono ad applicare efficacemente le conoscenze acquisite, poiché ciò accresce il loro senso di competenza e auto-efficacia.   La “personalità umana” di ChatGPT ha un impatto positivo sul valore utilitaristico e sulla soddisfazione. Interazioni con un sistema AI che esibisce tratti di personalità umana migliorano la percezione dell'utilità e del valore pratico del sistema, rendendo l'interazione più coinvolgente e user-friendly. Questo porta a un'esperienza di interazione più preziosa e significativa. Inoltre, una personalità umana in ChatGPT crea un senso di familiarità e comfort, aumentando la soddisfazione degli utenti.   Lo studio ha rilevato una forte correlazione tra valore utilitaristico, soddisfazione e passaparola. Un alto valore utilitaristico percepito dagli utenti aumenta la loro soddisfazione con il sistema AI, suggerendo che i benefici pratici tratti da ChatGPT, come l'aumento della produttività e la semplificazione dei compiti, contribuiscono significativamente alla soddisfazione complessiva. Gli utenti tendono a diffondere un passaparola positivo quando percepiscono un alto valore utilitaristico, promuovendo così il sistema AI.   La soddisfazione con ChatGPT ha un impatto positivo sulla comunicazione passaparola tra i lavoratori d'ufficio. Studi indicano che un alto livello di soddisfazione porta a passaparola positivo, riaffermando la forza e la rilevanza di questa associazione in diversi ambiti. Quando gli utenti sono soddisfatti del sistema, è più probabile che lo raccomandino ad altri, creando un ciclo positivo di adozione e utilizzo.   Infine, lo studio ha rivelato che, mentre il genere non influisce significativamente sulle comunicazioni passaparola su ChatGPT, l'età ha un effetto positivo significativo. Sia maschi che femmine sono ugualmente propensi a condividere le loro esperienze, ma gli individui più maturi, grazie a esperienze di vita più ampie e reti sociali diversificate, sono più inclini a condividere le loro opinioni.     Limitazioni e ulteriori ricerche Nonostante i numerosi contributi significativi dello studio attuale, sono presenti limitazioni che suggeriscono interessanti direzioni per future ricerche. Una delle principali limitazioni è l'uso di misure auto-riferite per valutare l'acquisizione e l'applicazione della conoscenza, che potrebbero essere influenzate da bias di desiderabilità sociale. Per superare questa limitazione, studi futuri potrebbero integrare misure più oggettive, come compiti basati sulle prestazioni o metodi di osservazione, per valutare l'effettivo impatto di ChatGPT sui processi di conoscenza.   Inoltre, la ricerca si è concentrata prevalentemente sui lavoratori d'ufficio come gruppo di utenti. Questo approccio, sebbene utile, potrebbe limitare la generalizzabilità dei risultati. Ricerche future potrebbero esplorare l'influenza di ChatGPT e di chatbot AI simili su diversi gruppi demografici, come studenti, anziani o professionisti specifici (ad esempio, medici, avvocati), per arricchire la comprensione dell'utilizzo dei chatbot AI in contesti diversi.   Un'altra limitazione riguarda l'esame di un insieme limitato di fattori potenzialmente influenti. Futuri studi potrebbero considerare ulteriori fattori come la fiducia, la percezione della facilità d'uso, il design o le caratteristiche degli utenti che potrebbero influenzare significativamente l'interazione con i chatbot AI. In particolare, sarebbe utile considerare una gamma più ampia di tratti degli utenti, come l'innovatività, le conoscenze pregresse e l'autoefficacia, per comprendere meglio come gli individui interagiscono con e traggono soddisfazione dai servizi tecnologici come ChatGPT.   Le implicazioni etiche rappresentano un'altra area cruciale per future ricerche, specialmente in termini di copyright legati all'uso dell'AI per la generazione di contenuti. Comprendere come gli utenti percepiscono e affrontano queste considerazioni etiche è fondamentale. Inoltre, il contesto in cui viene utilizzato ChatGPT, inclusi fattori come la difficoltà, la creatività e la natura analitica o intuitiva del compito, potrebbe influenzare la percezione e l'interazione degli utenti. Esplorare come queste variabili contestuali influenzano l'esperienza e i risultati degli utenti è essenziale per future ricerche.   Un'ulteriore limitazione dello studio è il focus ristretto sulla personificazione dell'AI senza esaminare ampiamente l'interazione con le variabili indipendenti. Future ricerche potrebbero approfondire come aggiornamenti di sistema, memorabilità e barriere non linguistiche contribuiscano sia alla personificazione che alla personalizzazione dell'AI, migliorando così la comprensione delle dinamiche tra utenti e AI nel contesto lavorativo.   Infine, esplorare il potenziale di ChatGPT nella riduzione dello stress degli utenti rappresenta una promettente direzione per future ricerche. Anche se ChatGPT non risolve direttamente un problema, la presenza di un mentore di conoscenza AI potrebbe alleviare lo stress durante i processi di problem-solving. Studi futuri potrebbero esaminare gli impatti psicologici dell'interazione con chatbot AI come ChatGPT.   Conclusioni L'adozione delle piattaforme GenAI come ChatGPT nelle aziende sta ridefinendo radicalmente il modo in cui vengono diffuse le informazioni e migliorando la soddisfazione dei dipendenti. Questi strumenti non solo facilitano la gestione della conoscenza ma anche incrementano il passaparola tra i lavoratori, amplificando l'efficienza operativa. Integrando tecnologie avanzate, le aziende possono beneficiare di una diffusione rapida e precisa delle informazioni, essenziale in un mercato sempre più competitivo.   Uno degli aspetti più interessanti dell'uso di ChatGPT è la sua capacità di aggiornarsi e migliorarsi costantemente. Gli aggiornamenti di sistema non solo potenziano le funzionalità esistenti ma introducono anche nuove caratteristiche che migliorano l'esperienza utente e aumentano la capacità di memorizzazione delle informazioni. Questo è cruciale per l'acquisizione e l'applicazione della conoscenza, poiché consente ai dipendenti di accedere a informazioni sempre aggiornate e rilevanti, facilitando così il processo decisionale e migliorando la produttività.   La personalità umana di ChatGPT è un altro elemento che gioca un ruolo fondamentale nell'interazione con gli utenti. La capacità di comprendere e rispondere in modo umanoide rende l'AI più accessibile e piacevole da usare, aumentando la soddisfazione degli utenti e promuovendo un maggiore coinvolgimento. Questa personalizzazione non solo migliora la percezione del valore utilitaristico del sistema ma crea anche un ambiente lavorativo più armonioso e cooperativo.   Inoltre, l'efficacia di ChatGPT nel superare le barriere linguistiche lo rende uno strumento potente in ambienti di lavoro globalizzati e multilingue. La capacità di comprendere e rispondere in diverse lingue facilita la comunicazione tra dipendenti di varie nazionalità, promuovendo un flusso di informazioni più fluido e riducendo i malintesi. Questo è particolarmente importante in contesti aziendali internazionali, dove una comunicazione efficace è essenziale per il successo.   L'impatto del passaparola non può essere sottovalutato. Gli utenti soddisfatti tendono a condividere le loro esperienze positive, influenzando le decisioni di adozione di nuove tecnologie all'interno dell'organizzazione. Questo crea un ciclo virtuoso di feedback positivo, dove la crescente adozione porta a ulteriori miglioramenti del sistema, aumentando ulteriormente la soddisfazione e il valore percepito.   Tuttavia, per massimizzare i benefici dell'integrazione di ChatGPT, le aziende devono considerare attentamente l'implementazione e la gestione di queste tecnologie. È cruciale fornire formazione adeguata ai dipendenti per sfruttare appieno le capacità dell'AI e assicurarsi che gli aggiornamenti del sistema siano gestiti in modo efficiente per evitare interruzioni operative. Inoltre, è essenziale monitorare costantemente il feedback degli utenti per identificare aree di miglioramento e implementare rapidamente le modifiche necessarie.   Infine, le aziende devono essere consapevoli delle implicazioni etiche legate all'uso di tecnologie AI, specialmente per quanto riguarda la privacy dei dati e il copyright. L'adozione di ChatGPT deve essere accompagnata da politiche chiare e trasparenti che proteggano i diritti degli utenti e garantiscano un uso responsabile della tecnologia.   In conclusione, l'integrazione di ChatGPT nelle dinamiche aziendali rappresenta una straordinaria opportunità per migliorare la diffusione delle informazioni e aumentare la soddisfazione dei dipendenti. Tuttavia, il successo di questa trasformazione dipende dalla capacità delle aziende di gestire efficacemente l'implementazione e l'evoluzione di queste tecnologie, mantenendo un focus costante sulla formazione, il feedback degli utenti e le considerazioni etiche. Solo in questo modo sarà possibile sfruttare al massimo il potenziale delle piattaforme GenAI come ChatGPT, creando un ambiente di lavoro più efficiente, collaborativo e gratificante.

Uno studio condotto da   Ozge Demirci, Jonas Hannane e Xinrong Zhu  ha analizzato l'impatto delle tecnologie di Intelligenza Artificiale Generativa sulla domanda di freelance online. Utilizzando dati estesi provenienti da una piattaforma globale, i risultati hanno indicato una riduzione del 21% nelle offerte di lavoro per attività che possono essere automatizzate, come la scrittura e la programmazione. Allo stesso modo, le tecnologie di generazione di immagini basate su AI hanno causato una diminuzione del 17% nelle offerte di lavoro per la creazione di immagini. La ricerca ha anche mostrato, attraverso Google Trends, che la diminuzione più marcata nella domanda di lavori automatizzabili è legata a una crescente consapevolezza pubblica sulla possibilità di sostituire tali lavori con strumenti come ChatGPT. Le recenti innovazioni nell'intelligenza artificiale e nell'elaborazione del linguaggio naturale hanno provocato cambiamenti significativi in vari settori. Servizi AI come ChatGPT hanno evidenziato una notevole abilità nella creazione di risposte testuali che emulano il modo di esprimersi delle persone, risultando coerenti e attinenti al contesto dato. Queste tecnologie potrebbero avere un impatto profondo sui mercati del lavoro online (OLM), dove i lavori freelance, tradizionalmente basati sull'expertise umana, ora affrontano l'influenza crescente dell'automazione dovuta all'emergere di strumenti di AI.   L'analisi degli impatti a breve termine delle tecnologie di Intelligenza Artificiale Generativa (GenAI) sulla domanda di lavori freelance nei mercati del lavoro online permette di identificare i tipi di lavori maggiormente influenzati dalle GenAI e di quantificare l'entità dell'impatto. I mercati del lavoro freelance online offrono un contesto ideale per studiare l'impatto a breve termine degli strumenti GenAI, caratterizzati da lavori flessibili, a breve termine, orientati ai compiti e remoti. Anche i compiti tipici per i quali si utilizzano strumenti di AI sono piccoli, flessibili e a breve termine. Esaminare gli effetti dell'AI su questi mercati offre un'opportunità per ottenere indicazioni su contesti più ampi, con implicazioni estendibili a settori oltre l'occupazione a contratto.   L'analisi dei dati provenienti da una piattaforma globale di freelance online, comprendenti 1.388.711 annunci di lavoro dal luglio 2021 al luglio 2023, utilizza un algoritmo di clustering di rete per categorizzare gli annunci in cluster distinti come gestione dei dati e degli uffici, scrittura e ingegneria. Basandosi sull'AI Occupational Exposure Index (AIOE), questi cluster di lavori mostrano diversi livelli di esposizione agli strumenti di AI basati su modelli linguistici di grandi dimensioni. I cluster possono essere classificati in tre tipi: attività amministrative e tecniche (gestione degli uffici, servizi video e audio), lavori propensi all'automazione (scrittura, sviluppo software, app e web, ingegneria) e lavori di generazione di immagini (design grafico e modellazione 3D). I lavori amministrativi o tecnici hanno un AIOE notevolmente inferiore rispetto ai lavori propensi all'automazione, indicando una minore esposizione ai modelli linguistici di grandi dimensioni.   L'analisi degli effetti dell'introduzione degli strumenti di GenAI sulla domanda nei diversi tipi di gruppi di lavoro si basa su un metodo empirico che impiega varie versioni dei modelli "difference-in-differences" (DiD). Questo approccio comprende sia le versioni standard del DiD, sia metodologie avanzate di recente sviluppo, come il DiD sintetico e il DiD doppiamente robusto.   Il metodo "difference-in-differences" (DiD) è una tecnica statistica che compara i cambiamenti nei risultati tra un gruppo che ha subito un intervento (come l'introduzione di GenAI) e un gruppo di controllo che non lo ha subito. Il DiD sintetico è una versione migliorata del DiD tradizionale, che utilizza una combinazione di vari gruppi di controllo per creare un confronto più accurato. Il DiD doppiamente robusto è un metodo avanzato che migliora la precisione delle stime combinando due tecniche: i modelli di regressione e i pesi. I modelli di regressione sono strumenti statistici che permettono di comprendere la relazione tra diverse variabili. I pesi, invece, vengono utilizzati per dare maggiore importanza a certe osservazioni all'interno del dataset, in modo da correggere eventuali squilibri tra il gruppo che ha subito l'intervento e il gruppo di controllo.   In pratica, il DiD doppiamente robusto usa i modelli di regressione per stimare gli effetti dell'intervento e contemporaneamente applica pesi che bilanciano le differenze tra i gruppi di confronto. Questo approccio permette di ottenere stime più accurate, riducendo il rischio di errori dovuti a differenze iniziali non osservate tra i gruppi.   Il rilascio di ChatGPT ha mostrato che il numero di annunci di lavoro per i lavori soggetti ad automazione è diminuito del 20,86% in più rispetto a quelli che richiedono un'intensa attività manuale entro otto mesi dall'introduzione di ChatGPT. I lavori di scrittura hanno registrato il calo più significativo nella domanda (30,37%), seguiti dallo sviluppo di software, siti web/app (20,62%) e dall'ingegneria (10,42%). Sebbene questa diminuzione del numero di annunci intensifichi la competizione tra freelancer, i lavori soggetti ad automazione rimanenti risultano di maggiore complessità e offrono una retribuzione più elevata.   L'introduzione degli strumenti GenAI per la creazione di immagini, come Midjourney, Stable Diffusion e DALL-E 2, ha causato una riduzione complessiva del 17,01% negli annunci di lavoro, con una diminuzione particolarmente marcata nel settore del design grafico (18,49%) e della modellazione 3D (15,57%). Questi cali nella domanda sono maggiori delle variazioni stagionali osservate sulla piattaforma o dell'effetto documentato dell'automazione nei mercati del lavoro tradizionali.   Il legame causale tra la diminuzione differenziale della domanda e l'introduzione di ChatGPT viene rafforzato incorporando un indice esterno: Google Trends Search Volume Indices (Google SVI), costruito utilizzando termini di ricerca correlati come "ChatGPT" combinati con le descrizioni dei cluster di lavoro (es. scrittura ChatGPT). Il Google SVI per la scrittura, l'ingegneria, lo sviluppo software, app e web ha mostrato una crescita significativa rispetto ad altri lavori dopo l'introduzione di ChatGPT. Esiste una relazione negativa tra le variazioni nel numero di annunci di lavoro all'interno di un cluster e il Google SVI, suggerendo che nei cluster di lavoro con maggiore consapevolezza o interesse per la sostituibilità tramite strumenti AI, si è verificata una diminuzione più marcata della domanda di freelancer.   Le ricerche precedenti hanno evidenziato come l'automazione, inclusi robot e apprendimento automatico, sostituisca alcuni lavori creando al contempo nuove opportunità, portando a una complessa riallocazione del lavoro. I compiti che comportano azioni di routine e ripetitive sono maggiormente vulnerabili all'automazione, mentre quelli che richiedono risoluzione di problemi complessi e creatività ne sono meno influenzati. Le capacità distintive di GenAI permettono di automatizzare compiti come la codifica, la scrittura e la creazione di immagini. GenAI si distingue come una tecnologia versatile, con ampie applicazioni e facilità di integrazione e adattabilità, suggerendo un impatto potenzialmente più profondo e ampio sui mercati del lavoro. Le recenti scoperte su come GenAI stia rimodellando la domanda di varie competenze umane a breve termine suggeriscono un effetto che non solo persiste, ma cresce durante il periodo di osservazione. Data la crescente consapevolezza delle potenzialità offerte dalla GenAI, come evidenziato dal Google SVI, i risultati a breve termine possono fungere da indicatori degli impatti a lungo termine.   L'impatto della GenAI sui mercati del lavoro e sulle dinamiche economiche viene analizzato esaminando quanto le diverse professioni siano esposte all'AI e proponendo modi per identificare le industrie, i lavori o le regioni più influenzate. Questa analisi copre vari aspetti dell'economia, come la produttività dei lavoratori, l'assistenza nella scrittura, il valore delle aziende, la ricerca di mercato, i beni digitali pubblici, i contenuti creati dagli utenti e i mercati del lavoro.   Analizzando i dati degli annunci di lavoro online, è possibile ricavare informazioni su come l'AI generativa stia influenzando il mercato del lavoro. Due caratteristiche chiave emergono da questo approccio. Primo, il dataset consente di misurare direttamente la domanda di freelance monitorando il numero di annunci nel tempo, quantificando gli effetti di sostituzione e analizzando le differenze tra i tipi di lavoro. Questo rivela tendenze dettagliate, come cali iniziali seguiti da riduzioni crescenti. Secondo, le informazioni sulle competenze e sui requisiti lavorativi permettono di vedere come gli annunci cambiano dopo l'introduzione di strumenti di GenAI, suggerendo interessanti dinamiche nel mercato del lavoro, inclusi possibili adattamenti della forza lavoro e salari più alti per i lavori rimanenti.   Queste caratteristiche forniscono prospettive uniche rispetto ad altri studi che si basano sulle storie lavorative o sui profili dei freelance per esaminare l'impatto della GenAI sull'occupazione. I dati aiutano a risolvere la possibile sottostima della domanda che può verificarsi utilizzando solo le storie lavorative, garantendo un'analisi più accurata del mercato del lavoro online. Raggruppando annunci di lavoro simili e classificandoli basandosi sulla letteratura esistente, e validando queste classificazioni con Google SVI, si arricchisce la comprensione dell'impatto dell'AI nella modifica della domanda di lavoro.   Anche se siamo ancora agli inizi, gli effetti della GenAI sul mercato del lavoro online sono già evidenti, indicando possibili cambiamenti a lungo termine nelle dinamiche occupazionali. I risultati sugli impatti eterogenei a breve termine dell'AI sui lavori freelance online sono rilevanti per manager e policymaker. Identificando i lavori più colpiti dall'AI, questi risultati forniscono indicazioni preziose per un'implementazione responsabile ed efficace degli strumenti di GenAI nel posto di lavoro.   Mercato del lavoro online I mercati del lavoro online (OLM) sono diventati un pilastro fondamentale nel panorama lavorativo digitale, offrendo una piattaforma dove i freelancer possono mettere a disposizione le loro competenze per i potenziali datori di lavoro. Piattaforme come Upwork, Freelancer.com e Fiverr continuano a facilitare questa connessione, permettendo ai datori di lavoro di pubblicare annunci sui quali i freelancer possono fare offerte. Queste piattaforme hanno visto una crescita esponenziale grazie alla loro flessibilità, portata globale e all'efficace corrispondenza tra freelancer e datori di lavoro.   Nel 2024, il mercato dei freelancer online è ancora in forte espansione. Secondo le stime recenti, si prevede che oltre 15 milioni di freelancer in tutto il mondo abbiano ottenuto lavoro tramite piattaforme OLM, con circa 4 milioni di questi che hanno trovato impieghi a tempo pieno. Questo trend è alimentato dalla crescente adozione del lavoro da remoto e dalla continua digitalizzazione delle aziende, che cercano sempre più competenze specifiche senza le limitazioni geografiche del passato.   I lavori disponibili sulle piattaforme OLM variano notevolmente in termini di portata e complessità, spaziando da incarichi di inserimento dati a breve termine a compiti complessi di sviluppo software e consulenza strategica. Negli ultimi anni, si è osservata una maggiore frammentazione del lavoro, con i datori di lavoro che suddividono i progetti in compiti più piccoli e specifici. Questo approccio permette una maggiore flessibilità nelle decisioni di assunzione, poiché i datori di lavoro possono facilmente terminare incarichi o assumere nuovi freelancer in base alle esigenze del momento.   Un'importante evoluzione del 2024 è l'integrazione sempre più diffusa dell'intelligenza artificiale nei processi di gestione del lavoro. Soluzioni AI vengono utilizzate per automatizzare compiti ripetitivi, migliorare l'efficienza e ridurre i costi operativi. Questa tendenza sta portando a un cambiamento significativo nel mercato del lavoro, con un numero crescente di datori di lavoro che preferiscono soluzioni AI per la loro convenienza e accessibilità. Di conseguenza, gli OLM rappresentano un ambiente ideale per osservare le prime tendenze dell'impatto dell'AI generativa sull'occupazione.   Dati analizzati I dati sono stati raccolti da una piattaforma di lavoro online, riconosciuta a livello mondiale, utilizzando la sua interfaccia di programmazione delle applicazioni (API). Su questa piattaforma, i datori di lavoro pubblicano le loro offerte specificando un budget, indicando un importo massimo e minimo. Ogni offerta include una descrizione dettagliata del lavoro richiesto, come ad esempio la creazione di un breve video, e le competenze necessarie, come montaggio video, produzione video, e l'uso di software specifici come Final Cut Pro e Adobe Premiere Pro. La piattaforma utilizza tag di competenze per ottimizzare l'abbinamento tra datori di lavoro e freelance. Questi tag possono essere selezionati da una lista standardizzata o inseriti manualmente dai datori di lavoro e sono inclusi in ogni offerta di lavoro. I freelance dichiarano le loro competenze nei profili e solo quelli con competenze corrispondenti possono fare un'offerta. I freelance idonei inviano le loro proposte con un prezzo e tempi suggeriti oppure possono essere invitati direttamente dai datori di lavoro. I datori di lavoro esaminano le offerte ricevute e selezionano i freelance basandosi sulle competenze e sui dettagli dell'offerta.   I dati coprono il periodo da luglio 2021 a luglio 2023 e comprendono tutte le offerte di lavoro presenti sulla piattaforma. Per ogni offerta, sono stati registrati il titolo, la descrizione delle attività (inclusi i tag di competenze e i software preferiti), il budget massimo e minimo fissato dal datore di lavoro, se il pagamento è fisso o orario, se il lavoro deve essere svolto da freelance locali, il numero di offerte ricevute e il prezzo medio per offerta, la data, il luogo (paese e città), l'identificativo del datore di lavoro e lo stato finale dell'offerta (assegnato, scaduto, ecc.). I dati includono 2.712 tag di competenze unici, utilizzati successivamente per raggruppare le offerte di lavoro in diverse categorie. Nella successiva analisi empirica, viene utilizzato il numero di tag di competenze per ogni offerta come indicatore della complessità del lavoro.   Classificazione delle offerte di lavoro L'analisi empirica condotta esplora i cambiamenti nella domanda di vari tipi di lavoro dopo l'introduzione degli strumenti GenAI. Le offerte di lavoro sono state raggruppate in base alla co-occorrenza delle competenze, permettendo una categorizzazione più dettagliata rispetto alle etichette generiche come "design" o "mestieri e servizi". È stato utilizzato un algoritmo di clustering non supervisionato, noto come metodo Louvain, per rilevare gruppi di competenze che si verificano frequentemente insieme nelle offerte di lavoro. Questo metodo è comune per identificare strutture nascoste in grandi reti, come nelle analisi dei social network e nei sistemi di raccomandazione.   L'algoritmo ha individuato 42 diversi cluster di competenze, rappresentando insiemi distinti di competenze o requisiti software necessari per eseguire compiti specifici. Ogni offerta di lavoro è stata poi mappata al cluster con la maggiore sovrapposizione di competenze. I dati sono stati puliti concentrandosi sui cluster prevalenti, eliminando circa lo 0,25% delle offerte di lavoro, e unendo tre cluster simili, ottenendo così 15 cluster distinti. Analizzando i tag di competenze e le descrizioni dettagliate delle offerte di lavoro, i cluster sono stati ulteriormente caratterizzati in base alla letteratura precedente nei seguenti tipi.   Lavori amministrativi e tecnici  comprendono gestione dati e ufficio, servizi video e servizi audio, richiedendo molti compiti manuali. Ad esempio, la gestione dati e ufficio spesso richiede abilità nell'uso di Excel per creare o modificare fogli di calcolo. I servizi audio includono attività come la produzione audio e la progettazione sonora, mentre i servizi video riguardano la creazione o il montaggio video. Sono campi in cui il lavoro umano offre un valore unico.   Lavori soggetti ad automazione  includono scrittura, ingegneria e sviluppo software, app e web, che spesso coinvolgono compiti suscettibili di digitalizzazione o automazione. Il cluster di scrittura comprende correzione di bozze, ghostwriting e editing, ed è identificato come vulnerabile a ChatGPT secondo studi precedenti. Il cluster di ingegneria include compiti di ingegneria elettrica e progettazione di circuiti, richiedendo competenze di programmazione come Mathematica, Matlab e C. Lo sviluppo software, app e web include principalmente offerte di lavoro per sviluppatori di siti web o app, richiedendo competenze di programmazione. ChatGPT ha dimostrato di eseguire bene problemi di programmazione facili e medi.   Lavori di generazione di immagini  come grafica e modellazione 3D coinvolgono la creazione e modifica di contenuti visivi e modelli tridimensionali virtuali. L'impatto degli strumenti di AI generativa di immagini sulla domanda in questi cluster di lavoro è stato esaminato separatamente.   Otto cluster mostrano un'esposizione distinta all'AI, secondo l'Indice di Esposizione Occupazionale all'AI (AIOE), che misura la suscettibilità delle occupazioni ai progressi delle capacità di modellazione linguistica dell'AI, includendo effetti di sostituzione o aumento. Un valore AIOE più alto indica una maggiore suscettibilità ai Modelli Linguistici di Grandi Dimensioni. I lavori amministrativi e tecnici presentano un AIOE decisamente più basso rispetto ai lavori suscettibili di automazione, indicando una minore esposizione all'avvento della GenAI.   L’analisi si concentra su otto cluster specifici. Sono state escluse le offerte di lavoro con budget massimo anomalo nel 1% superiore, restringendo il campione ai 61 paesi più grandi, rappresentativi del 95% di tutte le offerte di lavoro. L'analisi si è focalizzata sui lavori a pagamento fisso, che costituiscono circa l'80% delle restanti offerte. Il campione finale include 1.218.463 offerte di lavoro da 541.828 datori di lavoro. Per catturare la domanda complessiva sulla piattaforma, il campione è stato aggregato a livello di cluster, settimana e paese. È stato calcolato il numero di offerte di lavoro e il campione è stato bilanciato riempiendo con zeri le combinazioni cluster-settimana-paese senza offerte di lavoro durante una settimana specifica. È stato osservato un calo più marcato nel numero medio di offerte di lavoro nei settori soggetti all'automazione e alla generazione di immagini rispetto a quelli amministrativi e tecnici, a seguito dell'introduzione di ChatGPT e dell'intelligenza artificiale generativa di immagini.   I risultati, espressi in termini di logaritmo del numero di offerte e percentuale delle stesse, mostrano variazioni significative tra i diversi tipi di lavoro prima e dopo l'introduzione di ChatGPT e dell'AI generativa di immagini.   Per i lavori amministrativi o tecnici , come gestione dati e ufficio, servizi audio e servizi video, si osserva quanto segue: - Gestione dati e ufficio: prima di ChatGPT, il logaritmo del numero di offerte era 2.08 con una percentuale dell'8.59%. Dopo ChatGPT, i valori sono scesi a 1.84 e 8.64%, rispettivamente. Prima dell'AI generativa di immagini, i valori erano 2.13 e 8.45%, scendendo a 1.88 e 8.82% dopo l'introduzione dell'AI. - Servizi audio: il logaritmo del numero di offerte è passato da 0.63 con una percentuale dello 0.9% prima di ChatGPT, a 0.56 e 1.07% dopo ChatGPT. Prima dell'AI generativa di immagini, i valori erano 0.64 e 0.87%, scendendo a 0.57 e 1.06% dopo. - Servizi video: il logaritmo del numero di offerte è passato da 1.26 con una percentuale del 2.92% prima di ChatGPT, a 1.19 e 3.93% dopo ChatGPT. Prima dell'AI generativa di immagini, i valori erano 1.31 e 2.86%, scendendo a 1.17 e 3.63% dopo.   Per i lavori soggetti ad automazione , come scrittura, sviluppo software, app e web, e ingegneria, si osserva quanto segue: - Scrittura: il logaritmo del numero di offerte è passato da 2.23 con una percentuale del 10.02% prima di ChatGPT, a 1.74 e 7.87% dopo ChatGPT. Questi valori rimangono invariati prima e dopo l'introduzione dell'AI generativa di immagini. - Sviluppo software, App e Web: il logaritmo del numero di offerte è passato da 3.59 con una percentuale del 35.32% prima di ChatGPT, a 3.23 e 33.68% dopo ChatGPT. Anche in questo caso, i valori rimangono invariati prima e dopo l'introduzione dell'AI generativa di immagini. - Ingegneria: il logaritmo del numero di offerte è passato da 1.1 con una percentuale del 2.16% prima di ChatGPT, a 0.86 e 1.91% dopo ChatGPT. Questi valori rimangono invariati prima e dopo l'introduzione dell'AI generativa di immagini.   Per i lavori di generazione di immagini , come design grafico e modellazione 3D, si osserva quanto segue: - Design grafico: i dati non sono stati forniti per il periodo precedente a ChatGPT, ma dopo l'introduzione dell'AI generativa di immagini, il logaritmo del numero di offerte è passato da 3.05 con una percentuale del 22.15% a 2.69 e 24.25%. - Modellazione 3D: anche in questo caso, i dati non sono stati forniti per il periodo precedente a ChatGPT, ma dopo l'introduzione dell'AI generativa di immagini, il logaritmo del numero di offerte è passato da 1.81 con una percentuale del 5.45% a 1.49 e 5.94%.   I dati evidenziano un calo più marcato nei settori lavorativi soggetti ad automazione e alla generazione di immagini, rispetto ai lavori amministrativi o tecnici, dopo l'introduzione di ChatGPT e dell'AI generativa di immagini. Analizzando l'Indice di Volume delle Ricerche su Google (SVI) per valutare l'interesse e la consapevolezza in evoluzione riguardo ChatGPT nei vari ambiti lavorativi, e combinando tali dati con le descrizioni dei diversi settori, come ad esempio "ChatGPT scrittura", emerge un quadro interessante. Nei settori amministrativi e tecnici, l'indice SVI rimane praticamente nullo per tutto il periodo analizzato. Al contrario, le categorie lavorative più suscettibili all'automazione mostrano un notevole incremento nelle ricerche.   Modello matematico per l’analisi dell’impatto della GenAI sul mercato del lavoro online Il modello matematico usa una formula che confronta il numero di annunci di lavoro prima e dopo l'introduzione di strumenti di intelligenza artificiale come ChatGPT e altre tecnologie simili.   Il periodo di osservazione è settimanale, considerando un determinato paese e tipo di lavoro. Si guarda al numero di annunci di lavoro pubblicati ogni settimana, applicando una trasformazione logaritmica per rendere i dati più facili da analizzare. Una variabile indica se un'osservazione è avvenuta prima o dopo il rilascio di questi strumenti di intelligenza artificiale. Per esempio, ChatGPT è stato introdotto la settimana del 30 novembre 2022, mentre l'AI per generare immagini la settimana del 20 luglio 2022.   I lavori sono divisi in gruppi in base alla loro probabilità di essere automatizzati: i lavori che richiedono molta manodopera hanno un valore zero, mentre quelli che possono essere facilmente automatizzati con ChatGPT o AI generativa di immagini hanno un valore uno. Sono considerati anche fattori specifici del paese e del periodo per controllare le differenze nella domanda di lavoro e le tendenze stagionali.   Per comprendere l'impatto dell'introduzione di questi strumenti sul numero di annunci di lavoro, è stato utilizzato un metodo chiamato "differenza nelle differenze", il quale confronta i cambiamenti nel tempo tra diversi gruppi di lavoro. I risultati mostrano che, prima dell'introduzione degli strumenti GenAI, non c'erano grandi differenze nei trend. Dopo l'introduzione, però, i lavori suscettibili all'automazione hanno visto una diminuzione più significativa rispetto ai lavori che richiedono molta manodopera.   Per garantire l'accuratezza dei risultati, vengono utilizzati metodi statistici avanzati per considerare variabili complesse e migliorare la precisione delle stime. Tra questi, la regressione binomiale negativa aiuta a gestire i dati di conteggio come il numero di annunci di lavoro, specialmente quando i dati sono molto variabili.   Risultati e impatto degli strumenti di GenAI Sono state valutate le specifiche di base e di robustezza per analizzare l'impatto del rilascio di ChatGPT, avvenuto il 30 novembre 2022. Il coefficiente DiD (differenza nelle differenze) nel modello risulta significativamente negativo (-0,234), indicando una diminuzione del 20,86% nel numero settimanale di annunci di lavoro per le occupazioni suscettibili all'automazione rispetto a quelle amministrative o tecniche. È stato poi esaminato quale settore lavorativo all'interno delle occupazioni suscettibili all'automazione è stato maggiormente influenzato da ChatGPT. I modelli DiD sono stati stimati separatamente per ciascun settore. Le occupazioni legate alla scrittura hanno mostrato la maggiore diminuzione (30.37%), seguite dallo sviluppo software, app e web (20.62%) e dall'ingegneria (10.42%). Questa classifica corrisponde all'aumento relativo dell'indice di consapevolezza di ChatGPT (SVI). I risultati delle stime dai modelli Negative Binomial, CS DiD e Synthetic DiD sono simili e mostrano lievi discrepanze in alcuni casi. L'effetto stimato è sostanziale, superiore alla variazione stagionale della domanda sulla piattaforma e all'impatto dell'automazione nei mercati del lavoro tradizionali.   Sono stati analizzati anche i cambiamenti in altre variabili, concentrandosi sui datori di lavoro che hanno pubblicato annunci sia prima che dopo l'introduzione di ChatGPT. Utilizzando il modello di base, sono stati esaminati i cambiamenti nel budget massimo, nel numero di offerte per annuncio e nella complessità dei lavori, misurata dal numero di competenze richieste negli annunci. Dopo l'introduzione di ChatGPT, si osserva un aumento del 5.71% nel budget massimo per i lavori suscettibili all'automazione rispetto a quelli amministrativi o tecnici, un incremento dell'8.57% nel numero medio di offerte per annuncio e un aumento del 2.18% nella complessità del lavoro. Questi risultati suggeriscono un leggero aumento della complessità, del budget e della competizione nei lavori suscettibili all'automazione dopo il rilascio di ChatGPT.   È stata inoltre analizzata la frequenza di pubblicazione degli annunci da parte dei datori di lavoro rimasti sulla piattaforma. Per misurare la frequenza, sono state costruite tre metriche: il numero di settimane in cui un datore di lavoro pubblica all'interno di un settore nei periodi pre e post, e il numero di annunci mensili. Il modello DiD è stato applicato a queste variabili, confrontando i cambiamenti differenziali tra i settori suscettibili all'automazione e quelli amministrativi o tecnici.   Infine, sono stati esaminati i tag delle competenze per identificare gli annunci che menzionano "ChatGPT" come competenza richiesta. Nel periodo successivo al rilascio, sono stati trovati 903 annunci di lavoro che elencano ChatGPT nei tag delle competenze. Più dell'88% di questi annunci appartiene a categorie suscettibili all'automazione, con la maggior parte (744 annunci) correlata allo sviluppo software, app e web. È stato osservato un aumento significativo nel numero di annunci che richiedono competenze correlate a ChatGPT, con una media di 0.68 annunci per settimana nel periodo successivo all'introduzione di ChatGPT.   Impatto dell'Introduzione dell'AI Generativa di Immagini L'introduzione delle tecnologie di GenAI per la generazione di immagini ha avuto un impatto significativo sulla domanda di lavori freelance nei settori del graphic design e del 3D modeling. Per analizzare questo effetto, sono stati utilizzati modelli econometrici, tra cui Difference-in-Differences (DiD) e modelli robusti di tipo DiD. Si è concentrata l'attenzione su tre principali tecnologie di AI generativa di immagini: DALL-E 2, Midjourney e Stable Diffusion, tutte introdotte tra luglio e settembre 2022. La data di rilascio del primo software è stata utilizzata come punto di riferimento per l'inizio del periodo di trattamento, identificato come il 20 luglio 2022. Da quel momento, le settimane successive sono considerate nel periodo post-trattamento. Il gruppo di controllo è costituito dai settori che richiedono lavori amministrativi e tecnici.   I risultati delle stime hanno mostrato una riduzione significativa del numero di offerte di lavoro nei settori del graphic design e del 3D modeling. Dopo un anno dall'introduzione delle tecnologie di AI generativa di immagini, il numero di offerte di lavoro in questi settori è diminuito del 17,01%. Questa riduzione è più marcata rispetto alle variazioni stagionali della piattaforma o agli effetti generali dell'automazione nei mercati del lavoro tradizionali. I risultati ottenuti dai modelli econometrici alternativi, tra cui il modello binomiale negativo e i modelli Synthetic DiD e CS DiD, confermano la robustezza di questi effetti principali, mostrando riduzioni significative e coerenti tra loro.   Analisi dei risultati La categoria lavorativa maggiormente colpita è la scrittura, seguita da sviluppo software, app e web, e ingegneria. Si è osservata anche una diminuzione nella domanda di lavori di design grafico e modellazione 3D dopo il rilascio delle tecnologie di generazione di immagini AI. Questi risultati indicano che i freelancer potrebbero affrontare una maggiore concorrenza a causa dell'introduzione degli strumenti GenAI. Considerando che la concorrenza per le opportunità di lavoro nei mercati online è già intensa, la maggiore sostituibilità tra lavori di freelancer e GenAI potrebbe ulteriormente ridurre i budget nel breve termine.   L'impatto iniziale di GenAI sui mercati del lavoro online suggerisce possibili cambiamenti nelle dinamiche lavorative più ampie. Con l'adozione crescente di GenAI, ci sarà probabilmente un significativo spostamento nei tipi di competenze richieste. I compiti facilmente automatizzabili dall'AI, come quelli di routine e ripetitivi, sono destinati a diminuire nella domanda. Al contrario, potrebbe emergere una domanda di nuove competenze per integrare efficacemente gli strumenti GenAI nelle attività lavorative. Competenze che complementano l'AI, come il pensiero critico, la creatività e l'intelligenza emotiva, potrebbero diventare più preziose e richieste. Questo cambiamento nella domanda di competenze potrebbe portare a differenze più marcate nel mercato del lavoro, con un divario crescente tra lavori ad alta competenza e alto salario e lavori a bassa competenza e basso salario.   Alcuni studi preliminari mostrano potenziali benefici di produttività: una sperimentazione su larga scala ha rilevato che i consulenti che utilizzano GPT-4 hanno accesso al 12,2% in più di compiti, li completano il 25,1% più velocemente e producono risultati di qualità superiore del 40%. Un'altra evidenza sperimentale rileva che ChatGPT ha ridotto il tempo necessario per il lavoro di scrittura aziendale del 40%, con un aumento della qualità del prodotto del 18%. È stato inoltre osservato l'emergere di annunci di lavoro che richiedono specificamente "competenze nell'uso di ChatGPT", principalmente in lavori soggetti ad automazione.   Conclusioni L'introduzione delle tecnologie GenAI sta ridefinendo il mercato del lavoro freelance in modi che richiedono una riflessione strategica da parte di imprenditori e manager. Lo studio di Demirci, Hannane e Zhu ha rilevato una diminuzione significativa nella domanda di lavori automatizzabili, evidenziando una tendenza che va oltre la semplice riduzione dei posti di lavoro. Questo cambiamento suggerisce un mutamento strutturale nel modo in cui il valore e la competenza vengono percepiti e monetizzati nel mercato.   L'automazione tramite GenAI colpisce principalmente lavori ripetitivi e di routine, ma l'impatto più profondo si avrà sulla reingegnerizzazione dei processi aziendali. Le aziende devono non solo adottare queste tecnologie per migliorare l'efficienza, ma anche ripensare le loro strategie di gestione del talento. I manager devono identificare i compiti automatizzabili e riassegnare le risorse umane a ruoli che richiedono capacità complementari all'AI, come il pensiero critico, la creatività e la gestione delle relazioni.   Questi cambiamenti impongono una formazione continua e un costante aggiornamento delle competenze dei lavoratori. Pertanto, investire in programmi di riqualificazione diventa una necessità strategica per preservare la competitività aziendale. Le collaborazioni con istituzioni educative e piattaforme di e-learning possono agevolare questo processo, rendendo le competenze complementari all'AI accessibili a una forza lavoro più ampia.   Dal punto di vista economico, la GenAI offre opportunità di crescita, ma può anche accentuare il divario tra lavori altamente qualificati e ben retribuiti e quelli meno qualificati e mal pagati. Inoltre, la GenAI porta con sé l'emergere di nuovi ruoli e competenze. Annunci di lavoro che richiedono specificamente competenze nell'uso di strumenti come ChatGPT indicano un'evoluzione del mercato verso posizioni che integrano l'AI nelle attività quotidiane. Le aziende devono essere pronte a riconoscere e valorizzare queste nuove competenze, integrandole nelle loro strategie di sviluppo del personale.   Infine, i risultati dello studio indicano che l'impatto della GenAI non si limita ai mercati del lavoro online. Le implicazioni sono vaste e comprendono tutti i settori dove l'AI può essere implementata per migliorare la produttività. Le aziende devono sviluppare un approccio olistico all'adozione dell'AI, che includa l'analisi dei processi aziendali, la gestione del cambiamento e la preparazione della forza lavoro per un futuro dominato dall'intelligenza artificiale.   In sintesi, la GenAI non è solo una tecnologia da adottare, ma costituisce un elemento di trasformazione che richiede un ripensamento strategico delle procedure aziendali, della gestione del talento, della formazione e dello sviluppo organizzativo. Le imprese che sapranno integrare efficacemente queste tecnologie, valorizzando le competenze umane complementari, saranno quelle che trarranno maggior beneficio dall'aumento dell'automazione nel lavoro.

La Generazione Aumentata dal Recupero (RAG) migliora i Modelli di Linguaggio di Grandi Dimensioni (LLM) integrando contesti esterni, il che aiuta a superare le loro intrinseche limitazioni di conoscenza. Tuttavia, questa integrazione rende gli input più lunghi e rallenta i tempi di risposta. Per risolvere questo problema, si può adottare il metodo COCOM, che comprime efficacemente ampi contesti in un numero ridotto di embedding. Gli embedding sono rappresentazioni vettoriali dense di dati che catturano le essenze semantiche dei contesti in formati più gestibili, e si generano tramite algoritmi di trasformazione che mappano i dati testuali in spazi vettoriali. Questo processo consente di accelerare significativamente la produzione delle risposte, bilanciando il tempo di decodifica con la qualità delle risposte stesse. Inoltre, facilita la gestione di più contesti, riducendo i tempi necessari per l'elaborazione di input estesi. Modelli come Llama 2 si avvantaggiano di capacità di conoscenza estese, grazie ai loro miliardi di parametri formati su trilioni di token. Tuttavia, in compiti che richiedono conoscenze molto specifiche, affidarsi unicamente alla “memoria” del modello può risultare insufficiente. Le tecniche precedenti di compressione del contesto hanno dimostrato che, pur riducendo l'input e i tempi di generazione, spesso si verifica una perdita nella qualità delle risposte o una capacità limitata di gestire contesti multipli. COCOM affronta queste sfide offrendo vari tassi di compressione e supportando l'uso di più contesti documentali, migliorando così sia la velocità che l'efficacia nella generazione delle risposte. Nel contesto dell'evoluzione continua degli approcci di intelligenza artificiale, la gestione efficiente del contesto nei modelli di linguaggio di grandi dimensioni rappresenta una sfida significativa. Tradizionalmente, i Large Language Models (LLM) richiedono un ampio contesto per generare risposte accurate, ma ciò comporta costi computazionali elevati e tempi di risposta prolungati. Il modello COCOM (COntext COmpression Model) proposto da David Rau dell'Università di Amsterdam, Shuai Wang dell'Università del Queensland, Hervé Déjean e Stéphane Clinchant di Naver Labs Europe , introduce un approccio innovativo per la compressione del contesto, migliorando l'efficienza senza sacrificare l'efficacia della risposta.   Il lavoro si basa su ricerche precedenti che hanno evidenziato come gli embeddings possano efficacemente rappresentare il contenuto informativo di un testo, riducendo così la necessità di elaborare grandi quantità di dati tokenizzati. La ricerca condotta da David Rau e colleghi approfondisce ulteriormente la dimensione e la profondità di questa compressione, proponendo una metodologia che non solo riduce il carico computazionale, ma ottimizza anche il processo di generazione delle risposte. La ricerca si inserisce nel contesto di un campo molto attivo, dove diverse tecniche di compressione del contesto sono state esplorate, includendo sia approcci basati su lessico che su embedding. Questo studio, attraverso un'analisi dettagliata e comparativa, contribuisce a delineare un quadro più chiaro delle potenzialità e delle limitazioni delle strategie esistenti, introducendo il modello COCOM come una soluzione promettente per il trattamento efficiente dei dati in scenari di Generative Retrieval Augmented (RAG).   Riduzione dell'input per i modelli RAG David Rau e i suoi colleghi hanno iniziato la loro ricerca ispirati da uno studio recente di Morris e altri (2023). Questo studio dimostra come sia possibile recuperare una rappresentazione bag-of-words dai termini originali usando gli embeddings di testo. Questa scoperta suggerisce che gli embeddings possono contenere il contenuto di un intero testo. Da qui è nata l'idea di fornire il contesto a un modello di linguaggio attraverso embeddings invece che attraverso i token originali.   Nel contesto di RAG, la motivazione principale per ridurre la dimensione dell'input è legata ai costi computazionali associati alla gestione di input lunghi, che aumentano significativamente il tempo di decodifica (Asai et al., 2024). Il problema viene affrontato riducendo il contesto a un piccolo numero di embeddings, che vengono poi forniti direttamente al modello di linguaggio.   La riduzione dell'input per i modelli RAG è un'area di ricerca molto dinamica. Attualmente, ci sono due principali approcci emergenti: la compressione basata su embedding e quella basata su lessico. Questi metodi sono al centro delle ricerche parallele che si stanno svolgendo in questo campo.   Compressione Basata su Lessico La compressione basata su lessico si concentra sulla selezione dei token dal contesto o sulla sintesi dei contesti, con l'obiettivo di mantenere informazioni essenziali riducendo al contempo la dimensione complessiva. LLMLingua include un modulo di filtraggio dei token indipendente dalla query, che utilizza un modello di linguaggio per selezionare i token importanti. Dopo questa fase, un classificatore di token dipendente dalla query viene utilizzato per scegliere i token da includere nel contesto compresso.   In un approccio diverso, Zhu et al. (2024) non considerano la compressione a livello di singoli termini, ma a livello di interi documenti. I documenti recuperati vengono inclusi o esclusi in base alla query, e solo i documenti inclusi formano il contesto per generare le risposte. È importante notare che tutti gli approcci attuali alla compressione basata su lessico dipendono da input specifici della query, il che implica che la compressione deve essere (parzialmente) elaborata online, rallentando così il tempo di generazione.   Compressione Basata su Embedding La compressione basata su embedding si focalizza sulla riduzione del contesto in uno o più embeddings riassuntivi che il modello di decodifica può interpretare direttamente. Uno dei primi lavori in questo campo è AutoCompressor (Chevalier et al., 2023). Questo metodo suddivide il contesto in blocchi casuali e li aggrega in embeddings riassuntivi tramite un processo iterativo, fino a ottenere la dimensione desiderata. Tuttavia, l'addestramento di questi embeddings si basa solo su compiti di predizione del token successivo, il che solleva dubbi sulla loro capacità di catturare efficacemente il contesto. Inoltre, AutoCompressor è progettato principalmente per contesti lunghi, generando almeno 50 embeddings riassuntivi, il che non è ideale per scenari in cui si recuperano testi brevi, come nelle pipeline RAG.   L'ICAE di Ge et al. (2024) prende spunto da AutoCompressor. In questo metodo, si allena un compressore di contesto utilizzando lo stesso modello che viene poi usato per la decodifica, e si comprime il contesto in una sola fase per ottenere gli embeddings riassuntivi. Tuttavia, questo approccio presenta un limite: il modulo di decodifica viene mantenuto fisso e non viene aggiornato durante l'addestramento. Questo significa che non si accumulano nuovi dati e miglioramenti nella fase di decodifica mentre il modello viene addestrato. Secondo la ricerca di Rau e colleghi, è molto importante addestrare anche il decodificatore, perché questo influisce in modo significativo sulle prestazioni complessive del modello.   GridLM di Muennighoff et al. (2024) affronta il problema della doppia decodifica dello stesso contesto, usandolo sia per il recupero sia come contesto per il modello di linguaggio. Utilizzano lo stesso modello per il ranking e la generazione, memorizzando tutte le rappresentazioni durante la codifica dei contesti e riutilizzandole durante la generazione. Questo approccio, però, è limitato a un solo contesto, non accelera il tempo di decodifica e richiede molto spazio di archiviazione.   Cheng et al. (2024) propongono xRAG, un metodo che riutilizza direttamente le rappresentazioni di ranking congelate basate su modelli di embedding, congelando anche il decodificatore. Le rappresentazioni di ranking sono modelli che organizzano i dati in una classifica basata su determinate caratteristiche. Sebbene risolva il problema della doppia decodifica, xRAG soffre di bassa efficacia poiché la rappresentazione non è addestrata prima di essere applicata ai compiti di compressione. Questo significa che la rappresentazione non viene ottimizzata attraverso un processo di apprendimento specifico per il compito da svolgere. Questo è particolarmente problematico quando si utilizzano modelli di codifica leggeri, come DPR con 109 milioni di parametri. In questi casi, l'efficacia è simile al modello Mistral-7b senza recupero. Inoltre, l'uso di rappresentazioni di recupero da modelli leggeri per la compressione può risultare inefficace, poiché potrebbero non contenere informazioni sufficienti per recuperare completamente il contesto. Al contrario, le rappresentazioni apprese per la compressione, che sono modelli ottimizzati attraverso l'addestramento specifico per svolgere un determinato compito, mostrano una capacità migliore di ricostruire il contesto originale (Ge et al., 2024), suggerendo che con ulteriori miglioramenti, potrebbero diventare ottimi recuperatori.   La maggior parte degli studi precedenti ha considerato solo casi che potrebbero non essere direttamente applicabili alle impostazioni RAG, concentrandosi principalmente su domande con contesti lunghi. In questi casi, viene usato solo un documento rilevante per ogni query per rispondere alla richiesta dell'utente.   Di conseguenza, questi modelli non sono naturalmente predisposti a gestire efficacemente più documenti contemporaneamente. Inoltre, l'efficacia riportata di questi modelli potrebbe non riflettere accuratamente le prestazioni nei sistemi RAG, dove i documenti potrebbero essere irrilevanti e spesso vengono utilizzati più documenti recuperati. Un modello di decodifica, per essere efficace, dovrebbe essere in grado di gestire diverse rappresentazioni contestuali. I ricercatori sostengono quindi che affinare il decodificatore sia una soluzione necessaria rispetto agli approcci esistenti. Affinare il decodificatore permette di gestire meglio le diverse rappresentazioni contestuali richieste dai sistemi RAG, migliorando l'efficacia del modello quando si devono affrontare più documenti contemporaneamente.   Come la metodologia COCOM migliora la compressione del contesto nei LLM Il compito RAG combina un sistema di ranking e un modello linguistico generativo per rispondere agli utenti. Il sistema di ranking crea un indice di ricerca basato su una collezione di dati. Quando arriva una richiesta, l'indice restituisce parti di contesto rilevanti per l'input dell'utente. Poi, il modello linguistico genera una risposta basandosi su questi segmenti di contesto e sull'input dell'utente. È importante notare che il contesto fornito al modello linguistico è molto più grande dell'input dell'utente.   L'approccio COCOM cerca di migliorare l'efficienza comprimendo il contesto in un set più piccolo di rappresentazioni numeriche, chiamate embedding di contesto, che servono come input per il modello linguistico. Il contesto viene convertito in una sequenza di simboli, poi compressa in un insieme più piccolo di embedding. Questi embedding rappresentano in modo compatto il contenuto originale del contesto. Il modello linguistico genera quindi una risposta basata sugli embedding compressi e sull'input dell'utente.   La compressione del contesto avviene indipendentemente dalle domande, permettendo di pre-calcolare e memorizzare gli embedding di contesto, riducendo i costi computazionali durante l'inferenza. Inoltre, lavorando su un input ridotto, la velocità di generazione delle risposte aumenta. Lo stesso modello viene utilizzato sia per la compressione che per la generazione delle risposte. Durante l'addestramento, un token speciale viene aggiunto all'input per indicare il compito di compressione, e le rappresentazioni ottenute dall'ultimo strato del modello vengono usate come embedding di contesto.   Il numero di embedding di contesto può variare, permettendo di controllare il livello di compressione del contesto originale. Ad esempio, comprimendo un contesto lungo 128 simboli con un tasso di compressione di 64 si ottengono 2 embedding di contesto, riducendo l'input di 64 volte. Questo approccio consente anche di fornire embedding di contesto di più passaggi, utili per compiti che richiedono di ragionare su più contesti.   Per migliorare l'addestramento, vengono proposte due varianti del compito di previsione del token successivo. La prima variante modifica il compito di previsione per recuperare i simboli originali dagli embedding compressi, permettendo al modello di imparare a comprimere e decomprimere l'input originale. La seconda variante addestra il modello a rispondere alle domande basate sugli embedding di contesto, insegnando al modello non solo a comprimere ma anche a utilizzare efficacemente il contenuto degli embedding.   Infine, per l'applicazione pratica, il modello viene ottimizzato su un set di dati di domande e risposte pubblicamente disponibili. L'addestramento finale del modello avviene ottimizzando le risposte target, combinando gli embedding di contesto e le domande in un'istruzione completa per il modello linguistico.   Metodologia COCOM e setup sperimentale per modelli RAG Nel contesto dell'esperimento condotto dai ricercatori sui modelli RAG e sui cinque compiti di domande e risposte, è stato impiegato un setup specifico. Il modello Mistral-7B-Instruct-v0.2  è stato impiegato come modello principale per la generazione delle risposte, e lo stesso modello è stato utilizzato per la compressione del contesto in COCOM. Per una compressione più leggera, chiamata COCOM-light, è stato utilizzato il modello bert-base-uncased . Sono stati applicati tre diversi tassi di compressione: 1, 16 e 128. Per il sistema di recupero, è stato utilizzato SPLADE-v3  con il reranking dei primi 50 documenti tramite DeBERTa-v3 . In tutti gli esperimenti, i primi 5 documenti recuperati sono stati utilizzati come contesto.   Per l'addestramento, è stata applicata una messa a punto efficiente dei parametri tramite LoRA . Durante il pre-addestramento, sono stati utilizzati due compiti: l'autoencoding e la modellazione linguistica. I campioni sono stati estratti casualmente con una probabilità uguale da entrambi i compiti, e il corpus Wikipedia-KILT  è stato suddiviso in blocchi di 128 token per garantire un'elaborazione efficiente. Sono stati addestrati 10 milioni di campioni. Per il fine-tuning, è stata utilizzata la libreria BERGEN , e i modelli sono stati affinati su vari dataset, tra cui Natural Questions, MS MARCO, adversarial QA, HotpotQA, WikiQA, SCIQ, ASQA, TriviaQA, Freebase QA e SQuAD . Sono state filtrate le query con più di 128 token e le etichette con più di 64 token.   La valutazione del modello è stata effettuata su diversi dataset di domande e risposte ampiamente utilizzati: Natural Questions, TriviaQA, HotpotQA, ASQA e PopQA . Come metrica principale, è stata utilizzata l'Exact Match (EM) . Inoltre, è stata utilizzata anche la metrica Match (M) , che indica se l'etichetta è contenuta nella risposta generata.   È stato creato un modello di riferimento senza compressione del contesto, chiamato RAG - upper bound , che riceve i primi 5 contesti recuperati insieme alla query e risponde alla domanda. Questo modello serve come limite superiore e non applica la compressione del contesto. Un altro modello di riferimento, chiamato Closed Book - lower bound , genera una risposta basata solo sulla query senza alcun contesto fornito, e serve come baseline inferiore.   Sono stati confrontati modelli con metodi di compressione del contesto. Il modello Autocompressor  utilizza il checkpoint princeton-nlp/AutoCompressor-Llama-2-7b-6k per produrre 50 vettori sommari, utilizzando solo il documento recuperato come contesto. Il modello  ICAE  utilizza il checkpoint Mistral-7B-Instruct-v0.2 LoRa  e concatena i primi cinque documenti recuperati come input di contesto, troncandoli a una lunghezza massima di 512 token. Il modello xRAG utilizza xRAG-7b  e il modello 8x7B mixture-of-experts  insieme al loro compressore SFR , utilizzando il documento recuperato come contesto per il set xRAG  e applicando i criteri di interruzione predefiniti per la generazione delle risposte.   Risultati dell’approccio COCOM nei modelli di linguaggio I principali risultati di COCOM sono stati valutati utilizzando la metrica Exact Match (EM), una pratica standard per i modelli ottimizzati. Si è scoperto che i metodi attuali di compressione del contesto non ottimizzano il decoder dei modelli di linguaggio di grandi dimensioni (LLM) e che le loro prestazioni sono confrontate con metodi zero-shot. Ottimizzare i modelli di compressione mantenendo il decoder fisso non è considerato zero-shot, poiché comporta l'ottimizzazione di alcune parti del modello sui dati del compito, similmente al soft-prompt tuning. Pertanto, le prestazioni di questi metodi dovrebbero essere considerate intermedie tra zero-shot e tuning completo del decoder.   COCOM ha dimostrato una notevole efficacia a diversi tassi di compressione su tutti i dataset testati, superando anche un modello più potente come xRAG Mixtral-8x7B, che ha otto volte più parametri. Le migliori prestazioni si osservano a un basso tasso di compressione, ma aumentando il tasso di compressione si verifica un leggero calo delle prestazioni. Rispetto al modello baseline senza compressione, RAG, COCOM è riuscito a ridurre il contesto fino a 128 volte mantenendo comunque alte prestazioni. Le prestazioni diminuiscono di 4 punti per il modello più potente di COCOM e di 10 punti per il tasso di compressione più alto. Rispetto a un baseline LLM senza contesto fornito, si guadagnano fino a 17 punti aggiungendo solo un piccolo numero di embedding di contesto all'input.   Sebbene EM sia una metrica standard, potrebbe sottovalutare i metodi zero-shot del decoder che non adattano il decoder per generare risposte. Per questo motivo, sono stati forniti anche i risultati utilizzando la metrica Match. Anche se i modelli che non ottimizzano il loro decoder ottengono prestazioni relativamente più elevate con Match, l'efficacia del metodo proposto rimane superiore rispetto agli altri.   COCOM mostra un compromesso molto favorevole tra efficacia e guadagni di efficienza dalla compressione del contesto. Per ridurre i costi in contesti con risorse limitate, è stato proposto COCOM-light, un modello di compressione del contesto basato su BERT. Per gestire la discrepanza dimensionale tra BERT e LLM, è stato sviluppato uno strato di proiezione lineare che riduce le rappresentazioni nascoste in blocchi e le proietta in un singolo embedding di contesto. Questo approccio è simile a quello usato in xRAG, ma comprime utilizzando più embedding vettoriali per mantenere una qualità di compressione superiore.   I risultati mostrano che, pur essendo altamente efficace per piccoli tassi di compressione, l'efficacia di COCOM-light scende considerevolmente per tassi di compressione più alti. Tuttavia, rappresenta un'alternativa efficace in contesti con risorse limitate.   L'efficienza computazionale di COCOM è stata misurata in termini di tempo di generazione delle risposte, memoria GPU e numero di operazioni. La compressione del contesto riduce drasticamente questi parametri rispetto all'assenza di compressione, con un costo di inferenza significativamente inferiore.   Per la compressione di grandi quantità di dati, come 24 milioni di contesti, COCOM-light dimostra velocità di compressione molto più rapide rispetto al modello standard, con requisiti di archiviazione dell'indice che variano inversamente rispetto al tasso di compressione. Questo trade-off porta a una qualità inferiore nella generazione delle risposte per tassi di compressione molto alti.   Ulteriori esperimenti hanno mostrato che l'uso di contesti multipli recuperati migliora significativamente le prestazioni rispetto all'uso di un singolo contesto. La compressione del contesto pre-allenata migliora le prestazioni nel compito di QA downstream, suggerendo che la compressione del contesto è complessa da imparare contemporaneamente al compito downstream o che sono necessari dataset di fine-tuning più ampi.   Il corpus di pre-allenamento influisce sulle prestazioni downstream, con risultati leggermente inferiori quando si utilizza un corpus diverso. Tuttavia, il metodo dimostra robustezza nella gestione delle variazioni nel corpus di pre-allenamento.   Ottimizzare tutti i componenti del modello, incluso il decoder, è fondamentale per ottenere alta efficacia. I risultati confermano l'importanza di ottimizzare specificamente gli embedding di contesto per migliori prestazioni.   Infine, l'ottimizzazione su più dataset di QA prima della valutazione su singoli dataset dimostra una migliore trasferibilità e prestazioni medie complessive superiori rispetto all'allenamento su un singolo dataset.   Analisi dei risultati di COCOM L'analisi dei risultati mostra un calo delle prestazioni con tassi di compressione più elevati, in particolare per il compressore leggero COCOM-light. Per comprendere le ragioni di questo calo, viene valutata la capacità del modello di eseguire due compiti di pre-addestramento: comprimere e decomprimere l'input (auto-encoding) e modellare il linguaggio a partire dalle rappresentazioni compresse dopo il pre-addestramento.   Entrambi i modelli apprendono efficacemente il compito di auto-encoding a tassi di compressione più bassi, ma incontrano difficoltà nel recuperare l'input quando il contesto è compresso in un numero minore di rappresentazioni. Questo problema è più accentuato per il modulo di compressione leggero. Vengono identificate due possibili spiegazioni: comprimere contesti più lunghi è intrinsecamente più difficile e potrebbe richiedere obiettivi aggiuntivi, e decomprimere informazioni da un set ridotto di rappresentazioni del contesto può risultare più complesso a causa della natura sequenziale della decodifica dei modelli.   L'introduzione di token di pausa aggiuntivi, come suggerito da Goyal e colleghi nel 2024, potrebbe aiutare a mitigare questo problema, fornendo al modello un mezzo per decomprimere gerarchicamente le informazioni, ispirandosi alle idee del Chain-of-Thought prompting descritto da Wei e colleghi nel 2022. Nonostante il pre-addestramento su più campioni, non sono stati riscontrati miglioramenti nelle prestazioni successive.   Riguardo al secondo compito di pre-addestramento, è significativo che COCOM-light superi il modello più grande nel modellare il linguaggio a partire dalle rappresentazioni del contesto. Questa analisi mostra che comprimere e ricostruire testi più lunghi è sfidante e necessita di ulteriori indagini.   Nella valutazione dei compiti di auto-encoding e modellazione del linguaggio, misurati con il punteggio Rouge-L, i modelli mostrano le seguenti prestazioni: COCOM-light con un tasso di compressione di 4 ottiene un punteggio Rouge-L di 0.9979 per l'auto-encoding e di 0.2045 per la modellazione del linguaggio; con un tasso di compressione di 16, i punteggi sono rispettivamente 0.9912 e 0.1991; con un tasso di compressione di 128, i punteggi sono 0.5545 e 0.1771. Per COCOM, i punteggi sono rispettivamente 0.9734 e 0.1882 con un tasso di compressione di 4, 0.9643 e 0.1800 con un tasso di compressione di 16, e 0.7938 e 0.1618 con un tasso di compressione di 128.   Uno studio di caso sulla qualità delle risposte generate con diversi modelli mostra che senza l'uso di RAG, il modello di linguaggio di grandi dimensioni tende a fornire una risposta irrilevante. Il modello XRAG comprende la domanda ma restituisce un'entità errata, probabilmente a causa delle limitazioni nella lettura accurata delle rappresentazioni compresse. Il modello ICAE fatica a comprendere la domanda, risultando in una risposta non ragionevole. I modelli COCOM e COCOM-light rispondono correttamente alla domanda con un tasso di compressione di 4, ma incontrano difficoltà con un tasso di compressione di 128.   La domanda considerata nello studio di caso è "chi ha interpretato Sarah Hedley in 'When the Boat Comes In'?", e le risposte generate sono le seguenti: l'etichetta corretta è Rosalind Bailey; il modello di linguaggio di grandi dimensioni risponde Anna Cropper; il modello RAG risponde correttamente Rosalind Bailey; il modello XRAG risponde con "1976: Il ruolo di Sarah Hedley in 'When the Boat Comes In' è stato interpretato da Rosalie Crutchley"; il modello ICAE risponde Sarah Hadland; il modello COCOM con un tasso di compressione di 4 risponde correttamente Rosalind Bailey; il modello COCOM-light con un tasso di compressione di 4 risponde correttamente Rosalind Bailey; il modello COCOM con un tasso di compressione di 128 risponde Alison Steadman; il modello COCOM-light con un tasso di compressione di 128 risponde Rosalind Elliott. La risposta XRAG è stata troncata a un massimo di 30 token nella sua pubblicazione originale, con criteri di arresto che coinvolgono la sospensione al segno di punteggiatura come punti, virgole e due punti.   Limitazioni nei test di COCOM L'approccio COCOM offre la possibilità di ridurre significativamente l'impronta computazionale di un sistema di Recupero di Informazioni con Generazione (RAG). Tuttavia, gli esperimenti effettuati hanno dovuto fare i conti con risorse computazionali limitate, utilizzando un modello relativamente piccolo di 7 miliardi di parametri. Questa limitazione ha impedito di esplorare le capacità di modelli più grandi, come LLaMA70B o Mixtral7x8B, che potrebbero fornire prestazioni migliori ma richiedono una potenza computazionale elevata sia per l'addestramento che per l'inferenza.   Il metodo mostra un buon potenziale per sfruttare un numero molto più ampio di documenti rispetto ai modelli non compressi, portando a significativi miglioramenti di efficienza. Questi miglioramenti sono particolarmente rilevanti quando si lavora con un grande volume di documenti. Tuttavia, a causa delle limitazioni delle risorse, gli esperimenti sono stati limitati a soli 5 documenti. Questa restrizione potrebbe non rappresentare pienamente l'efficacia del metodo se applicato a collezioni di documenti più grandi, dove i benefici potrebbero essere maggiori.   La valutazione del metodo è stata condotta solo su compiti di Domanda e Risposta (QA) e utilizzando testi in inglese. Una valutazione più ampia, che includa diversi tipi di compiti e dataset multilingue, sarebbe necessaria per comprendere meglio le capacità e le limitazioni del modello in contesti diversi.   Conclusioni La metodologia COCOM offre una soluzione innovativa per la gestione efficiente dei contesti nei modelli di linguaggio di grandi dimensioni (LLM), rappresentando un passo avanti significativo nel superamento delle limitazioni tradizionali legate ai costi computazionali e ai tempi di risposta. COCOM sfrutta la compressione dei contesti in embedding, rendendo possibile l'elaborazione di input più compatti e quindi accelerando i tempi di generazione delle risposte senza compromettere la qualità delle stesse.   Una riflessione profonda su questa innovazione suggerisce che COCOM non solo ottimizza le performance degli LLM, ma apre nuove opportunità strategiche per le imprese. La capacità di comprimere e gestire efficientemente ampi contesti può rivoluzionare il modo in cui le aziende approcciano l'analisi dei dati, la ricerca di informazioni e il servizio clienti automatizzato. Ad esempio, un sistema di customer service potenziato con COCOM potrebbe rispondere a query complesse utilizzando una vasta gamma di documenti di riferimento in tempo reale, migliorando l'esperienza del cliente e riducendo i tempi di attesa.   Inoltre, la flessibilità offerta dai vari tassi di compressione di COCOM consente alle aziende di bilanciare efficacemente tra velocità ed accuratezza in base alle specifiche esigenze operative. In ambienti ad alta pressione, dove la rapidità di risposta è critica, COCOM può essere configurato per massimizzare la velocità mantenendo un livello accettabile di precisione. Viceversa, in contesti dove l'accuratezza è fondamentale, il modello può operare con un tasso di compressione più basso per garantire risposte di alta qualità.   La capacità di COCOM di gestire contesti multipli riduce anche il rischio di perdita di informazioni rilevanti durante il processo di compressione. Questo è particolarmente importante per settori come la finanza, la medicina e il diritto, dove la completezza e l'accuratezza delle informazioni sono essenziali. L'adozione di COCOM in questi settori potrebbe portare a miglioramenti significativi nell'analisi dei dati e nel supporto decisionale, rendendo più efficaci le operazioni aziendali e i processi di conformità.   Infine, l'approccio di COCOM suggerisce una nuova direzione per la ricerca e lo sviluppo nel campo dell'intelligenza artificiale. La possibilità di pre-calcolare e memorizzare embedding di contesto potrebbe portare alla creazione di archivi di conoscenza compressi, accessibili in tempo reale per una varietà di applicazioni. Questo non solo aumenterebbe l'efficienza operativa ma potrebbe anche ridurre i costi di infrastruttura, rendendo l'adozione di tecnologie avanzate più accessibile anche per le piccole e medie imprese.   In sintesi, COCOM rappresenta una svolta nella gestione dei contesti nei LLM, con implicazioni strategiche rilevanti per il mondo delle imprese. La sua capacità di bilanciare efficienza e qualità, combinata con la flessibilità operativa, può portare a miglioramenti significativi in vari settori, migliorando il modo in cui le informazioni vengono elaborate e utilizzate per supportare decisioni critiche.

Autore:   Andrea Viliotti Il cammino verso l'Intelligenza Artificiale Generale (AGI), quell'ambizione di creare sistemi di intelligenza artificiale con capacità comparabili a quelle umane, si delinea come un percorso avventuroso e ricco di dibattiti. Alcuni esperti considerano l'AGI un traguardo ancora lontano, mentre altri, guardando ai moderni modelli di linguaggio di grandi dimensioni (LLM), vedono emergere i primi segnali di questa evoluzione. La ricerca in questo campo è dinamica e sfaccettata. Per esempio, Google DeepMind, con a capo il suo Chief Scientist AGI Shane Legg, ha introdotto un nuovo schema per classificare le capacità degli AGI e dei loro predecessori. Una sfida chiave è stabilire una definizione solida di AGI. DeepMind ha analizzato diverse definizioni, inclusi il Test di Turing e il Test del Caffè, mettendo in luce le loro limitazioni. Ad esempio, sebbene gli attuali LLM superino il Test di Turing, le loro capacità di generazione di testo non bastano per definirli come AGI. La verifica della coscienza in una macchina rimane altresì un obiettivo sfuggente. DeepMind propone sei criteri per valutare l'intelligenza artificiale, segnalando che l'AGI non è un traguardo definitivo, ma un percorso con vari livelli di realizzazione. L'AGI si configura non solo come un orizzonte di potenzialità, ma anche come una fonte di rischi significativi, come l'inganno, la manipolazione e la sostituzione degli umani in ruoli chiave. Per affrontare queste complessità, è fondamentale definire e quantificare aspetti chiave come la generalità delle prestazioni e l'autonomia dei sistemi. DeepMind sottolinea sei principi per una definizione operativa di AGI, enfatizzando la necessità di considerare le capacità, la generalità delle prestazioni e i compiti metacognitivi. In termini di classificazione, i ricercatori hanno proposto cinque livelli di prestazione e due tipologie di generalità per l'AGI, ognuno dei quali presenta sfide e rischi specifici. Per esempio, i livelli più elevati, come l'"Esperto AGI" e il "Virtuoso AGI", comportano rischi significativi legati al superamento delle capacità umane. Nel contesto dell'AGI, diventa cruciale distinguere tra capacità e autonomia. Le modalità di interazione tra uomo e IA vengono modellate dalle decisioni dei progettisti e degli utenti finali. Emergono sei diversi Livelli di Autonomia nell'interazione uomo-AI, ognuno con le sue specifiche implicazioni. In conclusione, l'AGI si profila come una nuova frontiera tecnologica, carica di opportunità ma anche di sfide notevoli. Lo studio di Google DeepMind enfatizza l'importanza di un approccio equilibrato e informato, dove l'evoluzione tecnologica deve procedere in armonia con le considerazioni etiche e sociali. La prudenza e la riflessione diventano quindi pilastri fondamentali per navigare nel complesso mondo dell'AGI, assicurando che il suo sviluppo sia influenzato non solo da obiettivi tecnologici ma anche da valutazioni etiche e sociali.