L’Italia non sta a guardare sull’intelligenza artificiale e presenta ChatMinerva, prima famiglia di Large Language Model sviluppata principalmente per la lingua italiana e addestrata da zero anche su testi italiani.
Da oggi infatti l’ateneo ha reso disponibile ChatMinerva, assistente Ai multimodale capace di leggere testi, interpretare immagini, analizzare documenti e navigare il web in tempo reale, il tutto dialogando in italiano con un livello di affidabilità inedito per un modello sviluppato interamente nel nostro Paese.
“Vogliamo dimostrare che è possibile costruire tecnologia IA di frontiera anche in Europa e in Italia – afferma Roberto Navigli, professore della Sapienza e responsabile del progetto – con un approccio aperto, scientificamente rigoroso e indipendente. ChatMinerva è stato costruito con molta più passione che budget, grazie al lavoro incessante di decine di ricercatori, dottorandi, studenti e collaboratori che credono nella possibilità di creare tecnologia IA italiana da cui partire per costruire prodotti competitivi – conclude Navigli – pur nascendo in un contesto molto diverso da quello dei grandi colossi globali”.
“Il lancio di ChatMinerva segna una nuova tappa nel percorso di innovazione del nostro Ateneo nel campo dell’intelligenza artificiale”, ha dichiarato la rettrice Antonella Polimeni. “L’evoluzione del progetto Minerva verso assistenti AI multimodali e interattivi conferma la capacità della Sapienza di trasformare la ricerca di frontiera in innovazione concreta, al servizio della conoscenza e della società”.
Il punto di forza? L’addestramento in lingua italiana
Minerva nasce invece con l’italiano come focus principale fin dall’inizio. Molti LLM oggi disponibili sono addestrati soprattutto su dati in inglese e solo in parte su altre lingue. Questo può incidere sulla qualità delle risposte in italiano, sulla fluidità, sulla comprensione delle sfumature culturali e sui tempi di generazione.
Secondo il gruppo di ricerca, questa impostazione permette al modello di gestire meglio vocabolario, sintassi e specificità culturali della lingua italiana, riducendo alcuni limiti tipici dei modelli addestrati principalmente in inglese.
Attenzione a non fare confusione: si tratta di un progetto di ricerca non un chatbot commerciale
Gli sviluppatori precisano che Minerva resta un progetto di ricerca. I modelli possono produrre risposte utili, ma non sono perfetti: possono contenere bias, generare informazioni errate o inappropriate e mostrare limiti su alcuni compiti.
Il confronto con chatbot commerciali come ChatGPT o Claude va quindi fatto con cautela. Quei sistemi sono addestrati su quantità di dati molto più ampie, spesso non documentate, e dispongono di centinaia di miliardi di parametri. Minerva punta invece su un approccio più trasparente, con dati e processo di addestramento descritti pubblicamente.
Perché un modello pensato per l’italiano
Il motivo principale riguarda il modo in cui gli LLM trattano le lingue. Nei modelli centrati sull’inglese, il vocabolario interno è ottimizzato soprattutto per quella lingua. Quando devono elaborare parole italiane, spesso le spezzano in più unità rispetto alle parole inglesi. Questo può aumentare i tempi di inferenza e ridurre la naturalezza del testo generato.
Nel progetto Minerva è stato sviluppato un tokenizer più adatto all’italiano. I dati tecnici pubblicati mostrano una migliore “fertility” rispetto a modelli come Mistral-7B-v0.1, cioè una minore frammentazione delle parole italiane in token. Questo può contribuire a risposte più efficienti e più naturali.
Come sono stati sviluppati i modelli base
La famiglia Minerva comprende modelli di dimensioni diverse, da 350 milioni a 7 miliardi di parametri. I modelli base sono stati addestrati su un insieme ampio di testi italiani e inglesi.
Le fonti includono Wikipedia, articoli di notizie, libri, documenti legali, contenuti web, Gazzetta Ufficiale, EurLex, Gutenberg, Wikisource e dataset aperti come RedPajama v2 e CulturaX. Il modello da 7 miliardi di parametri è stato addestrato su 2,48 trilioni di token, con una composizione bilanciata tra italiano e inglese e una quota di codice.
L’obiettivo è stato esporre il modello a registri linguistici diversi: testi enciclopedici, documenti normativi, contenuti web, linguaggio tecnico, testi conversazionali e materiale scientifico.
Il focus sulla sicurezza
La sicurezza è una parte rilevante del progetto Minerva. Il gruppo ha lavorato sulla base di ALERT, una tassonomia sviluppata da Babelscape per classificare contenuti rischiosi o dannosi.
È stato costruito un dataset di 21mila istruzioni in italiano con risposte desiderate, coprendo sei macro-categorie: hate speech e discriminazione, pianificazione criminale, sostanze regolamentate, contenuti sessuali, suicidio e autolesionismo, armi e strumenti illegali.
Nella demo chat viene inoltre usata una versione di LlamaGuard fine-tuned su questi dati, per identificare prompt e risposte che potrebbero violare le salvaguardie previste.
Addestramento con il supercomputer Leonardo
L’addestramento di Minerva ha richiesto una forte capacità di calcolo. Per questo il progetto si è appoggiato a CINECA e al supercomputer Leonardo.
Il modello da 7 miliardi di parametri è stato addestrato usando 128 GPU in parallelo. Il processo ha richiesto diverse settimane, confermando la complessità tecnica ed economica dell’addestramento di modelli linguistici di grandi dimensioni.
Novità su Google, per aggiungere Key4Biz tra le tue fonti preferite, clicca qui
Leggi le altre notizie sull’home page di Key4biz
https://www.key4biz.it/minerva-la-sapienza-presenta-il-primo-modello-ai-italiano-addestrato-da-zero-su-testi-in-italiano/574121/
