L’intelligenza artificiale è una realtà in rapida evoluzione e sempre più presente nelle nostre vite così come in quelle di aziende e professionisti di molti settori. Alla base delle IA ci sono i modelli linguistici di grandi dimensioni (nella sigla inglese, LLM), i maggiori dei quali sono stati sviluppati negli Stati Uniti o in Cina. Esistono tuttavia anche modelli europei e italiani. Il modo in cui il modello è disegnato e il materiale usato per addestrarlo influenzano in suo modo di “ragionare” e di conseguenza le risposte, la tendenza ad avere pregiudizi culturali e via dicendo. Quasi tutti i grandi modelli “pensano” in inglese, pur rispondendo in moltissime lingue, tra cui l’italiano.

Il gruppo di ricerca Crisp , che ha l’obiettivo di “incoraggiare lo sviluppo di sistemi di linguaggio naturale più sofisticati e culturalmente consapevoli”, ha condotto Italic, un confronto tra modelli parlanti italiano per scoprire come stanno, e dove stanno andando.

Sul sito di Italic si trovano tutti i dettagli, dal processo di raccolta dati, fino alle strategie di selezione. Le domande poste ai modelli analizzati sono state selezionate da un insieme di dati di 2.110.643 quesiti tratti dai test per l’ammissione ai Carabinieri, Polizia Penitenziaria, Esercito Italiano, Polizia di Stato, Corpo Forestale, Vigili del Fuoco, Aeronautica, Marina, Guardia di Finanza, ministeri italiani, insegnanti, dirigenti scolastici, infermieri e dirigenti della pubblica amministrazione. Per valutare cultura e senso comune, Italic interroga in arte, educazione civica, geografia, storia, letteratura e anche viaggi, per valutare le capacità linguistiche, invece, su lessico, morfologia, ortografia, sintassi e capacità di sintesi.

In tutti i sottodomini, Claude 3.5 Sonnet domina e gli ultimi posti in classifica sono occupati dai modelli che parlano italiano, in ordine prima quelli ottenuti da quelli inglesi e poi quelli “nativi” italiani.

Alla rivista Wired, la concorrenza italiana commenta che comparare modelli da 30 miliardi di parametri con quelli italiani più piccoli (sotto i 10 miliardi) ha poco senso. Roberto Navigli, di Minerva (IA dell’Università La Sapienza di Roma), fa poi notare che “non tutti i modelli sono addestrati per rispondere a domande a risposta multipla, ma questo non significa che non abbiano una conoscenza anche più approfondita di altri modelli”. Secondo Navigli, infatti, lasciando i modelli liberi di rispondere con parole proprie, i risultati potrebbero capovolgersi a favore di quelli addestrati in italiano. Dipende anche da come stanno evolvendo, ed è quindi il momento di scoprirlo, uno per uno, in rigoroso ordine di classifica.

Alcuni modelli della Penisola sono nati rimaneggiando modelli aperti d’oltreoceano, come LLaMAntino (basato su Llama di Meta) e Maestrale (creato rimaneggiando il francese Mistral). Modello Italia invece nasce da un partenariato con Cineca, che gestisce il supercalcolatore bolognese Leonardo, il sesto più potente al mondo.

Per migliorare i risultati e poter offrire alternative al livello di quelle americane e asiatiche, occorre probabilmente più unità nazionale ed europea.

Nato per supportare gli llm in tutte le 24 lingue ufficiali europee, il progetto OpenEuroLLM potrà dare una mano a chi lavora su quelli in italiano? Secondo Montebovi di Llama 3.1, soprattutto dal punto di vista dei dati, “sempre che resteranno open source”. Secondo Sharka di Modello Italia, invece, nonostante il buon intento, l’iniziativa Ue non ha e non avrà mai la velocità che (gli) serve per stare sul mercato. Lo afferma in modo lapidario: “Sta affogando nella burocrazia: spero che ce la facciano ma, sfruttando le piattaforme istituzionali e pubbliche, i privati possono lavorare molto velocemente da soli. Se ci si mette a costruire llm insieme al pubblico, si diventa lenti e non competitivi”. Navigli, di Minerva, guarda all’iniziativa con lo stesso approccio inclusivo e collaborativo che applica quando organizza incontri, laboratori, conferenze per far sì che i ricercatori scambino informazioni sia scientifiche che ingegneristico-tecnologiche. Con rammarico, Navigli commenta che “nel panorama italiano non ci sono altri gruppi di ricerca che aspirano all’addestramento da zero di modelli italiani e ci sono pochissime realtà industriali che hanno rilasciato dei modelli, e sempre con poca documentazione. Eppure un modello nazionale italiano, completamente documentato e realmente open source sarebbe strategico per il nostro Paese, come lo è per molti altri”. Per ora si resta a guardare iniziative come BritLLM e a SwissLLM, in attesa di un ItaLLM che passi i test pubblici.

—
Fonte: Wired

 
🔊 Ascolta questo articolo

Questo sito è gestito gratuitamente da volontari che ne sostengono i costi. Aiutaci donando una cifra a tua scelta: