NVIDIA ha annunciato che pubblicherà a breve «Nemotron-pretraining-Indic-v1», un set di dati per il preaddestramento dell’IA con circa 2.800 miliardi di token, sviluppato in collaborazione con l’Indian Institute of Technology Madras (IIT Madras) e AI4Bharat, un’iniziativa dell’ateneo. Il dataset copre le 22 lingue riconosciute dalla Costituzione indiana. L’azienda prevede di rendere disponibile anche la pipeline compatibile con GPU usata per generare i dati, che combina dati sintetici ricavati da materiali in inglese con testi naturali scritti localmente.
Un enorme corpus in 34 combinazioni di scrittura per 22 lingue indiane
Il dataset copre le 22 lingue ufficiali indicate nella Costituzione indiana, tra cui hindi, bengalese, tamil, telugu e urdu. Si tratta della lingua madre di circa il 97% della popolazione indiana: secondo il censimento del 2011, circa 1,2 miliardi di persone.
Rispetto all’inglese, le lingue indiane dispongono di pochi dati per l’IA. È una criticità denunciata da tempo da Mitesh Khapra, a capo di AI4Bharat, e questo dataset è presentato come un passo per colmare la lacuna.
Vediamo i contenuti. Tutte e 22 le lingue sono rappresentate con dati nella rispettiva scrittura standard. Per 12 di esse sono incluse anche trascrizioni in caratteri latini, ovvero nell’alfabeto latino, per un totale di 34 combinazioni di lingue e sistemi di scrittura. I token sono circa 2.601 miliardi nella scrittura standard e circa 224,6 miliardi nella forma in caratteri latini; entrambi i valori sono stati calcolati con il tokenizer di Gemma-4.
È importante notare che queste cifre non indicano il «numero di documenti inglesi unici». Sono conteggiati anche i testi tradotti a partire dalla stessa fonte e quelli che differiscono solo per il sistema di scrittura. Le forme in caratteri latini non sono traduzioni in inglese: sono lingue indiane scritte in modo simile alla traslitterazione in alfabeto romano. Possono inoltre servire per addestrare i modelli sugli stessi contenuti rappresentati con un’altra scrittura.
Considerato che molte persone scrivono in hindi con caratteri latini nelle e-mail e sui social, questa impostazione è pratica. Per fare un parallelo con il giapponese, è un po’ come addestrare un modello sia su testi in hiragana e kanji sia su testi digitati con il sistema di traslitterazione romaji.
Una procedura in quattro fasi, non una semplice traduzione
Le fonti sono 15 sottoinsiemi di Nemotron-CC-v2, che comprendono testi web, domande e risposte, matematica e codice. NVIDIA li elabora con NeMo Data Designer, uno strumento open source per la generazione di dati sintetici, svolgendo in un unico flusso l’intero processo: dalla traduzione alla valutazione della qualità, fino alla correzione.
Gli identificativi dei documenti originali vengono conservati nei dati prodotti, così è possibile risalire alla fonte di ciascun elemento. La possibilità di effettuare verifiche a posteriori è uno dei vantaggi dei dati aperti.
Per le 12 lingue, il processo si articola in quattro fasi: traduzione dei documenti inglesi, valutazione della qualità, correzione dei risultati con punteggi bassi e conversione in caratteri latini. Per la traduzione viene usato Gemma-4-31B-it, che traduce ciascun documento per intero, così da preservare il contesto tra paragrafi, tabelle e formule. È importante anche che il prompt specifichi di mantenere invariati codice, formule e URL.
La valutazione viene effettuata dallo stesso modello, confrontando il testo con l’originale. I criteri riguardano significato, scorrevolezza, terminologia, stile e formattazione e si ispirano a MQM, un quadro di classificazione degli errori di traduzione. Vengono accettati i risultati con almeno 75 punti su 100; quelli sotto soglia sono corretti sulla base dei commenti e poi valutati di nuovo. Grazie a questo processo sono stati recuperati 438,4 miliardi di token, tra scrittura standard e caratteri latini, già inclusi nel totale.
Anche la creazione delle versioni in caratteri latini prevede accorgimenti specifici. Invece di traslitterare direttamente dall’inglese, si converte la traduzione già approvata nella scrittura standard e si confronta il risultato con la traduzione originale. Secondo i primi confronti manuali, questo metodo in due fasi ha ridotto l’inserimento di contenuti inventati e la presenza residua di parole inglesi.
Per le altre 10 lingue si ricorre a modelli di traduzione dedicati
Le 10 lingue prive di una versione in caratteri latini sono assamese, bodo, dogri, kashmiri, konkani, maithili, manipuri, sanscrito, santali e sindhi. Per tradurle viene usato Indic Translate, un modello sviluppato da Bodhan AI, un’organizzazione non profit nata all’IIT Madras.
La valutazione è affidata a Gemma-4-31B-it e la soglia di accettazione resta di 75 punti. Tuttavia, i risultati non vengono riscritti sulla base dei commenti e vengono prodotti solo dati nella scrittura standard.
Sono previste anche misure specifiche per ciascuna lingua. I lunghi documenti in santali vengono tradotti suddividendoli in finestre sovrapposte, per poi essere ricomposti. Per il manipuri, il testo viene prima tradotto in scrittura bengalese e poi convertito nella scrittura meitei, specifica di questa lingua. È una soluzione che riflette la grande varietà di sistemi di scrittura in India.
Quanto si può dedurre sui miglioramenti delle prestazioni?
Un’indicazione sull’efficacia viene dalla fase di preaddestramento continuo di Nemotron 3.5 Super VL. In questa fase, dei 100 miliardi di token previsti dal budget di addestramento, 10 miliardi (il 10%) sono stati destinati a una parte dei dati del corpus nelle 12 lingue e a una miscela di testi naturali in lingue indiane. Il restante 90% ha mantenuto le proporzioni della composizione di addestramento precedente.
Di conseguenza, i punteggi sono migliorati in tutti e cinque i benchmark: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K, con incrementi compresi tra 4,98 e 9,82 punti. Va però precisato che il confronto mette a confronto i checkpoint prima e dopo il preaddestramento continuo. Non isola il contributo dei soli dati sintetici. Ciò che è certo è che ha funzionato la combinazione di dati sintetici e testi naturali.
Considerando il modello completo, rispetto alla generazione precedente, Nemotron 3 Super, i punteggi sono aumentati in cinque delle sei valutazioni dei task che misurano conoscenze, ragionamento, matematica, programmazione e traduzione. IFEval 1.5, che misura la capacità di seguire le istruzioni, ha invece registrato un calo di 2,04 punti.
Nella valutazione «IndiVibe» di Sarvam AI, che misura la qualità delle conversazioni nelle lingue indiane, sono migliorati tutti e quattro gli aspetti considerati: utilità, fluidità, fedeltà alla lingua e alla scrittura e adeguatezza della lunghezza delle risposte.
Non basta pubblicare i dati: serve anche sapere come usarli
A colpire, in questa pubblicazione, è che viene reso accessibile non solo il dataset, ma anche il «processo di creazione». Il plugin di traduzione «Nemotron Bharat» per NeMo Data Designer include prompt per la traduzione e la valutazione, funzionalità di riscrittura, suddivisione dei documenti in finestre e supporto alla conversione tra sistemi di scrittura. Le aziende e gli istituti di ricerca che dispongono di documenti propri possono così creare dati per altri ambiti seguendo lo stesso procedimento.
Anche le indicazioni per l’uso sono concrete. Si consiglia di iniziare con un piccolo campione di documenti aziendali e verificare che codice, formule e formattazione siano preservati; poi, dopo una revisione da parte di parlanti della lingua locale, si può ampliare il progetto. Il plugin restituisce proposte e punteggi: spetta quindi a ciascun team decidere, secondo i propri criteri di selezione, quali record includere nell’addestramento. Per caricare i dati si può usare la funzione di streaming di Hugging Face, che permette di esaminarne il contenuto senza scaricarli per intero.
I dati di traduzione non possono sostituire i testi scritti localmente. Sono i testi redatti in modo naturale a veicolare conoscenze regionali e contesto culturale. Il corpus in questione è stato progettato per essere usato insieme a questi testi.
La valutazione della qualità è in gran parte automatizzata e i controlli manuali riguardano soprattutto campioni. Nella procedura per 12 lingue, il modello usato per la traduzione svolge anche il ruolo di valutatore; per le altre 10 lingue è quindi necessaria una verifica più ampia da parte di parlanti madrelingua. La deduplicazione tramite ID delle fonti rimuove i duplicati a livello di elaborazione, ma non organizza i contenuti simili in base al loro significato.
Con il sostegno di NVIDIA, AI4Bharat sta inoltre preparando «Indic-LLM-Eval-Suite», una raccolta di benchmark per la valutazione. Si procede quindi in parallelo sia ad ampliare i dati sia a mettere a punto gli strumenti per misurarli. Riuscirà a rafforzare le fondamenta dell’IA, finora incentrate sull’inglese, con valutazioni specifiche per lingua e una combinazione di dati con testi naturali? Questo corpus per le 22 lingue dell’India potrebbe diventare un banco di prova.
コメント