NVIDIA a annoncé qu’elle publierait prochainement « Nemotron-pretraining-Indic-v1 », un jeu de données d’environ 2 800 milliards de tokens destiné au préentraînement de l’IA et couvrant les 22 langues inscrites dans la Constitution indienne. Il a été élaboré en collaboration avec l’Institut indien de technologie de Madras (IIT Madras) et AI4Bharat, rattaché à l’établissement. NVIDIA prévoit également de publier le pipeline compatible avec les GPU utilisé pour générer les données. Celui-ci est conçu pour combiner des données synthétiques dérivées de documents en anglais avec des textes naturels écrits localement.
Un vaste corpus couvrant les 22 langues indiennes selon 34 combinaisons
Le jeu de données couvre les 22 langues inscrites dans la Constitution indienne. Il comprend notamment l’hindi, le bengali, le tamoul, le télougou et l’ourdou. Elles sont la langue première d’environ 97 % de la population indienne, soit près de 1,2 milliard de personnes selon le recensement de 2011.
Les langues indiennes disposent de moins de données pour l’IA que l’anglais. Mitesh Khapra, qui dirige AI4Bharat, dénonce ce problème depuis longtemps. Ce jeu de données est présenté comme une mesure visant à combler ce manque.
Examinons son contenu. Les données sont disponibles dans l’écriture standard de chacune des 22 langues. Pour 12 d’entre elles, une transcription en alphabet latin a également été ajoutée, ce qui porte à 34 le nombre de combinaisons entre langues et systèmes d’écriture. Le corpus compte environ 2 601 milliards de tokens en écriture standard et 224,6 milliards en alphabet latin, deux chiffres calculés avec le tokenizer de Gemma-4.
Il faut noter que ces chiffres ne correspondent pas au « nombre de documents anglais uniques ». Les traductions issues d’une même source et les données présentant différentes transcriptions sont comptabilisées en double. La transcription en alphabet latin n’est pas une traduction vers l’anglais : elle consiste à écrire les langues indiennes avec des caractères latins. Elle permet aussi d’entraîner les modèles sur un même contenu présenté dans une autre écriture.
Cette conception est pratique, si l’on pense au grand nombre de personnes qui écrivent l’hindi en caractères latins dans leurs e-mails ou sur les réseaux sociaux. Pour prendre l’exemple du japonais, cela reviendrait peut-être à entraîner un modèle à la fois sur des textes en hiragana et en kanji et sur des textes saisis en caractères latins.
Un processus de génération en quatre étapes, qui ne se limite pas à la traduction
Les données sources proviennent de 15 sous-ensembles de Nemotron-CC-v2, qui comprennent des textes issus du Web, des questions-réponses, des mathématiques et du code. Elles sont traitées avec NeMo Data Designer, l’outil open source de NVIDIA pour générer des données synthétiques. Le processus couvre de bout en bout la traduction, l’évaluation de la qualité et la correction.
Les identifiants des documents d’origine sont conservés dans les données produites, ce qui permet de retrouver le document source. Cette facilité d’audit a posteriori est l’un des atouts des données ouvertes.
Pour les 12 langues concernées, le processus comporte quatre étapes : traduction des documents anglais, évaluation de la qualité, correction des résultats mal notés, puis conversion en alphabet latin. La traduction est réalisée avec Gemma-4-31B-it, qui traduit chaque document en entier afin de préserver le contexte entre les paragraphes, les tableaux et les formules. Le prompt demande également de conserver le code, les formules et les URL sans les traduire, un détail à ne pas négliger.
Le même modèle évalue les traductions en les comparant aux textes d’origine. Les critères portent sur le sens, la fluidité, la terminologie, le style et la mise en forme, en s’inspirant de MQM, un cadre de classification des erreurs de traduction. Les traductions obtenant au moins 75 points sur 100 sont retenues. Celles qui n’atteignent pas ce seuil sont corrigées à partir des commentaires de l’évaluation, puis notées à nouveau. Ces corrections ont permis de récupérer 438,4 milliards de tokens en écriture standard et en alphabet latin, déjà inclus dans le total.
La méthode de création des transcriptions en alphabet latin est également étudiée. Plutôt que de translittérer directement depuis l’anglais, le processus part des traductions en écriture standard déjà retenues, les convertit, puis compare le résultat à la traduction d’origine. Selon les premières comparaisons réalisées manuellement, cette méthode en deux étapes entraînait moins d’inventions et laissait moins de traces d’anglais.
Les 10 autres langues sont prises en charge par un modèle de traduction spécialisé
Les 10 langues sans transcription en alphabet latin sont l’assamais, le bodo, le dogri, le cachemiri, le konkani, le maithili, le manipuri, le sanskrit, le santali et le sindhi. La traduction est effectuée avec « Indic Translate », un modèle de traduction développé par Bodhan AI, une organisation à but non lucratif issue de l’IIT Madras.
Gemma-4-31B-it se charge de l’évaluation, avec le même seuil de 75 points. En revanche, les traductions ne sont pas réécrites à partir des commentaires, et seules des données en écriture standard sont produites.
Des adaptations sont également apportées à chaque langue. Les longs documents en santali sont traduits par segments qui se chevauchent, puis reconstitués. Pour le manipuri, la traduction passe d’abord par l’écriture bengalie, avant d’être convertie dans l’écriture meitei, qui lui est propre. Ces solutions témoignent des spécificités de l’Inde, où les systèmes d’écriture varient considérablement d’une langue à l’autre.
Dans quelle mesure peut-on mesurer les gains de performance ?
Un premier indice de l’efficacité du corpus est fourni par le préentraînement continu de Nemotron 3.5 Super VL. À cette étape, 10 % du budget d’entraînement, soit 10 milliards de tokens sur 100 milliards, ont été consacrés à un mélange comprenant une partie des données du corpus dans 12 langues et des textes naturels en langues indiennes. Les 90 % restants ont conservé les proportions de la composition d’entraînement utilisée précédemment.
Résultat : les scores ont progressé sur les cinq indicateurs — MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy et Indic GSM8K — avec des gains compris entre 4,98 et 9,82 points. Cette comparaison porte toutefois sur les checkpoints avant et après le préentraînement continu. Elle ne permet pas d’isoler la contribution des seules données synthétiques. Ce qui est établi, c’est que la combinaison de données synthétiques et de textes naturels a fonctionné.
À l’échelle du modèle final, les scores ont progressé sur cinq des six évaluations de tâches mesurant les connaissances, le raisonnement, les mathématiques, le code et la traduction, par rapport à l’ancienne génération Nemotron 3 Super. En revanche, IFEval 1.5, qui mesure le respect des instructions, a reculé de 2,04 points.
Dans « IndiVibe », l’évaluation de Sarvam AI consacrée à la qualité des conversations dans les langues indiennes, les quatre critères — utilité, fluidité, fidélité à la langue et à l’écriture, et pertinence de la longueur des réponses — se sont tous améliorés.
Au-delà de la publication des données, leur mise en pratique
Ce qui frappe dans cette publication, c’est qu’elle dévoile non seulement les données, mais aussi leur mode de création. Le plug-in de traduction « Nemotron Bharat », destiné à NeMo Data Designer, comprend des prompts de traduction et d’évaluation, une fonction de réécriture, le découpage des documents en fenêtres ainsi qu’une aide à la conversion d’écriture. Les entreprises et les organismes de recherche disposant de leurs propres documents peuvent ainsi créer des données dans d’autres domaines en suivant la même procédure.
Les recommandations d’utilisation sont elles aussi concrètes. Il faut commencer par tester le système sur un petit échantillon de ses propres documents, puis vérifier que le code, les formules et la mise en forme sont préservés. Il convient ensuite d’élargir l’échelle après examen par des locuteurs des langues locales. Le plug-in renvoie des propositions et des scores ; chaque équipe décide, selon ses critères de sélection, quelles données intégrer à l’entraînement. Les données peuvent être consultées grâce à la fonction de streaming de Hugging Face, sans avoir à les télécharger dans leur intégralité.
Les données traduites ne peuvent pas remplacer les textes rédigés localement. Les textes écrits naturellement sont porteurs des connaissances régionales et des contextes culturels. Ce corpus a été conçu pour être utilisé en complément de ces textes.
L’évaluation de la qualité est principalement automatisée, et les vérifications humaines portent surtout sur des échantillons. Pour le processus concernant 12 langues, le modèle utilisé pour la traduction sert également à l’évaluation ; le volet consacré aux 10 autres langues nécessite donc une validation plus étendue par des locuteurs natifs. La déduplication par identifiant de source élimine les doublons liés au traitement, mais ne regroupe pas les contenus similaires sur le plan sémantique.
Avec le soutien de NVIDIA, AI4Bharat a également constitué un ensemble de benchmarks d’évaluation, « Indic-LLM-Eval-Suite ». L’augmentation des données et la mise au point des outils pour les mesurer avancent ainsi de concert. Reste à savoir si les fondations de l’IA, jusqu’ici centrées sur l’anglais, pourront être renforcées grâce à des évaluations propres à chaque langue et à une combinaison de données avec des textes naturels. Ce corpus destiné aux 22 langues de l’Inde pourrait bien servir de test décisif.
コメント