NVIDIA宣布，将与印度理工学院马德拉斯分校（IIT Madras）及该校旗下的AI4Bharat合作开发，近期发布AI预训练数据集“Nemotron-pretraining-Indic-v1”。该数据集涵盖印度宪法规定的22种语言，规模约为2.8万亿词元。NVIDIA还计划一并公开用于生成数据的GPU加速流水线。该方案旨在结合基于英语资料生成的合成数据与当地撰写的自然文本。
涵盖印度22种语言、34种组合的庞大语料库
数据集涵盖印度宪法列出的22种官方语言，包括印地语、孟加拉语、泰米尔语、泰卢固语和乌尔都语等。这些语言是约97%印度民众的第一语言。根据2011年人口普查，涉及人口约12亿。
与英语相比，印度语言可用于AI训练的数据不足。AI4Bharat负责人Mitesh Khapra此前一直指出这一问题，而此次数据集被视为弥补这一缺口的一项举措。
来看看数据集的内容。22种语言都有以各自标准文字书写的数据。其中12种语言还增加了拉丁字母转写形式，也就是用字母记录的版本，因此语言与文字体系的组合共有34种。标准文字数据约有2.601万亿词元，拉丁字母转写数据约有2246亿词元，两者均由Gemma-4的分词器计数。
需要注意的是，这些数字并不代表“独立英语文档的数量”。来自同一来源的译文，以及采用不同文字形式的数据，都被重复计入。拉丁字母转写并非翻译成英语，而是用类似罗马字母的方式书写印度语言。这类素材也能让模型学习以不同文字呈现的相同内容。
考虑到许多人在邮件和社交媒体上会用拉丁字母输入印地语，这种设计很实用。打个比方，对日语来说，就像让模型同时学习用平假名、汉字书写的文本，以及用罗马字母输入的文本。
不止于翻译：四阶段数据生成流程
原始素材来自Nemotron-CC-v2的15个子集，涵盖网页文本、问答、数学和代码等内容。NVIDIA使用开源合成数据生成工具“NeMo Data Designer”处理这些素材，一站式完成翻译、质量评估和修订。
输出数据保留了源文档的标识符，因此可以追溯每条数据来自哪份文档。便于事后审计，是开放数据的一项优势。
12种语言的数据处理分为四个阶段：翻译英语文档、评估质量、修订低分输出，以及转换为拉丁字母。翻译使用Gemma-4-31B-it，并对整篇文档进行一次性翻译，以保留跨段落、表格和公式的上下文。另一个值得注意的细节是，提示词要求代码、公式和URL保持原样，不进行翻译。
评估由同一模型对照原文完成，依据包括含义、流畅度、术语、文体和格式，并参考了翻译错误分类框架MQM。满分100分，得分达到75分及以上的输出才会采用；低于该标准的内容会根据评估反馈进行修订，然后重新评分。通过修订，标准文字和拉丁字母转写数据合计挽回了4384亿词元，这部分已计入总量。
拉丁字母转写的生成方式也经过了特别设计：不是直接从英语文本转换，而是以已通过审核的标准文字译文为基础进行转换，再将结果与原译文核对。早期人工比较显示，这种两阶段方法产生的虚构内容和残留英语更少。
其余10种语言由专用翻译模型补齐
没有拉丁字母转写形式的10种语言包括阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语。翻译使用由IIT Madras孵化的非营利组织Bodhan AI开发的“Indic Translate”翻译模型。
评估由Gemma-4-31B-it负责，采用标准仍为75分。不过，这部分数据不会根据反馈重写，只生成标准文字版本。
数据处理还针对不同语言进行了调整。较长的桑塔利语文档会被切分为彼此重叠的窗口进行翻译，之后再拼接还原。曼尼普尔语则先翻译成孟加拉文字，再转换为该语言特有的梅泰文字。这些做法体现了印度的独特之处：不同语言的文字体系差异很大。
能从中看出多大程度的性能提升？
可用来观察效果的例子是Nemotron 3.5 Super VL的持续预训练。在这一阶段，1000亿词元训练预算中的10%，即100亿词元，用于本次语料库中12种语言的部分数据，以及自然印度语言文本的混合数据。其余90%则维持此前的训练数据配比。
结果是，MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy和Indic GSM8K这5项指标均有所提升，涨幅为4.98至9.82分。不过，这项比较对照的是持续预训练前后的检查点，并非单独衡量合成数据的贡献。可以确定的是，合成数据与自然文本相结合的配比发挥了作用。
从完整模型来看，与上一代Nemotron 3 Super相比，在衡量知识、推理、数学、代码和翻译的6项任务评测中，有5项的得分有所提高。另一方面，衡量指令遵循能力的IFEval 1.5下降了2.04分。
在Sarvam AI用于评估印度语言对话质量的基准“IndiVibe”中，有用性、流畅度、语言与文字忠实度、回答长度适宜性这4项均有所改善。
不止公开数据，还开放数据的使用方法
此次发布引人注目的地方，不只是数据本身，还包括“数据的制作方法”。面向NeMo Data Designer的翻译插件“Nemotron Bharat”包含翻译和评估提示词、改写功能、文档窗口切分以及文字转换支持。拥有自有文档的企业和研究机构，可以按照相同步骤制作其他领域的数据。
使用指南也很具体：先用少量自有文档进行测试，确认代码、公式和格式是否得到保留；再经过当地语言使用者审核后扩大规模。插件返回的是候选内容及其评分，因此哪些记录纳入训练，取决于各团队的筛选策略。数据可通过Hugging Face的流式传输功能读取，无需下载全部数据即可查看内容。
翻译数据无法取代当地撰写的文本。承载地域知识和文化语境的是自然撰写的文本。此次语料库的设计前提，正是与这类自然文本结合使用。
质量评估主要通过自动化方式完成，人工核查以抽样为主。在涉及12种语言的流程中，用于翻译的模型也承担评估工作，因此涉及另外10种语言的部分需要更广泛的母语者验证。基于来源ID去重，是为了去除处理过程中的重复项，并不意味着从语义层面整理相似内容。
AI4Bharat还在NVIDIA的支持下，建立了评估基准套件“Indic-LLM-Eval-Suite”。扩充数据与完善评估标准这两项工作正在并行推进。如何通过针对各语言的评估以及与自然文本的结合，夯实过去以英语为中心的AI基础？面向印度22种语言的这一语料库，或将成为一块试金石。
コメント