NVIDIA宣布，將與印度理工學院馬德拉斯分校（IIT Madras）及該校的AI4Bharat共同開發，並即將公開「Nemotron-pretraining-Indic-v1」這套AI預訓練資料，涵蓋印度憲法列定的22種語言，約有2.8兆個Token。NVIDIA也計畫公開產生資料所用、支援GPU的資料處理管線。這套資料預計結合以英文資料為基礎產生的合成資料，以及當地撰寫的自然文本。
涵蓋印度22種語言、採34種設定的大型語料庫
涵蓋範圍為印度憲法列定的22種官方語言，包括印地語、孟加拉語、泰米爾語、泰盧固語、烏爾都語等，這些語言是約97%印度民眾的母語。以2011年人口普查數據來看，涉及人口約12億。
相較於英文，印度語言的AI訓練資料不足。這是AI4Bharat負責人Mitesh Khapra長期以來指出的問題，而這次的資料被視為填補缺口的一項舉措。
來看看資料內容。22種語言都包含以各語言標準文字書寫的資料。其中12種語言另有以拉丁字母轉寫的版本，語言與文字系統的組合共34種。標準文字資料約有2兆6,010億個Token，拉丁字母轉寫資料約有2,246億個Token；兩者都是以Gemma-4的Tokenizer計算。
需要注意的是，這些數字並不代表「不重複的英文文件數量」。來自相同來源的翻譯資料，以及不同文字形式的資料，都會重複計入。拉丁字母轉寫並非翻譯成英文，而是以類似羅馬字的方式書寫印度語言，也能作為讓模型學習同一內容不同文字形式的素材。
考量到許多人會在電子郵件或社群媒體上用拉丁字母輸入印地語，這種設計相當實用。以日語為例，或許就像讓模型同時學習以平假名、漢字書寫的文章，以及以羅馬字輸入的文章。
不只翻譯：分四階段完成資料生成
素材取自Nemotron-CC-v2的15個子集，包含網頁文本、問答、數學、程式碼等。這些素材會透過NVIDIA的開源合成資料生成工具「NeMo Data Designer」處理，從翻譯、品質評估到修正，一氣呵成。
輸出資料會保留原始文件的識別碼，因此可以追溯每筆資料是由哪份文件產生。方便日後稽核，是開放資料的一項優勢。
12種語言的處理流程分為四個階段：翻譯英文文件、評估品質、修正評分較低的輸出，以及轉換為拉丁字母。翻譯使用Gemma-4-31B-it，並一次翻譯整份文件，目的是保留跨越段落、表格與數學公式的上下文。值得注意的是，提示詞也指示模型保留程式碼、公式與URL，不要翻譯。
品質評估由同一個模型對照原文進行，評估標準包括語意、流暢度、術語、文體與格式，並參考翻譯錯誤分類架構MQM。滿分100分，達75分以上才會採用；低於門檻的輸出則依據評估回饋修正，再次評分。透過這項修正，標準文字與拉丁字母資料合計有4,384億個Token得以保留，且已計入總量。
拉丁字母轉寫的生成方式也經過特別設計：不是直接從英文轉寫，而是以已採用的標準文字譯文為起點進行轉換，再將結果與原譯文比對。初步人工比較顯示，這種兩階段方式較少混入虛構內容，也較少殘留英文。
其餘10種語言以專用翻譯模型處理
沒有拉丁字母轉寫版本的10種語言包括阿薩姆語、博多語、多格拉語、喀什米爾語、孔卡尼語、邁蒂利語、曼尼普爾語、梵語、桑塔利語與信德語。翻譯使用由IIT Madras衍生的非營利組織Bodhan AI開發的翻譯模型「Indic Translate」。
評估由Gemma-4-31B-it負責，採用門檻同樣是75分。不過，這些資料不會依據回饋改寫，只會產生標準文字版本。
各語言也採取不同的調整方式。較長的桑塔利語文件會切分成彼此重疊的區段進行翻譯，再於事後還原。曼尼普爾語則會先翻譯成孟加拉文字，再轉換為該語言專用的梅泰文字。由於各語言的文字系統差異甚大，這可說是因應印度語言特色所採取的做法。
能從中看出多少效能提升？
作為成效線索，NVIDIA提出了Nemotron 3.5 Super VL的持續預訓練案例。在此階段，1,000億個Token的訓練預算中，有10%，也就是100億個Token，分配給這次語料庫中12種語言的部分資料，並與自然的印度語言文本混合使用。其餘90%則維持先前的訓練資料配比。
結果是，MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K 五項指標全數提升，增幅介於 4.98 至 9.82 個百分點。不過，這項比較是並列持續預訓練前後的模型檢查點，並非單獨衡量合成資料的貢獻。可以確定的是，合成資料與自然文本搭配使用的配方確實奏效。
從完整模型的整體表現來看，與舊一代 Nemotron 3 Super 相比，在衡量知識、推理、數學、程式碼和翻譯的 6 項任務評測中，有 5 項分數提升。另一方面，衡量指令遵循能力的 IFEval 1.5 則下降了 2.04 個百分點。
在 Sarvam AI 用來評估印度語言對話品質的「IndiVibe」評測中，有用性、流暢度、對語言與文字系統的忠實度，以及回答長度是否恰當，這 4 個項目全都有所改善。
不只公開資料，也公開如何善用
這次公開案引人注目的不只是資料本身，還包括公開了「資料的製作方法」。NeMo Data Designer 的翻譯外掛程式「Nemotron Bharat」包含翻譯與評估提示、改寫功能、文件分窗處理，以及文字轉寫支援。擁有自有文件的企業和研究機構，便能依照相同流程製作其他領域的資料。
使用指引也相當具體：先用少量自家文件測試，確認程式碼、數學公式和格式是否都能保留；經由當地語言使用者審閱後，再擴大規模。外掛程式回傳的是候選資料及分數，因此各團隊會依自己的篩選方針，決定將哪些資料納入訓練。載入資料時可使用 Hugging Face 的串流功能，不必下載全部資料就能檢視內容。
翻譯資料無法取代以當地語言撰寫的文章。承載地方知識與文化脈絡的，是自然撰寫的文本。這次的語料庫正是以搭配這類自然文本使用為前提而設計。
品質評估主要採用自動化方式，人工作業則以抽樣檢查為主。在涵蓋 12 種語言的流程中，負責翻譯的模型也會擔任評估者，因此涵蓋 10 種語言的部分更需要更廣泛的母語人士驗證。依據來源 ID 去除重複，是為了排除處理流程中的重複資料，並非從語意上整理相似內容。
AI4Bharat 也在 NVIDIA 支援下，建置了評估基準套件「Indic-LLM-Eval-Suite」。擴增資料與建立衡量標準，正同步推進。以英語為中心的 AI 基礎，能否透過各語言的評估，以及與自然文本的搭配，進一步充實？這個面向印度 22 種語言的語料庫，或許將成為一項試金石。
コメント