NVIDIAは、インド工科大学マドラス校（IIT Madras）と同校のAI4Bharatとの共同開発で、インド憲法が定める22言語を対象にした約2.8兆トークンのAI事前学習用データ「Nemotron-pretraining-Indic-v1」を近く公開すると発表しました。データの生成に使ったGPU対応のパイプラインも併せて公開する計画で、英語の資料を元にした合成データを、現地で書かれた自然な文章と組み合わせて使うことを想定しています。
インドの22言語を34通りの設定で揃えた巨大コーパス
対象は、インド憲法に記された22の公用語です。ヒンディー語、ベンガル語、タミル語、テルグ語、ウルドゥー語などが含まれ、インド国民の約97%にとっての第一言語にあたります。2011年の国勢調査で見れば、約12億人の規模です。
英語に比べてインドの言語はAI向けデータが足りない。AI4Bharatを率いるMitesh Khapra氏が以前から訴えてきた課題で、今回のデータはその不足を埋める一手と位置付けられます。
中身を見ていきます。22言語すべてに、各言語の標準文字で書かれたデータがあります。そのうち12言語にはラテン文字、つまりアルファベットで書き起こした表記も加わり、言語と文字体系の組み合わせは34通りになります。トークン数は標準文字が約2兆6,010億、ラテン文字表記が約2,246億で、どちらもGemma-4のトークナイザーで数えた値です。
注意したいのは、この数字が「ユニークな英語文書の数」ではないことです。同じ出典から作られた翻訳や、文字表記違いのデータが重ねて数えられています。ラテン文字表記は英語への翻訳ではなく、インドの言語をローマ字風に書いたもの。同じ内容を別の文字で学ばせる素材にもなります。
メールやSNSでヒンディー語をローマ字で打つ人が多い現実を思えば、この設計は実用的です。日本語でいえば、ひらがな・漢字の文章とローマ字入力の文章の両方を学ばせるようなものかもしれません。
翻訳して終わりにしない四段構えの生成工程
素材は、Nemotron-CC-v2の15のサブセットです。ウェブ文章、質疑応答、数学、コードなどが含まれます。これらをNVIDIAのオープンソースの合成データ生成ツール「NeMo Data Designer」で処理し、翻訳から品質評価、修正までを一気通貫で行います。
出力には元文書の識別子が残るため、どの文書から作られたデータかをたどれます。後から監査しやすい点は、オープンなデータの強みといえます。
12言語の工程は、英語文書の翻訳、品質評価、低評価の出力の修正、ラテン文字への変換という四段階です。翻訳にはGemma-4-31B-itを使い、文書全体を一括で訳します。段落や表、数式をまたいだ文脈を保つ狙いです。コードや数式、URLは訳さず保持するようプロンプトで指示している点も見逃せません。
評価は同じモデルが原文と照らして行います。意味、流暢さ、用語、文体、書式を見る基準で、翻訳エラーの分類枠組みであるMQMを参考にしています。100点満点で75点以上を採用し、下回った出力は評価のフィードバックを使って直し、再び採点します。この修正で、標準文字とラテン文字を合わせて4,384億トークンが救済され、すでに総量に含まれています。
ラテン文字表記の作り方にも工夫があります。英語から直接ローマ字化するのではなく、採用済みの標準文字訳を出発点に変換し、結果を元の訳と照合します。初期の人手比較では、この二段階方式のほうが作り話の混入や英語の残りが少なかったとしています。
残り10言語は専用の翻訳モデルで補う
ラテン文字表記を持たない10言語は、アッサム語、ボド語、ドグリ語、カシミール語、コンカニ語、マイティリー語、マニプリ語、サンスクリット語、サンタル語、シンド語です。翻訳には、IIT Madras発の非営利組織Bodhan AIによる翻訳モデル「Indic Translate」を使います。
評価はGemma-4-31B-itが担当し、採用基準は同じ75点です。ただし、フィードバックに基づく書き直しは行わず、作るのは標準文字のデータのみです。
言語ごとの調整も入っています。長いサンタル語の文書は、重なりのある窓に区切って訳したうえで、あとで復元します。マニプリ語はいったんベンガル文字に訳し、固有のメイテイ文字へ変換する方式です。文字体系の事情が言語ごとに大きく違う、インドならではの工夫といえます。
性能向上はどこまで読み取れるか
効果の手がかりとして示されたのが、Nemotron 3.5 Super VLの継続事前学習です。この段階では、学習予算1,000億トークンのうち10%にあたる100億トークンを、今回のコーパスの12言語分の一部と、自然なインドの言語のテキストの混合に充てました。残りの90%は、それ以前の学習配合の比率を保っています。
結果として、MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8Kの5指標すべてが上がり、上昇幅は4.98〜9.82ポイントでした。ただし、この比較は継続事前学習の前後のチェックポイントを並べたものです。合成データ単独の寄与を切り出した数字ではありません。確かなのは、合成データと自然文を組み合わせた配合が機能したという点です。
完成したモデル全体で見ると、旧世代のNemotron 3 Superとの比較で、知識、推論、数学、コード、翻訳を測る6つのタスク評価のうち5つでスコアが上がりました。一方、指示追従を測るIFEval 1.5は2.04ポイント下がっています。
インドの言語での対話品質を測るSarvam AIの評価「IndiVibe」では、有用性、流暢さ、言語と文字の忠実さ、回答の長さの適切さの4項目すべてが改善しました。
データの公開だけでは終わらない使いこなし
今回の公開で目を引くのは、データそのものより「作り方」まで開いた点です。NeMo Data Designer向けの翻訳プラグイン「Nemotron Bharat」には、翻訳と評価のプロンプト、書き直し機能、文書の窓分割、文字変換の支援が含まれます。自前の文書を持つ企業や研究機関が、同じ手順で別の領域のデータを作れるわけです。
使い方の指針も具体的です。まず少量の自社文書で試し、コードや数式、書式が保たれているかを確認する。現地語の話者によるレビューを経てから規模を広げる。プラグインが返すのは候補とスコアなので、どの記録を学習に入れるかは各チームの選別方針で決まります。データの読み込みにはHugging Faceのストリーミング機能が使え、全量をダウンロードせずに中身を確認できます。
翻訳データは、現地で書かれた文章の代わりにはなりません。地域の知識や文化的な文脈を担うのは、自然に書かれたテキストです。今回のコーパスは、その自然文と組み合わせて使う前提で設計されています。
品質評価は主に自動化されており、人手の確認はサンプルが中心です。12言語の工程では翻訳に使うモデルが評価役も務めるため、10言語側ではより広い母語話者による検証が求められます。出典IDによる重複除去は処理上の重複を取り除くもので、似た内容を意味の面から整理するものではありません。
AI4Bharatは、NVIDIAの支援を受けて評価用ベンチマーク集「Indic-LLM-Eval-Suite」も整備しています。データを増やす動きと、それを測る物差しを整える動きが並行して進んでいるわけです。英語中心だったAIの土台を、言語ごとの評価と自然文との配合で厚くしていけるか。インドの22言語に向けたこのコーパスは、その試金石になりそうです。
コメント