NVIDIA hat angekündigt, in Kürze den KI-Vortrainingsdatensatz „Nemotron-pretraining-Indic-v1“ zu veröffentlichen. Er umfasst rund 2,8 Billionen Tokens für die 22 Sprachen, die in der indischen Verfassung festgelegt sind, und wurde gemeinsam mit dem Indian Institute of Technology Madras (IIT Madras) und dessen AI4Bharat entwickelt. Zusammen mit dem Datensatz soll auch die GPU-fähige Pipeline veröffentlicht werden, mit der er erstellt wurde. Vorgesehen ist, synthetische, auf englischem Material basierende Daten mit natürlich formulierten, vor Ort verfassten Texten zu kombinieren.
Ein riesiger Korpus mit 22 indischen Sprachen in 34 verschiedenen Konfigurationen
Der Datensatz deckt die 22 Amtssprachen ab, die in der indischen Verfassung aufgeführt sind. Dazu zählen Hindi, Bengali, Tamil, Telugu und Urdu. Für rund 97 Prozent der indischen Bevölkerung ist eine dieser Sprachen die Muttersprache. Laut der Volkszählung von 2011 entspricht das etwa 1,2 Milliarden Menschen.
Im Vergleich zum Englischen mangelt es indischen Sprachen an Daten für KI. Mitesh Khapra, Leiter von AI4Bharat, weist schon seit Längerem auf dieses Problem hin. Der nun vorgestellte Datensatz soll dazu beitragen, diese Lücke zu schließen.
Werfen wir einen Blick auf den Inhalt. Für alle 22 Sprachen gibt es Daten in der jeweiligen Standardschrift. Bei zwölf davon kommen außerdem Umschriften in lateinischer Schrift hinzu, also in Alphabeten auf Basis lateinischer Buchstaben. Damit ergeben sich 34 Kombinationen aus Sprache und Schriftsystem. Die Tokenzahlen belaufen sich auf rund 2.601 Billionen für die Standardschriften und rund 224,6 Milliarden für die Umschriften in lateinischer Schrift. Beide Werte wurden mit dem Tokenizer von Gemma-4 ermittelt.
Wichtig ist: Diese Zahlen geben nicht die „Zahl einzigartiger englischer Dokumente“ an. Übersetzungen und Daten in unterschiedlichen Schriftsystemen, die auf derselben Quelle beruhen, werden mehrfach gezählt. Die Umschriften in lateinischer Schrift sind keine Übersetzungen ins Englische, sondern geben indische Sprachen in einer an die lateinische Schrift angelehnten Schreibweise wieder. Sie können auch als Material dienen, um denselben Inhalt in verschiedenen Schriftsystemen zu vermitteln.
Angesichts der Tatsache, dass viele Menschen Hindi in E-Mails und sozialen Medien mit lateinischen Buchstaben schreiben, ist dieser Ansatz praxisnah. Für das Japanische könnte man sich das so vorstellen, als würde ein Modell sowohl Texte in Hiragana und Kanji als auch Texte lernen, die mit lateinischen Buchstaben eingegeben wurden.
Ein vierstufiger Erstellungsprozess, der nicht bei der Übersetzung aufhört
Als Ausgangsmaterial dienen 15 Teilmengen von Nemotron-CC-v2. Dazu gehören Webtexte, Fragen und Antworten, Mathematik und Code. Sie werden mit NVIDIAs Open-Source-Tool zur Erstellung synthetischer Daten, „NeMo Data Designer“, verarbeitet. Der Prozess umfasst alles von der Übersetzung über die Qualitätsbewertung bis hin zur Überarbeitung.
Die Kennungen der Quelldokumente bleiben in den Ausgabedaten erhalten, sodass sich zurückverfolgen lässt, aus welchem Dokument die jeweiligen Daten erstellt wurden. Dass sich die Daten nachträglich leicht überprüfen lassen, ist ein Vorteil offener Datensätze.
Für die zwölf Sprachen umfasst der Prozess vier Schritte: Übersetzung englischer Dokumente, Qualitätsbewertung, Überarbeitung schlecht bewerteter Ausgaben und Übertragung in lateinische Schrift. Übersetzt wird mit Gemma-4-31B-it, wobei jeweils das gesamte Dokument auf einmal verarbeitet wird. So soll der Kontext über Absätze, Tabellen und Formeln hinweg erhalten bleiben. Bemerkenswert ist auch, dass der Prompt vorgibt, Code, Formeln und URLs unverändert zu übernehmen.
Die Bewertung nimmt dasselbe Modell vor, indem es die Übersetzung mit dem Original abgleicht. Als Kriterien dienen Bedeutung, Flüssigkeit, Terminologie, Stil und Formatierung; dabei orientiert sich das Verfahren am MQM-Rahmenwerk zur Klassifizierung von Übersetzungsfehlern. Übersetzungen mit mindestens 75 von 100 Punkten werden übernommen. Niedriger bewertete Ausgaben werden anhand des Bewertungsfeedbacks überarbeitet und erneut bewertet. Durch diese Überarbeitung konnten insgesamt 438,4 Milliarden Tokens in Standard- und lateinischer Schrift gerettet werden; sie sind bereits in der Gesamtmenge enthalten.
Auch bei der Erstellung der Umschriften in lateinischer Schrift kommt ein besonderes Verfahren zum Einsatz. Statt direkt aus dem Englischen eine Umschrift zu erzeugen, wird die bereits akzeptierte Übersetzung in Standardschrift als Ausgangspunkt verwendet. Anschließend wird das Ergebnis mit der ursprünglichen Übersetzung abgeglichen. Erste manuelle Vergleiche ergaben demnach, dass bei diesem zweistufigen Verfahren weniger erfundene Inhalte und weniger englische Textreste vorkamen.
Die übrigen zehn Sprachen werden mit einem speziellen Übersetzungsmodell abgedeckt
Die zehn Sprachen ohne Umschrift in lateinischer Schrift sind Assamesisch, Bodo, Dogri, Kaschmirisch, Konkani, Maithili, Meitei, Sanskrit, Santali und Sindhi. Für die Übersetzung kommt „Indic Translate“ zum Einsatz, ein Übersetzungsmodell der gemeinnützigen Organisation Bodhan AI, die aus dem IIT Madras hervorgegangen ist.
Die Bewertung übernimmt Gemma-4-31B-it, und auch hier liegt die Annahmeschwelle bei 75 Punkten. Eine Überarbeitung auf Grundlage des Feedbacks findet jedoch nicht statt; erstellt werden ausschließlich Daten in der Standardschrift.
Zudem gibt es sprachspezifische Anpassungen. Lange Texte auf Santali werden in sich überlappende Abschnitte unterteilt und übersetzt, bevor sie später wieder zusammengesetzt werden. Meitei wird zunächst in bengalischer Schrift übersetzt und anschließend in die eigene Meitei-Mayek-Schrift übertragen. Diese Anpassungen sind eine Besonderheit Indiens, wo sich die Gegebenheiten der Schriftsysteme von Sprache zu Sprache stark unterscheiden.
Wie weit lassen sich Leistungsverbesserungen erkennen?
Als Hinweis auf die Wirkung dient das fortgesetzte Vortraining von Nemotron 3.5 Super VL. In dieser Phase entfielen 10 Prozent des Trainingsbudgets von 100 Milliarden Tokens – also 10 Milliarden Tokens – auf eine Mischung aus einem Teil der zwölf Sprachen des neuen Korpus und natürlich entstandenen Texten in indischen Sprachen. Für die übrigen 90 Prozent blieb die zuvor verwendete Trainingsmischung im gleichen Verhältnis erhalten.
In der Folge stiegen die Werte bei allen fünf Benchmarks – MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy und Indic GSM8K – um 4,98 bis 9,82 Punkte. Der Vergleich stellt jedoch Checkpoints vor und nach dem fortgesetzten Pretraining gegenüber. Er beziffert nicht den isolierten Beitrag der synthetischen Daten. Belegt ist, dass sich die Kombination synthetischer Daten mit natürlichen Texten bewährt hat.
Beim fertigen Gesamtmodell lagen die Werte im Vergleich zur Vorgängergeneration Nemotron 3 Super bei fünf von sechs Aufgabenbewertungen höher. Gemessen wurden Wissen, Schlussfolgern, Mathematik, Programmieren und Übersetzung. IFEval 1.5, ein Maß für die Befolgung von Anweisungen, sank dagegen um 2,04 Punkte.
Bei „IndiVibe“, einer Bewertung von Sarvam AI zur Dialogqualität in indischen Sprachen, verbesserten sich alle vier Kriterien: Nützlichkeit, Sprachfluss, Treue zu Sprache und Schrift sowie die Angemessenheit der Antwortlänge.
Nicht nur die Daten, sondern auch ihre Nutzung erschließen
Bemerkenswert an der Veröffentlichung ist, dass nicht nur die Daten selbst, sondern auch ihre Erstellung offengelegt wird. Das Übersetzungs-Plug-in „Nemotron Bharat“ für NeMo Data Designer umfasst Prompts für Übersetzung und Bewertung, eine Überarbeitungsfunktion, das Aufteilen von Dokumenten in Fenster sowie Unterstützung bei der Schriftumwandlung. Unternehmen und Forschungseinrichtungen mit eigenen Dokumenten können so nach demselben Verfahren Daten aus anderen Bereichen erstellen.
Auch die Anwendungshinweise sind konkret: Zunächst sollte man das Verfahren mit einer kleinen Auswahl eigener Dokumente testen und prüfen, ob Code, Formeln und Formatierungen erhalten bleiben. Anschließend sollte eine Prüfung durch Muttersprachler erfolgen, bevor der Umfang ausgeweitet wird. Das Plug-in liefert Kandidaten und Bewertungen; welche Datensätze ins Training einfließen, entscheidet die Auswahlpolitik des jeweiligen Teams. Für das Einlesen der Daten lässt sich die Streaming-Funktion von Hugging Face nutzen, sodass sich der Inhalt prüfen lässt, ohne alles herunterzuladen.
Übersetzungsdaten können keine vor Ort verfassten Texte ersetzen. Natürlich geschriebene Texte vermitteln regionales Wissen und kulturelle Zusammenhänge. Der vorliegende Korpus ist dafür ausgelegt, gemeinsam mit solchen natürlichen Texten eingesetzt zu werden.
Die Qualitätsbewertung erfolgt überwiegend automatisiert; manuelle Prüfungen beschränken sich vor allem auf Stichproben. In der Pipeline für zwölf Sprachen übernimmt dasselbe Modell sowohl die Übersetzung als auch die Bewertung. Für die zehn weiteren Sprachen ist daher eine umfassendere Überprüfung durch Muttersprachler erforderlich. Die Deduplizierung anhand von Quell-IDs entfernt technische Dubletten, ordnet aber keine inhaltlich ähnlichen Texte.
Mit Unterstützung von NVIDIA arbeitet AI4Bharat auch an der Benchmark-Sammlung „Indic-LLM-Eval-Suite“. Damit schreiten der Ausbau der Daten und die Entwicklung geeigneter Maßstäbe für ihre Bewertung parallel voran. Ob sich die bislang englischzentrierte KI-Grundlage durch sprachspezifische Bewertungen und die Kombination mit natürlichen Texten stärken lässt, wird sich zeigen. Der Korpus für 22 indische Sprachen dürfte dafür zum Prüfstein werden.
コメント