NVIDIA anunció que próximamente publicará «Nemotron-pretraining-Indic-v1», un conjunto de datos de unos 2,8 billones de tokens para el preentrenamiento de IA, desarrollado en colaboración con el Instituto Indio de Tecnología de Madrás (IIT Madras) y AI4Bharat, perteneciente a la institución. El conjunto abarca los 22 idiomas contemplados en la Constitución india. La compañía también prevé publicar la canalización compatible con GPU utilizada para generar los datos, que combina datos sintéticos creados a partir de material en inglés con textos naturales escritos en los propios idiomas de la India.
Un enorme corpus con los 22 idiomas de la India en 34 combinaciones
El conjunto abarca los 22 idiomas contemplados en la Constitución india. Incluye hindi, bengalí, tamil, telugu y urdu, entre otros, y representa la lengua materna de alrededor del 97 % de la población del país. Según el censo de 2011, esto equivale a unos 1.200 millones de personas.
Los idiomas de la India disponen de muchos menos datos para la IA que el inglés. Mitesh Khapra, responsable de AI4Bharat, lleva tiempo señalando este problema, y este conjunto de datos se presenta como una medida para paliar esa carencia.
Veamos qué contiene. Los 22 idiomas cuentan con datos escritos en sus alfabetos estándar. En 12 de ellos también se incluye una transcripción en alfabeto latino, lo que suma 34 combinaciones de idiomas y sistemas de escritura. El número de tokens asciende a unos 2,601 billones en escritura estándar y a unos 224.600 millones en escritura latina. Ambas cifras se han calculado con el tokenizador de Gemma-4.
Conviene tener en cuenta que estas cifras no representan el «número de documentos únicos en inglés». Se cuentan varias veces los datos traducidos a partir de una misma fuente y los que utilizan distintas formas de escritura. La escritura latina no es una traducción al inglés, sino una representación de idiomas de la India mediante el alfabeto latino. También sirve para entrenar con el mismo contenido escrito en otro sistema.
Si tenemos en cuenta que muchas personas escriben en hindi con el alfabeto latino en correos electrónicos y redes sociales, el diseño resulta práctico. En el caso del japonés, sería algo parecido a entrenar con textos escritos tanto en hiragana y kanji como mediante la transcripción en alfabeto latino.
Un proceso de generación en cuatro etapas que va más allá de traducir
El material de partida procede de 15 subconjuntos de Nemotron-CC-v2, que incluyen textos web, preguntas y respuestas, matemáticas y código. Se procesan con NeMo Data Designer, una herramienta de código abierto de NVIDIA para generar datos sintéticos, que integra en un único proceso la traducción, la evaluación de calidad y la revisión.
Los identificadores de los documentos originales se conservan en los resultados, lo que permite rastrear de qué documento procede cada dato. La facilidad para realizar auditorías posteriores es una de las ventajas de los datos abiertos.
El proceso para 12 idiomas consta de cuatro etapas: traducción de los documentos en inglés, evaluación de calidad, revisión de los resultados con puntuaciones bajas y conversión al alfabeto latino. Para traducir se utiliza Gemma-4-31B-it, que traduce cada documento completo de una sola vez. El objetivo es preservar el contexto entre párrafos, tablas y fórmulas. También se indica en las instrucciones que no se traduzcan el código, las fórmulas ni las URL.
El mismo modelo compara la traducción con el original para evaluarla. Los criterios valoran el significado, la fluidez, la terminología, el estilo y el formato, y toman como referencia MQM, un marco para clasificar errores de traducción. Se aceptan los resultados con una puntuación de 75 sobre 100 o superior; los que no llegan a ese umbral se revisan a partir de los comentarios de la evaluación y se puntúan de nuevo. Gracias a esta revisión se recuperaron 438.400 millones de tokens entre escritura estándar y latina, ya incluidos en el total.
También hay un método específico para generar las versiones en alfabeto latino. En lugar de transliterar directamente desde el inglés, se parte de las traducciones aceptadas en escritura estándar y luego se convierten; el resultado se coteja con la traducción original. En las primeras comparaciones manuales, este método en dos etapas produjo menos invenciones y menos restos de inglés.
Los 10 idiomas restantes se cubren con un modelo de traducción especializado
Los 10 idiomas que no cuentan con una versión en alfabeto latino son el asamés, el bodo, el dogri, el cachemir, el konkani, el maithili, el manipuri, el sánscrito, el santali y el sindhi. Para traducirlos se utiliza «Indic Translate», un modelo de traducción desarrollado por Bodhan AI, una organización sin ánimo de lucro surgida de IIT Madras.
Gemma-4-31B-it se encarga de la evaluación y se mantiene el mismo umbral de aceptación de 75 puntos. Sin embargo, no se revisan los textos a partir de los comentarios: solo se generan datos en escritura estándar.
También se aplican ajustes específicos para cada idioma. Los documentos largos en santali se traducen dividiéndolos en segmentos con zonas solapadas y luego se reconstruyen. En el caso del manipuri, primero se traduce al alfabeto bengalí y después se convierte a la escritura meitei propia del idioma. Son ajustes que reflejan las grandes diferencias entre los sistemas de escritura de cada idioma, una particularidad de la India.
¿Hasta dónde se puede apreciar la mejora del rendimiento?
Como indicio de su efecto se presenta el preentrenamiento continuo de Nemotron 3.5 Super VL. En esta fase, se destinaron 10.000 millones de tokens —el 10 % de un presupuesto de entrenamiento de 100.000 millones— a una mezcla de parte de los datos de 12 idiomas de este corpus y textos naturales en idiomas de la India. El 90 % restante mantuvo las proporciones de la mezcla de entrenamiento anterior.
Como resultado, mejoraron los cinco indicadores: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K, con avances de entre 4,98 y 9,82 puntos. No obstante, la comparación enfrenta los puntos de control anteriores y posteriores al preentrenamiento continuo. No cuantifica por separado la contribución exclusiva de los datos sintéticos. Lo que sí queda claro es que funcionó la combinación de datos sintéticos y textos naturales.
En el modelo completo, las puntuaciones mejoraron en cinco de las seis evaluaciones de tareas que miden conocimientos, razonamiento, matemáticas, programación y traducción, en comparación con la generación anterior, Nemotron 3 Super. En cambio, IFEval 1.5, que mide el seguimiento de instrucciones, bajó 2,04 puntos.
En «IndiVibe», la evaluación de Sarvam AI que mide la calidad de las conversaciones en lenguas indias, mejoraron los cuatro aspectos evaluados: utilidad, fluidez, fidelidad a la lengua y la escritura, y adecuación de la longitud de las respuestas.
No basta con publicar los datos: también hay que saber aprovecharlos
Lo más llamativo de esta publicación es que no solo se abren los datos, sino también el proceso para crearlos. El complemento de traducción «Nemotron Bharat», para NeMo Data Designer, incluye indicaciones para traducir y evaluar, funciones de reescritura, segmentación de documentos en ventanas y asistencia para la conversión de escritura. Así, las empresas y los centros de investigación que dispongan de documentos propios pueden crear datos de otros ámbitos siguiendo el mismo procedimiento.
Las pautas de uso también son concretas: primero, probar con una pequeña cantidad de documentos propios y comprobar si se conservan el código, las fórmulas y el formato; después, ampliar la escala tras una revisión por hablantes de las lenguas locales. El complemento devuelve candidatos y puntuaciones, por lo que cada equipo decide, según sus propios criterios de selección, qué registros incluir en el entrenamiento. Para cargar los datos se puede usar la función de streaming de Hugging Face y examinar su contenido sin descargarlo todo.
Los datos traducidos no sustituyen a los textos escritos localmente. Los textos redactados de forma natural son los que aportan el conocimiento regional y el contexto cultural. Este corpus está diseñado para utilizarse en combinación con esos textos naturales.
La evaluación de calidad está automatizada en gran medida, y las comprobaciones humanas se centran principalmente en muestras. En el proceso para 12 lenguas, el modelo utilizado para traducir también se encarga de evaluar, por lo que la parte correspondiente a 10 lenguas requiere una validación más amplia por hablantes nativos. La deduplicación mediante identificadores de origen elimina duplicados de procesamiento, pero no organiza el contenido según su similitud semántica.
Con el apoyo de NVIDIA, AI4Bharat también está preparando «Indic-LLM-Eval-Suite», un conjunto de pruebas de referencia para la evaluación. Así, el esfuerzo por ampliar los datos avanza en paralelo al desarrollo de herramientas para medirlos. ¿Será posible reforzar los cimientos de la IA, hasta ahora centrados en el inglés, mediante evaluaciones específicas para cada lengua y una combinación con textos naturales? Este corpus para las 22 lenguas de la India podría convertirse en una prueba decisiva.
コメント