A NVIDIA anunciou que vai disponibilizar em breve «Nemotron-pretraining-Indic-v1», um conjunto de dados com cerca de 2,8 biliões de tokens para pré-treino de IA, desenvolvido em colaboração com o Instituto Indiano de Tecnologia de Madras (IIT Madras) e a AI4Bharat, da mesma instituição. Abrange as 22 línguas reconhecidas pela Constituição da Índia. A empresa planeia também disponibilizar o pipeline compatível com GPU usado para gerar os dados, que combina dados sintéticos baseados em materiais em inglês com textos naturais escritos localmente.
Um enorme corpus com as 22 línguas da Índia em 34 combinações
O conjunto abrange as 22 línguas oficiais indicadas na Constituição da Índia, incluindo hindi, bengali, tâmil, telugu e urdu. São línguas maternas de cerca de 97% da população indiana — aproximadamente 1,2 mil milhões de pessoas, segundo o censo de 2011.
Em comparação com o inglês, faltam dados para IA nas línguas da Índia. É um problema que Mitesh Khapra, responsável pela AI4Bharat, tem vindo a salientar, e este conjunto de dados é apresentado como uma forma de colmatar essa lacuna.
Vejamos o conteúdo. Existem dados para as 22 línguas, escritos nos respetivos sistemas de escrita padrão. Em 12 delas, foram também acrescentadas versões transcritas para o alfabeto latino, perfazendo 34 combinações de língua e sistema de escrita. O número de tokens é de cerca de 2,601 biliões para os sistemas de escrita padrão e 224,6 mil milhões para as versões em alfabeto latino; ambos os valores foram calculados com o tokenizador Gemma-4.
Importa notar que estes números não representam a «quantidade de documentos únicos em inglês». Contam também traduções produzidas a partir das mesmas fontes e dados com sistemas de escrita diferentes. As versões em alfabeto latino não são traduções para inglês: são línguas da Índia escritas numa forma semelhante à romanização. Também podem servir para ensinar o modelo a aprender o mesmo conteúdo em diferentes sistemas de escrita.
Tendo em conta que muitas pessoas escrevem hindi em alfabeto latino nos emails e nas redes sociais, esta abordagem é prática. No caso do japonês, seria algo semelhante a ensinar com textos escritos em hiragana e kanji, bem como com textos introduzidos em romaji.
Um processo de geração em quatro fases, que vai além da tradução
Os materiais de origem são 15 subconjuntos do Nemotron-CC-v2, incluindo textos da web, perguntas e respostas, matemática e código. São processados com o NeMo Data Designer, uma ferramenta de geração de dados sintéticos de código aberto da NVIDIA, que realiza todo o processo, da tradução à avaliação e correção da qualidade.
Os identificadores dos documentos de origem são preservados nos dados de saída, permitindo rastrear de que documento provêm. A facilidade de auditoria posterior é uma das vantagens dos dados abertos.
O processo para 12 línguas tem quatro fases: tradução dos documentos em inglês, avaliação da qualidade, correção dos resultados com classificação baixa e conversão para o alfabeto latino. A tradução é feita com o Gemma-4-31B-it, que traduz o documento inteiro de uma só vez, com o objetivo de preservar o contexto entre parágrafos, tabelas e fórmulas. Também é importante que as instruções dadas ao modelo peçam para manter sem tradução o código, as fórmulas e os URL.
O mesmo modelo avalia as traduções comparando-as com os originais. Os critérios abrangem o significado, a fluência, a terminologia, o estilo e a formatação, tendo como referência o MQM, um quadro de classificação de erros de tradução. São aceites os resultados com uma pontuação de pelo menos 75 em 100. Os restantes são corrigidos com base no feedback da avaliação e voltam a ser pontuados. Esta correção recuperou 438,4 mil milhões de tokens, somando as versões nos sistemas de escrita padrão e em alfabeto latino, já incluídos no total.
A conversão para o alfabeto latino também foi cuidadosamente concebida. Em vez de romanizar diretamente a partir do inglês, parte-se das traduções aceites nos sistemas de escrita padrão e converte-se o texto, comparando depois o resultado com a tradução original. Segundo a NVIDIA, numa comparação humana preliminar, este método em duas fases produziu menos conteúdo inventado e menos vestígios de inglês.
Modelos de tradução especializados para as dez línguas restantes
As dez línguas sem versões em alfabeto latino são assamês, bodo, dogri, caxemira, concani, maithili, manipuri, sânscrito, santali e sindi. Para a tradução, é utilizado o Indic Translate, um modelo de tradução desenvolvido pela Bodhan AI, uma organização sem fins lucrativos criada no IIT Madras.
A avaliação fica a cargo do Gemma-4-31B-it e o limiar de aceitação mantém-se nos 75 pontos. No entanto, não há reescrita com base no feedback: são gerados apenas dados nos sistemas de escrita padrão.
Há também ajustes específicos para cada língua. Os documentos longos em santali são divididos em segmentos sobrepostos para tradução e posteriormente recompostos. No caso do manipuri, o texto é primeiro traduzido para bengali e depois convertido para a escrita meitei, própria da língua. É uma solução característica da Índia, onde as particularidades dos sistemas de escrita variam muito de língua para língua.
Até que ponto se pode concluir que o desempenho melhora?
Como indício dos efeitos, é apresentado o pré-treino contínuo do Nemotron 3.5 Super VL. Nesta fase, 10% do orçamento de treino de 100 mil milhões de tokens — ou seja, 10 mil milhões de tokens — foram dedicados a uma mistura de parte dos dados deste corpus nas 12 línguas e de textos naturais em línguas da Índia. Os 90% restantes mantiveram a proporção da mistura de treino usada anteriormente.
Em resultado, os resultados melhoraram nos cinco indicadores — MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K —, com subidas entre 4,98 e 9,82 pontos. No entanto, esta comparação coloca lado a lado os pontos de controlo anteriores e posteriores ao pré-treino contínuo. Não isola a contribuição dos dados sintéticos. O que se pode afirmar com segurança é que a combinação de dados sintéticos e texto natural funcionou.
Considerando o modelo completo, os resultados subiram em cinco das seis avaliações de tarefas que medem conhecimentos, raciocínio, matemática, programação e tradução, em comparação com o Nemotron 3 Super da geração anterior. Em contrapartida, o IFEval 1.5, que mede a capacidade de seguir instruções, desceu 2,04 pontos.
Na avaliação «IndiVibe», da Sarvam AI, que mede a qualidade das conversas nas línguas da Índia, houve melhorias nos quatro critérios: utilidade, fluência, fidelidade à língua e à escrita, e adequação do comprimento das respostas.
Publicar os dados não basta: é preciso saber utilizá-los
O que chama a atenção nesta publicação é que abre não só os próprios dados, mas também o «modo de os criar». O plug-in de tradução «Nemotron Bharat», para o NeMo Data Designer, inclui instruções para tradução e avaliação, uma função de reformulação, segmentação de documentos em janelas e apoio à conversão de escrita. Assim, empresas e instituições de investigação com documentos próprios podem seguir o mesmo processo para criar dados de outros domínios.
As orientações de utilização são também concretas. Primeiro, testar com uma pequena quantidade de documentos próprios e verificar se o código, as fórmulas e a formatação são preservados. Depois, ampliar a escala apenas após uma revisão por falantes locais. Como o plug-in devolve sugestões e pontuações, cabe a cada equipa definir os critérios para selecionar os registos a incluir no treino. Para carregar os dados, é possível usar a funcionalidade de streaming do Hugging Face e consultar o conteúdo sem descarregar o conjunto completo.
Os dados de tradução não substituem os textos escritos localmente. São os textos redigidos de forma natural que transportam o conhecimento regional e o contexto cultural. Este corpus foi concebido para ser utilizado em combinação com esses textos.
A avaliação da qualidade é, em grande medida, automatizada, e a verificação humana incide sobretudo em amostras. No processo relativo a 12 línguas, o modelo usado para a tradução também faz a avaliação; por isso, no caso das 10 línguas, é necessária uma validação mais abrangente por falantes nativos. A deduplicação por ID de origem elimina duplicados resultantes do processamento, mas não organiza conteúdos semelhantes do ponto de vista semântico.
Com o apoio da NVIDIA, a AI4Bharat está também a preparar o conjunto de benchmarks de avaliação «Indic-LLM-Eval-Suite». Ou seja, o esforço para aumentar os dados avança em paralelo com o desenvolvimento de critérios para os avaliar. Será possível reforçar as bases de uma IA até agora centrada no inglês através de avaliações específicas para cada língua e da combinação com texto natural? Este corpus, destinado às 22 línguas da Índia, poderá ser um teste decisivo.
コメント