NVIDIA va publier, avec l’IIT Madras et AI4Bharat, des données d’entraînement couvrant 22 langues indiennes et près de 2 800 milliards de tokens
NVIDIA a annoncé la publication prochaine, en partenariat avec l’IIT Madras et AI4Bharat, d’environ 2,8 billions de tokens de données d’entraînement couvrant 22 langues de l’Inde, ainsi que du pipeline de génération correspondant. La démarche se distingue non seulement par le volume de données, mais aussi par l’ouverture des étapes allant de la traduction à l’évaluation de la qualité et à la correction.
