أعلنت NVIDIA أنها ستنشر قريبًا مجموعة بيانات «Nemotron-pretraining-Indic-v1» المخصصة للتدريب المسبق للذكاء الاصطناعي، وتضم نحو 2.8 تريليون رمز لـ22 لغة ينص عليها دستور الهند، وقد طُوّرت بالتعاون مع المعهد الهندي للتكنولوجيا في مدراس (IIT Madras) ومؤسسة AI4Bharat التابعة له. وتخطط الشركة أيضًا لنشر خط المعالجة المدعوم بوحدات معالجة الرسومات (GPU) الذي استُخدم لإنشاء البيانات، على أن يجمع بين بيانات اصطناعية مستندة إلى مواد باللغة الإنجليزية ونصوص طبيعية مكتوبة محليًا.
مجموعة ضخمة تضم 22 لغة هندية وفق 34 تركيبة
تشمل المجموعة اللغات الرسمية الـ22 الواردة في دستور الهند، ومنها الهندية والبنغالية والتاميلية والتيلوغوية والأردية، وهي اللغات الأولى لنحو 97% من سكان الهند. وبحسب تعداد عام 2011، يبلغ عدد هؤلاء نحو 1.2 مليار شخص.
تعاني اللغات الهندية من نقص بيانات الذكاء الاصطناعي مقارنة بالإنجليزية. وقد دأب ميتش خابرا، رئيس AI4Bharat، على التنبيه إلى هذه المشكلة، وتُعد البيانات الجديدة خطوة لسد هذه الفجوة.
لنلقِ نظرة على محتواها. تتوفر بيانات لكل اللغات الـ22 مكتوبة بأبجدياتها القياسية. وتُضاف إلى 12 لغة منها تهجئات منقحرة بالحروف اللاتينية، أي بالأبجدية اللاتينية، ليصل عدد تركيبات اللغة ونظام الكتابة إلى 34. ويبلغ عدد الرموز نحو 2 تريليون و601 مليار في الأبجديات القياسية، ونحو 224 مليارًا و600 مليون في التهجئة اللاتينية؛ وقد حُسب العددان باستخدام مُجزّئ الرموز الخاص بـGemma-4.
ينبغي الانتباه إلى أن هذه الأرقام لا تمثل «عدد الوثائق الإنجليزية الفريدة». فهي تشمل ترجمات أُنشئت من المصدر نفسه، كما تحتسب البيانات المكتوبة بصيغ مختلفة من أنظمة الكتابة. والتهجئة اللاتينية ليست ترجمة إلى الإنجليزية، بل كتابة اللغات الهندية بحروف لاتينية. ويمكن استخدامها أيضًا لتدريب النماذج على المحتوى نفسه المكتوب بنظام كتابة مختلف.
إذا أخذنا في الحسبان أن كثيرين يكتبون الهندية بالحروف اللاتينية في البريد الإلكتروني ووسائل التواصل الاجتماعي، تبدو هذه المقاربة عملية. ولعلها تشبه في اليابانية تدريب النموذج على نصوص مكتوبة بالهيراغانا والكانجي، إلى جانب نصوص تُدخل بالحروف اللاتينية.
عملية إنشاء من أربع مراحل لا تقتصر على الترجمة
تأتي المواد من 15 مجموعة فرعية ضمن Nemotron-CC-v2، وتشمل نصوص الويب والأسئلة والأجوبة والرياضيات والبرمجة وغيرها. وتُعالج باستخدام أداة NVIDIA مفتوحة المصدر لإنشاء البيانات الاصطناعية «NeMo Data Designer»، لتنفيذ مراحل الترجمة وتقييم الجودة والتصحيح في مسار متكامل.
تحتفظ المخرجات بمعرّفات الوثائق الأصلية، ما يتيح تتبّع الوثيقة التي اشتُقت منها كل مجموعة بيانات. وتُعد سهولة التدقيق لاحقًا إحدى مزايا البيانات المفتوحة.
تمر عملية إعداد البيانات للغات الـ12 بأربع مراحل: ترجمة الوثائق الإنجليزية، وتقييم جودتها، وتصحيح المخرجات منخفضة التقييم، ثم تحويلها إلى الحروف اللاتينية. وتُستخدم Gemma-4-31B-it للترجمة، مع ترجمة الوثيقة كاملة دفعة واحدة بهدف الحفاظ على السياق الممتد عبر الفقرات والجداول والمعادلات. ومن التفاصيل المهمة أيضًا أن التعليمات الموجّهة إلى النموذج تطلب منه الإبقاء على الشيفرات والمعادلات وعناوين URL من دون ترجمتها.
يجري النموذج نفسه التقييم بمقارنة الترجمة بالنص الأصلي. ويستند التقييم إلى معايير تشمل المعنى والطلاقة والمصطلحات والأسلوب والتنسيق، مسترشدًا بإطار MQM لتصنيف أخطاء الترجمة. وتُعتمد النتائج التي تحصل على 75 نقطة أو أكثر من أصل 100، أما ما يقل عن ذلك فيُصحح باستخدام ملاحظات التقييم ثم يُقيّم مجددًا. وبفضل هذه العملية، أُنقذ 438 مليارًا و400 مليون رمز مكتوبة بالأبجديات القياسية واللاتينية، وهي مشمولة بالفعل في الإجمالي.
كما أُولي اهتمام لطريقة إعداد التهجئة اللاتينية. فبدلًا من تحويل النص الإنجليزي مباشرة إلى الحروف اللاتينية، تُحوّل الترجمة المعتمدة المكتوبة بالأبجدية القياسية، ثم تُقارن النتيجة بالترجمة الأصلية. وتشير مقارنات بشرية أولية إلى أن هذه الطريقة ذات المرحلتين قلّلت من إدخال معلومات مختلقة ومن بقاء كلمات إنجليزية في النص.
استكمال اللغات العشر المتبقية بنموذج ترجمة مخصص
اللغات العشر التي لا تتوفر لها تهجئة بالحروف اللاتينية هي الأسامية والبودو والدوجري والكشميرية والكونكانية والمايثيلية والمانيبورية والسنسكريتية والسانتالية والسندية. وتُستخدم للترجمة «Indic Translate»، وهو نموذج ترجمة طورته Bodhan AI، وهي منظمة غير ربحية انبثقت من IIT Madras.
يتولى Gemma-4-31B-it التقييم، مع اعتماد عتبة القبول نفسها، وهي 75 نقطة. لكن لا تُعاد صياغة النصوص بناءً على الملاحظات؛ إذ لا تُنشأ سوى بيانات مكتوبة بالأبجديات القياسية.
وتُجرى تعديلات خاصة بكل لغة. فالوثائق السانتالية الطويلة تُترجم بعد تقسيمها إلى نوافذ متداخلة، ثم يُعاد تجميعها لاحقًا. أما المانيبورية، فتُترجم أولًا إلى الأبجدية البنغالية، ثم تُحوّل إلى أبجدية الميتي الخاصة بها. وهي مقاربة تعكس خصوصية الهند، حيث تختلف ظروف أنظمة الكتابة اختلافًا كبيرًا من لغة إلى أخرى.
إلى أي مدى يمكن استنتاج تحسّن الأداء؟
ومن المؤشرات على الأثر مواصلة التدريب المسبق لنموذج Nemotron 3.5 Super VL. في هذه المرحلة، خُصص 10% من ميزانية التدريب البالغة 100 مليار رمز، أي 10 مليارات رمز، لمزيج من عينة من بيانات اللغات الـ12 في المجموعة الجديدة ونصوص طبيعية باللغات الهندية. أما الـ90% المتبقية، فحافظت على نسب مزيج التدريب المستخدم سابقًا.
ونتيجة لذلك، ارتفعت النتائج في المؤشرات الخمسة كلها: MILU وIndic MMLU-Pro وIndic ARC-Challenge وIndic ARC-Easy وIndic GSM8K، بزيادة تراوحت بين 4.98 و9.82 نقاط. لكن هذه المقارنة تعرض نقاط التحقق قبل مواصلة التدريب المسبق وبعدها، ولا تفصل مقدار الإسهام الذي يعود إلى البيانات الاصطناعية وحدها. وما يمكن تأكيده هو نجاح المزج بين البيانات الاصطناعية والنصوص الطبيعية.
وعند النظر إلى النموذج المكتمل ككل، ارتفعت درجاته في 5 من أصل 6 تقييمات للمهام التي تقيس المعرفة والاستدلال والرياضيات والبرمجة والترجمة، مقارنة بالجيل السابق Nemotron 3 Super. في المقابل، انخفضت نتيجة IFEval 1.5، الذي يقيس اتباع التعليمات، بمقدار 2.04 نقطة.
وفي تقييم «IndiVibe» الذي أجرته Sarvam AI لقياس جودة المحادثة باللغات الهندية، تحسنت النتائج في المجالات الأربعة كلها: الفائدة والطلاقة والالتزام باللغة والخط ومدى ملاءمة طول الإجابة.
ما وراء نشر البيانات: كيفية استخدامها بفاعلية
ما يلفت الانتباه في هذا الإصدار ليس البيانات نفسها فحسب، بل إتاحة «طريقة إعدادها» أيضًا. ويضم ملحق الترجمة «Nemotron Bharat» المخصص لـNeMo Data Designer مطالبات للترجمة والتقييم، ووظيفة لإعادة الصياغة، وتقسيمًا للوثائق إلى نوافذ، وأدوات مساعدة لتحويل الخط. وهذا يتيح للشركات والمؤسسات البحثية التي تملك وثائقها الخاصة إنشاء بيانات لمجالات أخرى باتباع الخطوات نفسها.
كما أن إرشادات الاستخدام محددة. ابدأوا بتجربة عينة صغيرة من وثائق المؤسسة، وتحققوا من الحفاظ على الشيفرة والمعادلات والتنسيق. ثم وسّعوا نطاق العمل بعد مراجعة متحدثين باللغة المحلية. ويقدّم الملحق مقترحات ودرجات، لذا تحدد سياسة كل فريق في الانتقاء السجلات التي ستُستخدم في التدريب. ويمكن استخدام خاصية البث في Hugging Face لقراءة البيانات والتحقق من محتواها من دون تنزيلها كاملة.
لا يمكن لبيانات الترجمة أن تحل محل النصوص المكتوبة محليًا. فالنصوص المكتوبة بصورة طبيعية هي التي تحمل المعارف المحلية والسياقات الثقافية. وقد صُممت هذه المجموعة لاستخدامها إلى جانب تلك النصوص الطبيعية.
تُجرى تقييمات الجودة آليًا في معظمها، بينما تتركز المراجعة البشرية على العينات. وفي مسار اللغات الـ12، يتولى النموذج المستخدم في الترجمة أيضًا مهمة التقييم؛ لذلك يتطلب مسار اللغات الـ10 تحققًا أوسع على يد متحدثين أصليين. أما إزالة التكرار باستخدام معرّفات المصادر، فتعالج التكرار على مستوى المعالجة، ولا تنظّم المحتوى المتشابه من حيث المعنى.
وتعمل AI4Bharat، بدعم من NVIDIA، على إعداد مجموعة المعايير التقييمية «Indic-LLM-Eval-Suite». وهكذا يتقدم بالتوازي مسار توسيع البيانات ومسار وضع المقاييس اللازمة لتقييمها. فهل يمكن تعزيز الأساس الذي هيمنت عليه الإنجليزية للذكاء الاصطناعي من خلال تقييمات خاصة بكل لغة ومزج البيانات بالنصوص الطبيعية؟ قد تصبح هذه المجموعة الموجهة إلى لغات الهند الـ22 اختبارًا حاسمًا لذلك.
コメント