NVIDIA ने घोषणा की है कि भारतीय प्रौद्योगिकी संस्थान मद्रास (IIT मद्रास) और उसके AI4Bharat के साथ मिलकर विकसित किया गया AI प्रीट्रेनिंग डेटा «Nemotron-pretraining-Indic-v1» जल्द जारी किया जाएगा। इसमें भारत के संविधान में निर्धारित 22 भाषाओं के लिए लगभग 2.8 ट्रिलियन टोकन शामिल हैं। कंपनी डेटा तैयार करने में इस्तेमाल की गई GPU-सक्षम पाइपलाइन भी जारी करने की योजना बना रही है। इसमें अंग्रेज़ी सामग्री के आधार पर तैयार सिंथेटिक डेटा को स्थानीय स्तर पर लिखे गए स्वाभाविक पाठ के साथ मिलाकर इस्तेमाल करने की परिकल्पना है।
भारत की 22 भाषाओं का विशाल कॉर्पस, 34 अलग-अलग संयोजनों में
इसमें भारत के संविधान में दर्ज 22 आधिकारिक भाषाएँ शामिल हैं। इनमें हिंदी, बंगाली, तमिल, तेलुगु और उर्दू जैसी भाषाएँ हैं। ये भारत की लगभग 97% आबादी की मातृभाषाएँ हैं। 2011 की जनगणना के आधार पर यह संख्या लगभग 1.2 अरब लोगों की है।
अंग्रेज़ी की तुलना में भारतीय भाषाओं के लिए AI प्रशिक्षण डेटा कम है। AI4Bharat के प्रमुख Mitesh Khapra लंबे समय से इस समस्या की ओर ध्यान दिलाते रहे हैं। इस कमी को दूर करने की दिशा में मौजूदा डेटा को एक कदम माना जा रहा है।
आइए, इसकी सामग्री पर नज़र डालें। सभी 22 भाषाओं के लिए प्रत्येक भाषा की मानक लिपि में डेटा मौजूद है। इनमें से 12 भाषाओं के लिए लैटिन लिपि—यानी वर्णमाला—में लिखे गए रूप भी शामिल हैं। इस तरह भाषा और लिपि के कुल 34 संयोजन बनते हैं। मानक लिपि में लगभग 2.601 ट्रिलियन टोकन और लैटिन लिपि में लगभग 224.6 अरब टोकन हैं। दोनों की गिनती Gemma-4 के टोकनाइज़र से की गई है।
ध्यान देने की बात है कि ये आँकड़े «विशिष्ट अंग्रेज़ी दस्तावेज़ों की संख्या» नहीं हैं। एक ही स्रोत से तैयार किए गए अनुवादों और अलग-अलग लिपियों में लिखे डेटा को भी अलग-अलग गिना गया है। लैटिन लिपि वाला रूप अंग्रेज़ी में अनुवाद नहीं है, बल्कि भारतीय भाषा को रोमन अक्षरों में लिखने का तरीका है। इससे एक ही सामग्री को अलग लिपि में भी मॉडल को सिखाया जा सकता है।
ईमेल और सोशल मीडिया पर हिंदी को रोमन अक्षरों में टाइप करने वाले लोगों की संख्या को देखते हुए यह तरीका व्यावहारिक है। जापानी के उदाहरण में, इसे हिरागाना-कांजी में लिखे पाठ और रोमन अक्षरों में टाइप किए गए पाठ—दोनों से मॉडल को प्रशिक्षित करने जैसा समझा जा सकता है।
अनुवाद पर ही खत्म नहीं होती, चार चरणों वाली डेटा निर्माण प्रक्रिया
इसके स्रोत Nemotron-CC-v2 के 15 उपसमुच्चय हैं। इनमें वेब पाठ, प्रश्नोत्तर, गणित और कोड शामिल हैं। इन्हें NVIDIA के ओपन-सोर्स सिंथेटिक डेटा जनरेशन टूल «NeMo Data Designer» से संसाधित किया जाता है, जिससे अनुवाद, गुणवत्ता मूल्यांकन और सुधार की पूरी प्रक्रिया एक साथ पूरी होती है।
आउटपुट में मूल दस्तावेज़ का पहचानकर्ता बरकरार रहता है, इसलिए यह पता लगाया जा सकता है कि डेटा किस दस्तावेज़ से तैयार हुआ। बाद में ऑडिट करना आसान होना खुले डेटा की खूबियों में से एक है।
12 भाषाओं के लिए प्रक्रिया के चार चरण हैं: अंग्रेज़ी दस्तावेज़ों का अनुवाद, गुणवत्ता मूल्यांकन, कम रेटिंग वाले आउटपुट में सुधार और लैटिन लिपि में रूपांतरण। अनुवाद के लिए Gemma-4-31B-it का उपयोग किया जाता है और पूरे दस्तावेज़ का एक साथ अनुवाद होता है। इसका उद्देश्य पैराग्राफ़, तालिकाओं और सूत्रों के बीच का संदर्भ बनाए रखना है। यह बात भी उल्लेखनीय है कि प्रॉम्प्ट में कोड, सूत्रों और URL का अनुवाद न करके उन्हें जस का तस रखने का निर्देश दिया गया है।
मूल पाठ से मिलान करके मूल्यांकन भी यही मॉडल करता है। इसके मानदंड अर्थ, प्रवाह, शब्दावली, शैली और फ़ॉर्मैट देखते हैं और अनुवाद त्रुटियों के वर्गीकरण ढाँचे MQM को संदर्भ के रूप में लेते हैं। 100 में से 75 या उससे अधिक अंक पाने वाले आउटपुट स्वीकार किए जाते हैं। इससे कम अंक वाले आउटपुट को मूल्यांकन से मिली प्रतिक्रिया के आधार पर सुधारा जाता है और फिर दोबारा अंक दिए जाते हैं। इस सुधार प्रक्रिया से मानक और लैटिन लिपि के कुल 438.4 अरब टोकन बचाए गए, जो पहले से ही कुल मात्रा में शामिल हैं।
लैटिन लिपि वाला रूप बनाने के तरीके में भी एक खास प्रक्रिया अपनाई गई है। अंग्रेज़ी से सीधे रोमन लिपि में बदलने के बजाय, पहले से स्वीकृत मानक लिपि के अनुवाद को आधार बनाकर रूपांतरण किया जाता है और फिर नतीजे का मूल अनुवाद से मिलान होता है। शुरुआती मानवीय तुलना के अनुसार, इस दो-चरणीय तरीके में गढ़ी हुई जानकारी और अंग्रेज़ी के अंश कम रह गए।
बाकी 10 भाषाओं के लिए विशेष अनुवाद मॉडल का इस्तेमाल
जिन 10 भाषाओं का लैटिन लिपि वाला रूप उपलब्ध नहीं है, वे हैं: असमिया, बोडो, डोगरी, कश्मीरी, कोंकणी, मैथिली, मणिपुरी, संस्कृत, संताली और सिंधी। अनुवाद के लिए IIT मद्रास से निकले गैर-लाभकारी संगठन Bodhan AI का अनुवाद मॉडल «Indic Translate» इस्तेमाल किया जाता है।
मूल्यांकन Gemma-4-31B-it करता है और स्वीकृति की सीमा वही 75 अंक है। हालांकि, प्रतिक्रिया के आधार पर दोबारा लिखने की प्रक्रिया नहीं होती और केवल मानक लिपि वाला डेटा तैयार किया जाता है।
हर भाषा के लिए अलग समायोजन भी किए गए हैं। संताली के लंबे दस्तावेज़ों को ओवरलैप करने वाली खिड़कियों में बाँटकर अनुवाद किया जाता है और फिर उन्हें दोबारा जोड़ा जाता है। मणिपुरी का पहले बंगाली लिपि में अनुवाद किया जाता है, फिर उसे इसकी विशिष्ट मैतेई लिपि में बदला जाता है। इसे भारत की एक खास जरूरत के अनुरूप किया गया प्रयास कहा जा सकता है, जहाँ अलग-अलग भाषाओं की लिपियाँ बहुत भिन्न हैं।
प्रदर्शन में सुधार का कितना आकलन किया जा सकता है?
इसके प्रभाव का संकेत Nemotron 3.5 Super VL की निरंतर प्रीट्रेनिंग से मिलता है। इस चरण में 100 अरब टोकन के प्रशिक्षण बजट में से 10% यानी 10 अरब टोकन इस कॉर्पस की 12 भाषाओं के कुछ हिस्सों और स्वाभाविक भारतीय भाषा के पाठ के मिश्रण के लिए इस्तेमाल किए गए। बाकी 90% में प्रशिक्षण के पहले के मिश्रण का अनुपात बरकरार रखा गया।
नतीजतन, MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy और Indic GSM8K—सभी पाँचों मेट्रिक्स के स्कोर बढ़े; वृद्धि 4.98 से 9.82 अंक तक रही। हालांकि, यह तुलना निरंतर प्रीट्रेनिंग से पहले और बाद के चेकपॉइंट्स के बीच है। इसमें केवल सिंथेटिक डेटा के योगदान को अलग करके नहीं दिखाया गया है। पक्की बात यह है कि सिंथेटिक डेटा और प्राकृतिक पाठ को मिलाकर तैयार किया गया मिश्रण कारगर रहा।
पूरे तैयार मॉडल को देखने पर, पुरानी पीढ़ी के Nemotron 3 Super की तुलना में ज्ञान, तर्क, गणित, कोड और अनुवाद मापने वाले छह टास्क मूल्यांकनों में से पाँच के स्कोर बेहतर हुए। वहीं, निर्देशों का पालन मापने वाले IFEval 1.5 का स्कोर 2.04 अंक घटा।
भारतीय भाषाओं में संवाद की गुणवत्ता मापने वाले Sarvam AI के मूल्यांकन “IndiVibe” में उपयोगिता, प्रवाह, भाषा और लिपि के प्रति निष्ठा तथा उत्तर की उचित लंबाई—चारों पहलुओं में सुधार हुआ।
डेटा जारी करने से आगे: उसका बेहतर इस्तेमाल
इस बार की घोषणा में डेटा से भी अधिक ध्यान खींचने वाली बात यह है कि उसे “बनाने का तरीका” भी साझा किया गया है। NeMo Data Designer के लिए अनुवाद प्लगइन “Nemotron Bharat” में अनुवाद और मूल्यांकन के प्रॉम्प्ट, पुनर्लेखन की सुविधा, दस्तावेज़ों को विंडो में विभाजित करने और लिप्यंतरण में सहायता करने वाले टूल शामिल हैं। अपने दस्तावेज़ रखने वाली कंपनियाँ और शोध संस्थान इसी प्रक्रिया से दूसरे क्षेत्रों का डेटा तैयार कर सकते हैं।
इसके इस्तेमाल के लिए दिशा-निर्देश भी ठोस हैं। पहले अपने संगठन के थोड़े-से दस्तावेज़ों पर इसे आज़माएँ और जाँचें कि कोड, गणितीय सूत्र और फ़ॉर्मैट सुरक्षित हैं या नहीं। स्थानीय भाषा के वक्ताओं से समीक्षा कराने के बाद ही इसका दायरा बढ़ाएँ। प्लगइन संभावित विकल्प और स्कोर देता है, इसलिए प्रशिक्षण में कौन-सा रिकॉर्ड शामिल करना है, यह हर टीम की चयन नीति पर निर्भर करता है। डेटा लोड करने के लिए Hugging Face की स्ट्रीमिंग सुविधा का इस्तेमाल किया जा सकता है, जिससे पूरा डेटा डाउनलोड किए बिना उसकी सामग्री देखी जा सकती है।
अनुवादित डेटा, स्थानीय स्तर पर लिखे गए पाठ की जगह नहीं ले सकता। क्षेत्रीय ज्ञान और सांस्कृतिक संदर्भ स्वाभाविक रूप से लिखे गए पाठ में निहित होते हैं। इस कॉर्पस को ऐसे प्राकृतिक पाठ के साथ मिलाकर इस्तेमाल करने के लिए ही तैयार किया गया है।
गुणवत्ता का मूल्यांकन मुख्य रूप से स्वचालित है और मानवीय जाँच अधिकतर नमूनों तक सीमित है। 12 भाषाओं वाली प्रक्रिया में अनुवाद के लिए इस्तेमाल किया गया मॉडल ही मूल्यांकन भी करता है, इसलिए 10 भाषाओं वाले हिस्से में मातृभाषियों से अधिक व्यापक सत्यापन की आवश्यकता है। स्रोत आईडी के आधार पर डुप्लिकेट हटाने से प्रक्रिया संबंधी दोहराव दूर होते हैं, लेकिन समान सामग्री को अर्थ के आधार पर व्यवस्थित नहीं किया जाता।
NVIDIA के सहयोग से AI4Bharat मूल्यांकन बेंचमार्कों का एक संग्रह “Indic-LLM-Eval-Suite” भी तैयार कर रहा है। डेटा बढ़ाने का काम और उसे मापने के पैमाने विकसित करने का काम साथ-साथ चल रहा है। क्या भाषा-विशिष्ट मूल्यांकन और प्राकृतिक पाठ के साथ मिश्रण के ज़रिए AI की अंग्रेज़ी-केंद्रित बुनियाद को मजबूत किया जा सकता है? भारत की 22 भाषाओं के लिए यह कॉर्पस इस दिशा में एक कसौटी साबित हो सकता है।
コメント