NVIDIA mengumumkan bahwa mereka akan segera merilis “Nemotron-pretraining-Indic-v1”, kumpulan data prapelatihan AI dengan sekitar 2,8 triliun token untuk 22 bahasa yang tercantum dalam Konstitusi India, hasil pengembangan bersama Institut Teknologi India Madras (IIT Madras) dan AI4Bharat di kampus tersebut. NVIDIA juga berencana merilis pipeline berbasis GPU yang digunakan untuk membuat data itu. Data sintetis yang dibuat dari materi berbahasa Inggris dirancang untuk digunakan bersama teks alami yang ditulis secara lokal.
Korpus raksasa untuk 22 bahasa India dalam 34 kombinasi
Cakupannya adalah 22 bahasa resmi yang tercantum dalam Konstitusi India. Di antaranya Hindi, Bengali, Tamil, Telugu, dan Urdu. Bahasa-bahasa ini merupakan bahasa pertama bagi sekitar 97% penduduk India. Berdasarkan sensus 2011, jumlahnya sekitar 1,2 miliar orang.
Data untuk AI dalam bahasa-bahasa India jauh lebih terbatas dibandingkan data berbahasa Inggris. Mitesh Khapra, pemimpin AI4Bharat, telah lama menyoroti masalah ini, dan data yang dirilis kali ini dipandang sebagai salah satu upaya untuk mengatasi kekurangan tersebut.
Mari kita lihat isinya. Data dalam aksara standar masing-masing tersedia untuk seluruh 22 bahasa. Untuk 12 di antaranya, tersedia pula bentuk transkripsi dalam aksara Latin, sehingga terdapat 34 kombinasi bahasa dan sistem tulisan. Jumlah tokennya sekitar 2,601 triliun untuk aksara standar dan 224,6 miliar untuk bentuk aksara Latin. Keduanya dihitung menggunakan tokenizer Gemma-4.
Perlu diperhatikan bahwa angka ini bukanlah “jumlah dokumen unik berbahasa Inggris”. Terjemahan yang dibuat dari sumber yang sama dan data dengan ejaan dalam sistem tulisan berbeda ikut dihitung. Bentuk aksara Latin bukan terjemahan ke bahasa Inggris, melainkan bahasa-bahasa India yang ditulis dengan huruf Latin. Data ini juga dapat digunakan untuk melatih model mempelajari isi yang sama dalam sistem tulisan berbeda.
Jika mengingat banyaknya orang yang mengetik dalam bahasa Hindi menggunakan huruf Latin di email dan media sosial, rancangan ini terasa praktis. Dalam bahasa Jepang, mungkin ini serupa dengan melatih model menggunakan teks dalam hiragana dan kanji sekaligus teks yang diketik dengan huruf Latin.
Proses pembuatan dalam empat tahap, bukan sekadar menerjemahkan
Materi sumber berasal dari 15 subset Nemotron-CC-v2, termasuk teks web, tanya jawab, matematika, dan kode. Materi ini diproses menggunakan NeMo Data Designer, alat pembuatan data sintetis sumber terbuka dari NVIDIA, yang menangani seluruh proses mulai dari penerjemahan dan penilaian kualitas hingga perbaikan.
Identitas dokumen sumber tetap disertakan dalam hasilnya, sehingga data dapat ditelusuri kembali ke dokumen asal. Kemudahan audit di kemudian hari merupakan salah satu keunggulan data terbuka.
Untuk 12 bahasa, prosesnya terdiri atas empat tahap: menerjemahkan dokumen berbahasa Inggris, menilai kualitasnya, memperbaiki hasil dengan nilai rendah, lalu mengubahnya ke aksara Latin. Penerjemahan menggunakan Gemma-4-31B-it, dengan menerjemahkan seluruh dokumen sekaligus. Tujuannya untuk mempertahankan konteks yang melintasi paragraf, tabel, dan rumus. Perlu dicatat pula bahwa prompt menginstruksikan model untuk mempertahankan kode, rumus, dan URL tanpa menerjemahkannya.
Model yang sama menilai hasil terjemahan dengan membandingkannya dengan teks sumber. Kriteria penilaian mencakup makna, kelancaran, istilah, gaya, dan format, dengan mengacu pada MQM, kerangka klasifikasi kesalahan terjemahan. Hasil dengan nilai minimal 75 dari 100 diterima. Hasil di bawah ambang itu diperbaiki berdasarkan umpan balik penilaian, lalu dinilai kembali. Proses perbaikan ini menyelamatkan 438,4 miliar token dalam aksara standar dan Latin, yang sudah termasuk dalam jumlah total.
Ada pula pendekatan khusus untuk membuat bentuk aksara Latin. Alih-alih langsung mengalihaksarakan teks dari bahasa Inggris ke huruf Latin, prosesnya dimulai dari terjemahan dalam aksara standar yang telah diterima, kemudian hasil alih aksaranya dicocokkan dengan terjemahan tersebut. Perbandingan awal oleh manusia menunjukkan bahwa metode dua tahap ini menghasilkan lebih sedikit informasi rekaan dan sisa teks berbahasa Inggris.
Sepuluh bahasa lainnya ditangani dengan model penerjemahan khusus
Sepuluh bahasa yang tidak memiliki bentuk aksara Latin adalah Assam, Bodo, Dogri, Kashmir, Konkani, Maithili, Manipuri, Sanskerta, Santali, dan Sindhi. Penerjemahan menggunakan Indic Translate, model penerjemahan dari Bodhan AI, organisasi nirlaba yang berasal dari IIT Madras.
Penilaian dilakukan oleh Gemma-4-31B-it, dengan ambang penerimaan yang sama, yaitu 75. Namun, hasilnya tidak ditulis ulang berdasarkan umpan balik; yang dibuat hanya data dalam aksara standar.
Penyesuaian juga dilakukan untuk masing-masing bahasa. Dokumen Santali yang panjang diterjemahkan dengan membaginya menjadi bagian-bagian yang saling tumpang tindih, lalu disusun kembali. Untuk bahasa Manipuri, teks terlebih dahulu diterjemahkan ke aksara Bengali, kemudian dialihkan ke aksara Meitei yang khas. Ini merupakan pendekatan yang mencerminkan keragaman besar sistem tulisan di India.
Sejauh mana peningkatan kinerja dapat disimpulkan?
Salah satu petunjuk tentang dampaknya terlihat dari prapelatihan lanjutan Nemotron 3.5 Super VL. Pada tahap ini, 10% dari anggaran pelatihan sebesar 100 miliar token—yakni 10 miliar token—dialokasikan untuk campuran sebagian data 12 bahasa dari korpus kali ini dan teks alami dalam bahasa-bahasa India. Sisa 90% tetap menggunakan proporsi campuran pelatihan sebelumnya.
Hasilnya, skor meningkat pada kelima metrik—MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, dan Indic GSM8K—dengan kenaikan antara 4,98 hingga 9,82 poin. Namun, perbandingan ini hanya menunjukkan checkpoint sebelum dan sesudah prapelatihan lanjutan. Angka tersebut tidak memisahkan kontribusi data sintetis saja. Yang dapat dipastikan adalah bahwa perpaduan data sintetis dan teks alami berhasil digunakan.
Jika dilihat pada model yang telah selesai, skornya meningkat pada lima dari enam evaluasi tugas yang mengukur pengetahuan, penalaran, matematika, kode, dan penerjemahan dibandingkan dengan Nemotron 3 Super generasi sebelumnya. Namun, IFEval 1.5, yang mengukur kemampuan mengikuti instruksi, turun 2,04 poin.
Dalam evaluasi Sarvam AI, “IndiVibe”, yang mengukur kualitas percakapan dalam bahasa-bahasa India, keempat aspek—kegunaan, kelancaran, kesetiaan terhadap bahasa dan aksara, serta kepantasan panjang jawaban—mengalami peningkatan.
Bukan sekadar merilis data, tetapi juga cara memanfaatkannya
Yang menonjol dari rilis ini bukan hanya datanya, melainkan juga dibukanya “cara membuatnya”. Plugin penerjemahan “Nemotron Bharat” untuk NeMo Data Designer mencakup prompt penerjemahan dan evaluasi, fitur penulisan ulang, pemotongan dokumen menjadi jendela, serta dukungan konversi aksara. Dengan demikian, perusahaan dan lembaga penelitian yang memiliki dokumen sendiri dapat mengikuti proses yang sama untuk membuat data di bidang lain.
Panduan penggunaannya pun konkret. Mulailah dengan mencoba sejumlah kecil dokumen internal dan periksa apakah kode, rumus, dan format tetap terjaga. Perluas skalanya setelah ditinjau oleh penutur bahasa setempat. Plugin ini memberikan kandidat dan skor, sehingga keputusan tentang catatan mana yang akan dimasukkan ke dalam pelatihan bergantung pada kebijakan seleksi masing-masing tim. Data dapat dimuat menggunakan fitur streaming Hugging Face, sehingga isinya bisa diperiksa tanpa mengunduh semuanya.
Data terjemahan tidak dapat menggantikan teks yang ditulis langsung dalam bahasa setempat. Pengetahuan daerah dan konteks budaya terkandung dalam teks yang ditulis secara alami. Korpus ini dirancang untuk digunakan bersama teks alami tersebut.
Evaluasi kualitas sebagian besar dilakukan secara otomatis, sedangkan pemeriksaan manusia terutama berfokus pada sampel. Dalam proses untuk 12 bahasa, model yang digunakan untuk menerjemahkan juga bertindak sebagai evaluator, sehingga untuk 10 bahasa lainnya diperlukan verifikasi yang lebih luas oleh penutur asli. Deduplicasi berdasarkan ID sumber menghapus duplikasi dalam pemrosesan, tetapi tidak mengelompokkan konten serupa berdasarkan maknanya.
Dengan dukungan NVIDIA, AI4Bharat juga tengah menyusun kumpulan tolok ukur evaluasi “Indic-LLM-Eval-Suite”. Upaya memperbanyak data berjalan beriringan dengan penyusunan alat ukur untuk menilainya. Mampukah fondasi AI yang selama ini berpusat pada bahasa Inggris diperkuat melalui evaluasi per bahasa dan perpaduan dengan teks alami? Korpus untuk 22 bahasa di India ini tampaknya akan menjadi ujian penting.
コメント