إنفيديا تطلق Nemotron-pretraining-Indic-v1 بـ 2.8 تريليون توكن لـ 22 لغة هندية
بقلم علي المنتصر — محلل ومحرر تقني أول
أعلنت NVIDIA بالتعاون مع AI4Bharat في IIT مدراس عن إطلاق Nemotron-pretraining-Indic-v1، وهو أكبر مجموعة بيانات تدريب مسبق للغات الهندية بحجم 2.8 تريليون توكن تغطي 22 لغة و34 تكويناً نصياً. يتضمن الإصدار خط أنابيب توليد بيانات مفتوحاً ومعجّلاً بوحدات GPU للترجمة وتقييم الجودة والإصلاح، مع 2,601.0 مليار توكن بالنص الأصلي و224.6 مليار توكن بالكتابة اللاتينية. حقق التدريب المسبق المستمر تحسناً يتراوح بين 4.98 و9.82 نقطة مئوية في خمسة اختبارات معرفة واستدلال هندية.
الموجز الإحصائي السريع
أعلنت NVIDIA بالتعاون مع AI4Bharat في IIT مدراس عن Nemotron-pretraining-Indic-v1، أكبر مجموعة بيانات تدريب مسبق للغات الهندية بحجم 2.8 تريليون توكن تغطي 22 لغة هندية و34 تكويناً نصياً، مع خط أنابيب توليد بيانات مفتوح ومعجّل بوحدات GPU. الإصدار قيد النشر على Hugging Face ويستهدف 97% من سكان الهند (نحو 1.2 مليار مواطن وفق تعداد 2011).
📊 بطاقة البيانات والمواصفات التقنية الرسمية
| المحور التقني | البيانات الرسمية المؤكدة |
|---|---|
| 💰 الأسعار وتكلفة الاستخدام | مجموعة بيانات مفتوحة المصدر (Open Source) على Hugging Face — مجانية للاستخدام والتحميل. خط الأنابيب NeMo Data Designer مفتوح المصدر أيضاً. |
| 🌐 المنصات والتوفر الفوري | Hugging Face Datasets (يدعم البث المباشر Streaming). الإصدار قيد النشر (releasing soon) مع خط الأنابيب المفتوح. |
| ⚡ الأداء ومؤشرات السرعة | تحسن 4.98 إلى 9.82 نقطة مئوية في 5 اختبارات Indic. استعادة 438.4 مليار توكن عبر الإصلاح. عتبة قبول الجودة 75/100 وفق MQM. |
| 🛡️ الأمان ومقاومة الاختراق | تتبع كامل للمصدر (Provenance) لكل سجل، وربط كل مخرج بمستنده الأصلي. مراجعات بشرية بعينات واختبارات بأخطاء مُدخلة عمداً للكشف عن الحذف واللغة الإنجليزية المتبقية. |
| 🧠 سياق الذاكرة (Context Window) | ترجمة على مستوى المستند الكامل (Document-level) للحفاظ على السياق عبر الفقرات والجداول والمعادلات. معالجة نوافذ متداخلة للمستندات الطويلة في السانتالية. |
| 🌍 دعم اللغة العربية والمنطقة | لا يدعم اللغة العربية — مخصص حصرياً للغات الهندية الـ22. لا تتوفر خدمة مباشرة في الدول العربية، لكن البيانات متاحة عالمياً عبر Hugging Face. |
تفاصيل الإعلان والميزات التقنية الجديدة
تتوزع المجموعة بين 2,601.0 مليار توكن بالنص الأصلي (Native-script) و224.6 مليار توكن بالكتابة اللاتينية (Romanized)، وفق عدّاد Gemma-4 tokenizer. تغطي المجموعة 34 تكويناً لغوياً-نصياً، مع 12 لغة ثنائية النص (Native + Romanized) و10 لغات بنص أصلي فقط. المصدر الأساسي للبيانات هو 15 مجموعة فرعية من Nemotron-CC-v2 تشمل نصوص الويب والأسئلة والأجوبة والرياضيات والبرمجة.
يعتمد خط الأنابيب على أربع مراحل: الترجمة الكاملة للمستندات، تقييم الجودة وفق إطار MQM (معيار مفتوح لتصنيف أخطاء الترجمة)، إصلاح المخرجات منخفضة التقييم، ثم تحويل مجموعة فرعية إلى النص اللاتيني. استُخدم Gemma-4-31B-it للترجمة والتقييم، بينما استُخدم Indic Translate من Bodhan AI (مركز غير ربحي مُحتضن في IIT مدراس) للغات العشر الأخرى. تمت استعادة 438.4 مليار توكن عبر عمليات الإصلاح، وهي مُدرجة بالفعل في إجمالي المجموعة.
المقارنة المعيارية والأداء التنافسي
أضاف التدريب المسبق المستمر (CPT) لـ Nemotron 3.5 Super VL نحو 10 مليارات توكن هندي من أصل ميزانية 100 مليار توكن (10%)، مع الحفاظ على 90% من مزيج التدريب السابق. سجّل النموذج تحسناً في جميع اختبارات المعرفة والاستدلال الهندية الخمسة المُبلَّغ عنها: MILU، Indic MMLU-Pro، Indic ARC-Challenge، Indic ARC-Easy، وIndic GSM8K، بتحسن يتراوح بين 4.98 و9.82 نقطة مئوية. كما تفوق على Nemotron 3 Super في خمسة من ستة اختبارات مهام تشمل المعرفة والاستدلال والرياضيات والبرمجة والترجمة، مع تراجع طفيف في IFEval 1.5 بمقدار 2.04 نقطة. تحسّن النموذج في جميع أبعاد IndiVibe الأربعة: الفائدة، الطلاقة، دقة اللغة والنص، والإسهاب المناسب.
ماذا يعني هذا للمطور والمستخدم العربي؟ (The Localization Edge)
رغم أن Nemotron-pretraining-Indic-v1 مخصص حصرياً للغات الهندية الـ22 ولا يدعم العربية، فإن منهجيته تحمل دروساً مباشرة للمطور العربي. خط الأنابيب المفتوح (NeMo Data Designer + Gemma-4-31B-it) قابل للتكيف مع أي لغة، مما يفتح الباب أمام فرق التطوير العربية لبناء مجموعات بيانات مماثلة للعربية ولهجاتها. نموذج التسعير هنا هو المجانية الكاملة عبر Hugging Face، وهو ما يخفض تكلفة التطوير للمشاريع الناشئة في العالم العربي إلى الصفر تقريباً. عتبة الجودة 75/100 وفق MQM وتتبع المصدر الكامل يمثلان معياراً يمكن نسخه لضمان جودة البيانات العربية الاصطناعية. كما أن استراتيجية التدريب المسبق المستمر بـ 10% فقط من ميزانية التوكنز (10 مليارات من 100 مليار) تقدم نموذجاً فعالاً من حيث التكلفة لتحسين النماذج متعددة اللغات.
الخلاصة والتطلعات القادمة
يمثل Nemotron-pretraining-Indic-v1 خطوة مرجعية في بناء بيانات التدريب المسبق للغات منخفضة الموارد، حيث يجمع بين الحجم الضخم (2.8 تريليون توكن) والشفافية الكاملة (خط أنابيب مفتوح + تتبع مصدر). تخطط NVIDIA لبناء نماذج Nemotron المستقبلية على هذه المجموعة، بينما يبقى تقييم المجموعة الكاملة — بما يشمل عمليات الإصلاح المستعادة واللغات العشر الأخرى — خطوة تالية في الدراسات المضبوطة.
المصدر الإعلامي: Hugging Face | البيان الرسمي للشركة: المصدر الأصلي | تدقيق وتحليل البيانات: AI Tools Oasis
أسئلة شائعة
فريق AI Tools Oasis
نقدم لك أحدث الأخبار والتحليلات في عالم الذكاء الاصطناعي بدقة ومصداقية. تابعنا للحصول على كل جديد.
