كشفت جوجل عن نموذجين جديدين هما تيتانز وميراس لإعادة تصور نمذجة السياقات الطويلة. يجمع تيتانز بين الذاكرة قصيرة المدى للانتباه وذاكرة عصبية عميقة طويلة المدى تتعلم أثناء الاختبار، بينما يقدم ميراس إطاراً موحداً للنماذج التسلسلية كذاكرة ترابطية.
تطرح جوجل ريسيرش رؤية جديدة لما بعد نماذج المحولات (Transformers) عبر مشروعي تيتانز (Titans) وميراس (MIRAS)، بهدف منح نماذج التسلسل ذاكرة طويلة المدى قابلة للاستخدام مع الحفاظ على التدريب المتوازي والاستدلال شبه الخطي. يأتي هذا الابتكار لمعالجة قيود النماذج الحالية، حيث تزداد تكلفة الانتباه القياسي تربيعياً مع طول السياق، بينما تفقد النماذج الخطية الكفؤة المعلومات في التسلسلات الطويلة جداً.
يقدم تيتانز بنية معمارية ملموسة تضيف ذاكرة عصبية عميقة إلى هيكل محولات. يعمل الانتباه كذاكرة قصيرة المدى دقيقة على النافذة الحالية، بينما توفر وحدة عصبية منفصلة ذاكرة طويلة المدى تتعلم أثناء وقت الاختبار. تستخدم تيتانز مقياس "المفاجأة" القائم على التدرج لتخزين الرموز غير المتوقعة وتجاهل المتوقع منها. من الناحية المعمارية، يستخدم تيتانز ثلاثة فروع للذاكرة: فرع أساسي للتعلم في السياق، وفرع ذاكرة سياقية تتعلم من التسلسل الحديث، وفرع ذاكرة دائمة بأوزان ثابتة تشفر معرفة ما قبل التدريب.
أما ميراس فهو إطار عمل عام ينظر إلى معظم نماذج التسلسل الحديثة كحالات من التحسين عبر الإنترنت لذاكرة ترابطية. يعرّف أي نموذج تسلسلي من خلال أربعة خيارات تصميم: هيكل الذاكرة، والتحيز الانتباهي، وبوابة الاحتفاظ، وخوارزمية الذاكرة. من خلال هذه العدسة، يستعيد ميراس عدة عائلات من النماذج ويسمح ببناء نماذج جديدة خالية من الانتباه مثل مونيتا ويااد وميمورا.
في النمذجة اللغوية ومهام التفكير المنطقي مثل C4 وWikiText وHellaSwag، تفوقت بنية تيتانز على أحدث النماذج الخطية المتكررة مثل Mamba-2 وGated DeltaNet ونماذج Transformer++ ذات الحجم المماثل. في مهمة استرجاع السياق الطويل المتطرف (BABILong)، حيث يتم توزيع الحقائق عبر مستندات طويلة جداً، تفوق تيتانز على جميع النماذج الأساسية، بما في ذلك النماذج الكبيرة جداً مثل GPT-4، مع استخدام عدد أقل من المعلمات، ووصل إلى نوافذ سياق تتجاوز 2,000,000 رمز. كما حافظ تيتانز على التدريب المتوازي الكفؤ والاستدلال الخطي السريع.
يمثل تيتانز وميراس نقلة نوعية في معالجة السياقات الطويلة، حيث يجمعان بين دقة الذاكرة قصيرة المدى وقدرة الذاكرة طويلة المدى في إطار موحد وكفؤ. تفتح هذه الابتكارات الباب أمام نماذج ذكاء اصطناعي أكثر قدرة على فهم التفاعلات المعقدة والطويلة في النصوص والجينوم وغيرها من البيانات التسلسلية، مع الحفاظ على الكفاءة الحسابية. يُظهر الأداء المتفوق في المهام المعيارية إمكانات هذين النموذجين ليكونا حجر الأساس للجيل القادم من نماذج اللغة الكبيرة.
المصدر: MarkTechPost AI | تغطية حصرية من AI Tools Oasis
نقدم لك أحدث الأخبار والتحليلات في عالم الذكاء الاصطناعي بدقة ومصداقية. تابعنا للحصول على كل جديد.
تواصل OpenAI العمل على تطبيقها الشامل الخارق الذي يهدف إلى دمج الذكاء الاصطناعي في منصة واحدة متعددة الوظائف. يأتي هذا التطور في إطار سعي الشركة لتوسيع نطاق خدماتها وتقديم تجربة مستخدم متكاملة. تعرف على التفاصيل الكاملة والتأثير المتوقع لهذه الخطوة.
أعلنت منصة نوتيون عن استعادة الوصول إلى خدمة أنثروبيك بعد انقطاع مؤقت أثر على المستخدمين. يأتي هذا الإجراء بعد ساعات من تعطل الخدمة، مما أثار تساؤلات حول استقرار التكامل بين أدوات الإنتاجية وخدمات الذكاء الاصطناعي. نستعرض تفاصيل الحادثة وتأثيرها على المستخدمين.
تتزايد المخاوف في عالم العملات الرقمية من ظاهرة تُعرف بـ Tokenpocalypse، حيث قد يؤدي تضخم عدد الرموز إلى انهيار السوق. تحليل TechCrunch يكشف عن علامات تحذيرية وتأثيرات محتملة على المستثمرين.
