HOPE من أمازون يقلّص خبراء MoE بنسبة 50% ويتفوق بـ6.1% على SWE-Bench
بقلم علي المنتصر — محلل ومحرر تقني أول
أعلنت أمازون عبر Hugging Face عن طريقة HOPE من الدرجة الثانية لتقليم خبراء نماذج Mixture-of-Experts، تعتمد على مصفوفة تفاعلات ثنائية بدل التقييم المستقل. عند تقليم 50% حققت HOPE أفضل متوسط ترتيب 1.58 مقابل 2.42 لـREAP، وسجلت 42.3 على SWE-Bench Pro مقابل 41.8 للنموذج غير المقلّم. يهم هذا السوق لأنه يخفض ذاكرة الاستدلال دون إعادة تدريب ويتوافق مع التكميم، مع تكلفة إضافية 1-2 ثانية لكل طبقة.
HOPE من أمازون: تقليم خبراء MoE من الدرجة الثانية بأرقام قياسية
أعلنت أمازون عبر مدونة Hugging Face الرسمية عن طريقة HOPE (Higher-Order Pruning of Experts) لتقليم خبراء نماذج Mixture-of-Experts، وهي طريقة من الدرجة الثانية تحسب تفاعلات الخبراء الثنائية عبر مصفوفة F. الطريقة متاحة فوراً عبر الورقة البحثية والمدونة الرسمية، وتُطبَّق على أي نموذج MoE دون إعادة تدريب، وتتوافق مع التكميم.
📊 بطاقة البيانات والمواصفات التقنية الرسمية
| المحور التقني | البيانات الرسمية المؤكدة |
|---|---|
| 💰 الأسعار وتكلفة الاستخدام | لا يوجد تسعير تجاري للتوكنز؛ الطريقة منشورة مجاناً عبر ورقة أمازون على Hugging Face. التكلفة الحاسوبية: تمريرة معايرة واحدة + حل QP في 1-2 ثانية لكل طبقة. |
| 🌐 المنصات والتوفر الفوري | متاحة فوراً عبر مدونة Hugging Face الرسمية (huggingface.co/blog/amazon/higher-order-pruning-experts) والورقة البحثية المرفقة. قابلة للتطبيق على نماذج Qwen3.5-122B وQwen3.5-35B وGLM-4.5-Air. |
| ⚡ الأداء ومؤشرات السرعة | متوسط ترتيب 2.07 من 5 طرق عبر كل الظروف؛ 1.58 عند تقليم 50% مقابل 2.42 لـREAP. تصدّر المركز الأول في 39% من الظروف والثاني في 67%. تحسّن يصل إلى +6.1% على مهام البرمجة الوكيلية. 42.3 على SWE-Bench Pro مقابل 41.8 للنموذج غير المقلّم. |
| 🛡️ الأمان ومقاومة الاختراق | لم يذكر المصدر معايير أمان أو مقاومة Prompt Injection؛ الطريقة تقنية ضغط نماذج ولا تغيّر طبقة الأمان التشغيلية. |
| 🧠 سياق الذاكرة (Context Window) | Qwen3.5-122B: 256 خبيراً في كل طبقة من 48 طبقة MoE، و95% من بصمة الذاكرة ~250 GB مخصصة لخبراء MLP، مع تفعيل 8 خبراء فقط لكل رمز. التقليم بنسبة 50% يحرر ذاكرة كافية لسياقات أطول واستدلال أعمق. |
| 🌍 دعم اللغة العربية والمنطقة | لا يوجد تقييم عربي مخصص في المصدر؛ الطريقة محايدة لغوياً وتعمل على أي نموذج MoE. جودة العربية تعتمد على النموذج الأساسي (Qwen3.5 أو GLM-4.5-Air) وعلى مجموعة المعايرة المستخدمة. |
تفاصيل الإعلان والميزات التقنية الجديدة
تعتمد HOPE على ملاحظة جوهرية: خبراء MoE لا يعملون باستقلالية، بل يشكلون مجموعات تعاونية مستقرة تُفعَّل معاً بشكل متكرر. الطرق من الدرجة الأولى مثل REAP وMAN وEAN وFrequency تمنح كل خبير درجة أهمية عددية مستقلة وتقطع الأقل أهمية، متجاهلةً أن حذف خبير A قد يفكك مجموعة تعاونية يعتمد عليها خبير B عالي الأهمية. تعالج HOPE ذلك بتعريف مصفوفة F بحجم E×E حيث يقيس العنصر القطري F(k,k) أهمية الخبير الفردية، بينما تقيس العناصر خارج القطرية F(i,j) المساهمة التعاونية الثنائية بين الخبراء i وj عبر الرموز التي يُفعَّلان فيها معاً.
تُصاغ المشكلة كبرنامج تربيعي: P* = argmin p⊤Fp بشرط p ∈ {0,1}^E ومجموع p = |P|، ويُحل عبر استرخاء مستمر ثم تقريب ثنائي. تكلفة الحل 1-2 ثانية لكل طبقة، وهي مهملة أمام زمن المعايرة. أثبت الفريق أن قطر F يستعيد ترتيب REAP بدقة شبه تامة (Spearman ρ = 0.988)، ما يعني أن أي تحسّن تحققه HOPE يُعزى حصراً إلى الحدود الثنائية خارج القطرية. أظهر تصوير مصفوفة F لنموذج GLM-4.5-Air (128 خبيراً لكل طبقة، 106B معامل) بنية كتلية واضحة عبر الطبقات المبكرة والمتوسطة والمتأخرة.
المقارنة المعيارية والأداء التنافسي
قُيّمت HOPE على 3 نماذج (Qwen3.5-122B وQwen3.5-35B وGLM-4.5-Air) بمجموعتي معايرة (Evol-CodeAlpaca وSWE-Bench Verified trajectories)، واختبار Tulu3 وSWE-Bench Pro، مقابل 4 خطوط أساس من الدرجة الأولى بمعدلات تقليم من 10% إلى 50%. حققت HOPE أفضل متوسط ترتيب 2.07 من 5 طرق، مع 39% تصدر و67% مركز ثانٍ. عند 50% تقليم تحسّن متوسط ترتيبها إلى 1.58 مقابل 2.42 لـREAP. على Qwen3.5-35B-A3B عند 50% تقليم سجلت HOPE 42.3 على SWE-Bench Pro مطابقةً النموذج غير المقلّم (41.8)، بينما هبط REAP إلى 36.2 بتراجع 13%. يتسع فارق HOPE مع ارتفاع معدلات التقليم لأن الحدود الثنائية تصبح أكثر أهمية عند كسر روابط تعاونية أكثر.
ماذا يعني هذا للمطور والمستخدم العربي؟ (The Localization Edge)
يوفّر HOPE للمطور العربي مساراً عملياً لتشغيل نماذج MoE الضخمة على بنية تحتية محدودة، إذ يحرر 50% من ذاكرة الخبراء التي تشكل 95% من بصمة Qwen3.5-122B البالغة ~250 GB. هذا يخفض تكلفة الاستضافة السحابية ويسمح بسياقات أطول للمحادثة العربية والاستدلال متعدد الخطوات. كفاءة التوكنز العربية تعتمد على النموذج الأساسي لا على التقليم، لكن الحفاظ على الخبراء المتعاونين يقلل تدهور الأداء في المهام المركبة مثل تحليل النصوص العربية الطويلة. للمشاريع الناشئة في المنطقة، يعني ذلك إمكانية تقديم خدمات برمجية وكيلية بنموذج مقلّم بنصف الذاكرة دون تراجع قياسي على SWE-Bench Pro. التكلفة الإضافية 1-2 ثانية لكل طبقة تجعل التطبيق ممكناً حتى على موارد الحوسبة المحدودة.
الخلاصة والتطلعات القادمة
تمثل HOPE تحولاً منهجياً في تقليم MoE من تقييم فردي إلى تحسين تعاوني، مع أرقام موثقة: ترتيب 1.58 عند 50% تقليم، و+6.1% على المهام البرمجية الوكيلية، وتكلفة مهملة. الخطوة التالية المنطقية هي دمج HOPE مع التكميم وتوسيع التقييم ليشمل لغات غير الإنجليزية، وهو ما لم يغطّه المصدر بعد.
المصدر الإعلامي: Hugging Face | البيان الرسمي للشركة: المصدر الأصلي | تدقيق وتحليل البيانات: AI Tools Oasis
أسئلة شائعة
فريق AI Tools Oasis
نقدم لك أحدث الأخبار والتحليلات في عالم الذكاء الاصطناعي بدقة ومصداقية. تابعنا للحصول على كل جديد.
