Skip to content

Post-Train Qwen 27B: Beyond Harness Engineering

عرض بحثي جديد حول تدريب نموذج Qwen 27B باستخدام بيئات طرفية قابلة للتوسع والتعلم التعزيزي لتحسين الذكاء الاصطناعي.

Key Takeaways

  • التعلم التعزيزي يتطلب إشارة مكافأة موضوعية يمكن الحصول عليها من نجاح أو فشل أوامر الطرفية.
  • إعادة بناء البيئة من مسارات الوكيل يسمح بإنشاء بيئات تدريب اصطناعية قابلة للتحقق.
  • دمج المسارات الفاشلة وتحويلها إلى بيئات تدريبية يعزز من كفاءة التعلم.
  • توسيع نطاق البيئات التفاعلية أمر حاسم لتطوير وكلاء طرفية أكثر ذكاءً.
  • النموذج اللغوي الكبير يمكن تدريبه بشكل مباشر لتحسين الذكاء بدلاً من الاعتماد فقط على بيئات الاختبار.

What the video covers

  • تقديم ورقتين بحثيتين جديدتين حول تدريب النماذج اللغوية الكبيرة، مع التركيز على نموذج Qwen من Alibaba وجامعة Tsinghua.
  • مشكلة نقص بيانات التدريب لوكلاء الطرفية وكيفية توليد بيانات تدريب اصطناعية باستخدام الذكاء الاصطناعي.
  • تعريف الطرفية كواجهة أوامر Linux وكيف يمكن لوكيل الطرفية تنفيذ مهام برمجية معقدة بنجاح أو فشل واضح.
  • أهمية إشارة المكافأة الموضوعية في التعلم التعزيزي لتدريب النموذج اللغوي بدلاً من بيئة الاختبار فقط.
  • آلية إعادة بناء البيئة من مسارات الوكيل لتوليد بيئات تدريب قابلة للتحقق باستخدام حاويات Docker.
  • استخدام ذكاء اصطناعي آخر لإنشاء اختبارات تحقق قابلة للتنفيذ وتحويل المسارات الفاشلة إلى بيئات تدريبية منظمة.
  • دمج بيئات التدريب الفاشلة لتشكيل تحديات مركبة تساعد في تحسين أداء النموذج.
  • الورقة الثانية من Tencent تركز على توسيع نطاق البيئات التفاعلية والقابلة للتحقق لوكلاء الطرفية.
  • تطوير نظام متعدد الوكلاء (Opus 5) لإدارة وتحسين بيئات التدريب والتعلم التعزيزي.
  • الرؤية النهائية هي تدريب نماذج لغوية كبيرة أكثر ذكاءً وقادرة على البرمجة والتفاعل مع العالم الرقمي بشكل مستقل.

Chapters

  1. 00:00مقدمة حول الورقتين البحثيتين ونموذج Qwen
  2. 01:34مشكلة نقص بيانات التدريب والحل باستخدام الذكاء الاصطناعي
  3. 02:55أهمية إشارة المكافأة في التعلم التعزيزي عبر الطرفية
  4. 04:27بناء بيئات الاختبار الحتمية وتدريب الذكاء
  5. 06:01التحديات في العالم الحقيقي وأهمية التحقق الموضوعي
  6. 07:46تحويل المسارات الفاشلة إلى بيئات تدريب قابلة للتحقق
  7. 09:21تعلم الشبكات العصبية وأتمتة أوامر الطرفية
  8. 10:55توسيع نطاق البيئات التفاعلية وتطوير نظام Opus 5
  9. 13:47دمج البيئات الفاشلة وتحديات التعلم المعزز طويل المدى
  10. 17:16خاتمة ورؤية مستقبلية لتدريب النماذج اللغوية الكبيرة

Answers

Questions about this video

ما هي المشكلة الأساسية التي تواجه تدريب وكلاء الطرفية في العالم الحقيقي؟

المشكلة الأساسية هي نقص إشارة مكافأة موضوعية لتقييم نجاح أو فشل أوامر الوكيل، مما يجعل التعلم التعزيزي غير فعال بدون تحقق تلقائي.

كيف تساعد تقنية 'كون الطرفية' في تحسين تدريب النماذج اللغوية؟

تقنية 'كون الطرفية' تعيد بناء بيئات التدريب من مسارات الوكلاء الفاشلة وتحولها إلى حاويات Docker قابلة للتحقق، مما يوفر بيئات تدريب اصطناعية مع إشارة مكافأة واضحة.

ما الفرق بين تدريب النموذج اللغوي الكبير وتدريب بيئة الاختبار؟

تدريب النموذج اللغوي الكبير يركز على تحسين الشبكة العصبية للنموذج نفسه باستخدام التعلم التعزيزي، بينما تدريب بيئة الاختبار يركز على تحسين بيئة المحاكاة وليس النموذج.

Full Transcript — Download SRT & Markdown

00:00
Speaker A
أهلاً بالمجتمع، من الرائع عودتكم. لدينا ورقتان علميتان جديدتان ورائعتان، ولن تصدقوا أننا سنتحدث عن النموذج اللغوي الكبير. قد تتساءلون، "ماذا؟" ليس بعد الآن عن أدوات البرمجة، ولا عن طبقات الأدوات الثانوية. لا، نحن نعود إلى جوهر الذكاء، نموذجنا اللغوي الكبير. وقد
00:24
Speaker A
تقولون، "حسناً، هل كانت Entropic أم OpenAI أم ربما Meta هي التي عادت الآن وبنت الذكاء القوي الحقيقي؟" دعوني أخبركم أن هذه هي الورقة البحثية وهي مقدمة من Qwen. نُشرت هنا في الثالث من سبتمبر عام 2026. هذا فريق Qwen من
00:40
Speaker A
مجموعة Alibaba وجامعة Tsinghua، التي نعتبرها MIT الشرق، والجامعة العريقة هنا في الصين. ولديهم هنا ورقة بحثية جديدة وجميلة بعنوان "كون الطرفية" (Terminal Universe)، لتحويل مسارات الوكيل إلى بيئات طرفية قابلة للتوسع.
00:55
Speaker A
وقد تتساءلون، "لماذا؟" "لماذا نتحدث عن هذا؟" حسناً، تبين أن هناك عنق زجاجة لفترة طويلة جداً. وهذا كان أيضاً السبب وراء تطويرنا لهيكل الأدوات هنا.
01:06
Speaker A
لأننا أردنا تدريب نموذجنا اللغوي الأساسي بشكل أفضل. وبالنسبة لوكلاء البرمجة المعتمدين على الطرفية، أصبح من الشائع بشكل متزايد تراكم مسارات الوكيل المقابلة على نطاق واسع بينما تظل البيئات القابلة للتنفيذ الواقعية نادرة. إذاً، هذا يعني أننا إذا أردنا الدخول
01:27
Speaker A
في مرحلة تدريب لاحق ضخمة، ولن نقصر أنفسنا على الأدوات فحسب، بل على النموذج اللغوي، فإننا نواجه مشكلة.
01:34
Speaker A
ليس لدينا بيانات التدريب. ولا يمكننا الدفع للبشر لإنشاء بيانات التدريب. ولكنهم وجدوا الآن نسخة مولدة بواسطة الذكاء الاصطناعي لإنشاء بيانات التدريب لهذا الغرض.
01:46
Speaker A
ويسمونها "كون الطرفية". جميل، لنتابع هذا. الطرفية هنا، لنخض في التفاصيل، لا تعني أنها الخطوة الأخيرة أو النهائية. لا، الطرفية تشير هنا إلى واجهة سطر الأوامر، غلاف Linux. ويقوم وكيل الطرفية بإنشاء أوامر غلاف قياسية للتفاعل مع الكمبيوتر، مثل
02:05
Speaker A
البحث عن الملفات، قراءة الكود، تشغيل الاختبارات، نصوص Python IO، تعديل الملفات، Git commit، كما تعلمون، الأشياء التقليدية.
02:13
Speaker A
الآن، ما يميز هذا هو أنه نظام "تورينج" كامل للإجراءات الرقمية، أليس كذلك؟ لأنه إذا تمكن أي ذكاء اصطناعي من إتقان طرفية Linux بالكامل، فيمكنه في الأساس القيام بأي شيء يمكن للمطور البشري القيام به. يمكنه استنساخ المستودعات، تشغيل خوادم الويب،
02:27
Speaker A
إدارة بنية AWS التحتية، وكتابة وتنفيذ نصوص Python. الطرفية هي الجسر العالمي للعالم الرقمي. والآن، ما هو الجمال المطلق إذا اتجهنا نحو تعزيز تدريب النماذج اللغوية الكبيرة عبر التعلم التعزيزي. وكما تعلمون، هناك شرط واحد يجب أن يتوفر، وهو
02:46
Speaker A
الحصول على إشارة مكافأة. يجب أن يكون لدينا إشارة نجاح واضحة. وفي واجهة الأوامر الطرفية، يكون النجاح موضوعياً.
02:55
Speaker A
فإما أن تحصل هنا على رمز خروج صفر، أي نجاح، أو رمز خروج واحد، أي فشل. وهذا يوفر إشارة مكافأة رياضية خالية من العيوب. يا للروعة!
03:05
Speaker A
هذا ضروري لخوارزميات التعلم التعزيزي مثل GRPO لتحسين بنية الشبكة العصبية للنموذج، وليس بيئة الاختبار بعد الآن. إذن، الفكرة بسيطة. نحن نأخذ هنا ازدواجية المسار والبيئة. لدينا هنا البيئة ونقوم بتنفيذ المسارات منها. ثم لدينا ما يسمونه إعادة بناء البيئة. وهم
03:28
Speaker A
يبنون هنا، إذا أردت، نمطاً رجعياً من المسار، حيث يبنون البيئة. كما تعلمون، المسار والبيئة هما وجهان لنفس الحلقة، أليس كذلك؟ لذا، الأعمال السابقة تقوم بتنفيذ مسار من بيئة، بينما نقوم نحن الآن بعكس هذا التعيين.
03:47
Speaker A
والآن نستعيد البيئة من المسار. تتم عملية إعادة البناء على مرحلتين، إعادة التشغيل الحتمي متبوعاً بالإكمال الضخم، ثم يتم الاستعلام عن كل بيئة مستعادة داخل مساحة عمل واحدة، أو عبر مساحات عمل متعددة مترابطة، أو عبر عمليات تشغيل متعددة للمستخدم. هذا باختصار
04:06
Speaker A
شديد. والآن، لنطرح مثالاً بسيطاً. في عام 2026، لم يعد لدينا مشكلة في كيفية توجيه النص لتعليم نماذجنا اللغوية كيفية التحدث.
04:16
Speaker A
التعقيد النحوي والدلالي تم حله تقريباً، على الأقل بالنسبة للغات الرئيسية هنا. الأمر يتعلق بجمع بيئات تفاعلية لتعليم النموذج كيفية التصرف.
04:27
Speaker A
حتى الآن، كنا نبني كل شيء داخل بيئة الاختبار. الآن، تعريفات ملفات المهارات لدينا، وذاكرتنا الإجرائية، وسير عملنا الكامل مع الأمثلة، نضع كل ذلك في بيئة الاختبار الحتمية. والآن نقول، "هل تعلمون ماذا؟ الآن نريد المضي قدماً وتدريب الذكاء. نحن
04:44
Speaker A
نريد زيادة ذكاء النموذج اللغوي، وليس بيئة الاختبار. لأن الشبكة العصبية موجودة في النموذج اللغوي. وعندما ننقل هذا التعلم أخيراً إلى النموذج، لنقل لمرحلة ما بعد التدريب، ويمكنك القيام بذلك محلياً على جهاز الكمبيوتر الخاص بك في المنزل، بأن تأخذ
05:01
Speaker A
نموذجاً معيناً وتتابع تدريبه، ليس تدريب بيئة الاختبار، بل تدريب النموذج اللغوي، فأنت بحاجة إلى التعلم التعزيزي الكلاسيكي. وكما تعلمون، يعتمد التعلم التعزيزي على شرط واحد مطلق. نحن بحاجة إلى دالة مكافأة، وإشارة مكافأة تعود لتوضح: هل هذا يعمل أم لا؟ هل هو
05:20
Speaker A
ناجح أم لا؟ بخلاف ذلك، لن نحصل على إشارة التعلم المطلوبة لعملية التعلم. أعلم أنني تلقيت بعض التعليقات من المشاهدين حول إرسال وكيل ذكاء اصطناعي.
05:31
Speaker A
لنرسله إلى العالم الحقيقي الخام، هل هذا منطقي؟ أعني، يبدو الأمر رائعاً من الناحية النظرية، لكنك تعلم من التدريب أن هذا يفشل فشلاً ذريعاً لثلاثة أسباب محددة. وهذه الورقتان البحثيتان اللتان لدينا اليوم، حلتا هذه المشكلة. إذن، دعونا نلقي نظرة على هذا.
05:47
Speaker A
أولاً، ما هو السبب الرئيسي؟ لديك عنق زجاجة في التحقق، كما أوضحت لك للتو، أليس كذلك؟ العالم الحقيقي، إذا أرسلت وكيلاً إليه مباشرة، فليس لديه لوحة نتائج. إنه لا يوفر لك أي ملاحظات.
06:01
Speaker A
إذا قمنا بنشر ذكاء اصطناعي، لنقل على خادم AWS حقيقي أو قاعدة برمجية حية، وقام بكتابة نص برمجي لمعالجة البيانات، كيف تعرف الخوارزمية الأساسية ما إذا كان النص صحيحاً فعلاً؟ المستخدمون البشريون ليس لديهم الوقت لتصحيح هذا أو التحقق منه، أليس كذلك؟ هذا
06:17
Speaker A
يعني أنه بدون تحقق موضوعي تلقائي، لن تحصل أي خوارزمية تعلم تعزيزي على إشارة مكافأة رياضية، وبالتالي ستنهار عملية التعلم نفسها.
06:29
Speaker A
إذن، الحل الآن هو أن "الكون النهائي" يأخذ سجلات العالم الحقيقي، وكل ما لا يعمل، ويختزله إلى الأساسيات، ويحوله إلى حاويات Docker معزولة. كما هو الحال في الفيزياء، حيث نواجه مشكلة، ثم نستخدم المحاكاة العددية كما في فيزياء الجسيمات أو
06:49
Speaker A
الفيزياء الفلكية، ونجري تجاربنا لأننا نريد فهم ما الذي يسير بشكل خاطئ، وكيف يمكننا فهم النظام بشكل أفضل. الآن، والأهم من ذلك، أنه يستخدم ذكاءً اصطناعياً آخر لكتابة اختبارات تحقق قابلة للتنفيذ، ويحول، إذا أردت، مسار الواقع الفوضوي الذي لدينا،
07:08
Speaker A
والذي فشل أيضاً، ونأخذ كل المسارات الفاشلة، لأنها مادة تعليمية رائعة، ويتم تحويل هذا الواقع الفوضوي الآن إلى هيكل لعبة صارم وقابل للتحقق داخل حاويات Docker هذه. لأنه في هيكل اللعبة هذا، القابل للعب والتحقق، يمكنك الحصول على ذكاء اصطناعي آخر يراقب
07:29
Speaker A
الأمر ويقول: "أوه، نعم، لقد نجح الهدف الذي سعى إليه الوكيل أم لم ينجح". إذاً، يمكن الآن تقييم أداء الوكيل موضوعياً بواسطة ذكاء اصطناعي آخر أو خوارزمية حتمية بسيطة، أياً كان ما تفضله. إذن، ماذا نفعل؟ نحن نأخذ مسارات
07:46
Speaker A
الأشياء الفاشلة ونطلب من أي ذكاء اصطناعي معقد: "يا هذا، ابنِ من هذا المسار لعبة قابلة للتحقق، مثل لعبة فيديو، أي شيء تحب لعبه، أتعلم؟" "ثم باستخدام هذه اللعبة، نحصل على بيئة تدريب كافية، بيئة تدريب اصطناعية، لبيانات التعلم
08:05
Speaker A
التعزيزي." الطريقة التي يتم بها ذلك بسيطة. لديك إطار عمل استخدام الطرفية الخاص بك. هذه هي لقطة الشاشة الخاصة بك. إذن، لديك إعادة بناء البيئة. المسار المسجل، وهذا ما نبدأ به هنا، يُعاد تشغيله واكتماله في مساحة عمل
08:19
Speaker A
قابلة للتنفيذ مع كل الملفات، وكل التطبيقات، والتكوينات، والبيانات، وبيانات المعالجة، وملفات تقارير الاختبار بصيغة JSON. هل فهمت ذلك؟ والتي يتم الاحتفاظ بها فقط عندما تكون كافية للمهمة المحددة.
08:32
Speaker A
ثم، لدينا طرق الاسترجاع، أليس كذلك؟ مساحة العمل المستعادة تدعم هنا استعادة القصد، وتوليف مساحة العمل الواحدة الذي يستكشف مساحة العمل لاقتراح مرشحات مهام جديدة، أو التوليف عبر مساحات العمل من خلال تحليل مساحة العمل وتعدين العلاقات، والاستمرار متعدد الجولات الذي
08:51
Speaker A
يمدد الاستعلام الأولي إلى جلسة تكرارية. إذن، سنقوم ببساطة بإعادة بناء البيئة هنا التي أنشأت المسار في الحالة الأولى، هندسة عكسية.
09:03
Speaker A
هذا يعني أنه من خلال تعليم الشبكة العصبية الآن، مخطط المحولات الخاص بنا للكود T5 لقراءة وكتابة أوامر bash محلياً داخل مستودعات البرامج الحقيقية، فهم يقومون أساساً بالأتمتة. فكر فقط في ما يعادل ذلك بشرياً: مهندس تطوير ناشئ أو مطور برامج.
09:21
Speaker A
عظيم. لكن، هل لاحظت الفرق؟ نحن نتحدث الآن هنا عن تعلم الشبكات العصبية. وإذا فكرت في الأمر: لحظة، وكلاء الكود الحاليون لدينا مثل Claude Code هم مجرد غلاف برمجي حول نموذج اللغة الكبير الأساسي.
09:37
Speaker A
والآن نقول: نحن نعيد هذا الذكاء هنا إلى الجوهر، إلى نموذج اللغة الكبير نفسه. ثم لدينا الورقة البحثية الثانية الجميلة.
09:47
Speaker A
المؤلفون لا يدركون أنني جمعت هذه الأوراق معاً، ولكن إذا رأيت هذه الأوراق، وقرأت البحث، ستفهم فوراً أن هذا توليف مثالي.
09:58
Speaker A
والورقة الثانية، التي نُشرت في نفس اليوم، 3 سبتمبر 2026، هي من شركة Tencent. وهم يتجهون نحو تطور البيئة، خمن لماذا؟ لوكلاء الطرفية. هذا مثير للاهتمام لأنهم يقولون: "استمع، توسيع نطاق البيئات التفاعلية والقابلة للتحقق أمر بالغ الأهمية لتدريب وكلاء
10:22
Speaker A
الطرفية." ومع زيادة قدر
10:45
Speaker A
العالم الكاملة وكل شيء، لكن دعونا نبقى داخل نطاق الورقة البحثية قبل أن نخرج ونكشف عن كامل التعقيد هنا. وقالوا:" حسناً، تينسنت ". تطور البيئة.
10:55
Speaker A
الفكرة بسيطة وأصبحت الآن واضحة أمامكم. لقد بدأنا بالورقة الأولى، الكون النهائي. كانت لدينا هنا آثارنا، ومساراتنا، وكل شيء.
11:06
Speaker A
ومن كل هذا، بنينا بيئة جديدة إذا أردتم. مساحة العمل، الملفات ، كل شيء موجود في حاوية" دوكر ". عظيم.
11:15
Speaker A
أجرينا عملية تحقق. والآن لدينا هذه البيئة الجديدة. وهذه البيئة هي المكان المثالي الذي نحتاجه لتدريب النموذج اللغوي الكبير. لأن تدريب النموذج اللغوي الكبير في مرحلة ما بعد التدريب يتم بشكل مفضل من خلال الضبط والتعلم التعزيزي. لذا ، بالنسبة للتعلم
11:34
Speaker A
التعزيزي، نحتاج إلى بيئات أنشأناها للتو هنا من المسار المصفى. والآن نريد لهذه البيئة أن تزداد تعقيداً. لذا، نقوم ببناء بيئات تعلم تعزيزي، بيئات تعلم تعزيزي اصطناعية تكون عند حدود قدرة النموذج اللغوي الكبير ليتعلم منها أقصى وأقوى إشارة مكافأة. بحيث يكون
12:01
Speaker A
النموذج اللغوي الكبير قادراً على حلها باستخدام أقصى موارده. وهذا هو بالضبط ما نريده هنا.
12:08
Speaker A
نريد تعقيداً متزايداً، ومجموعة متنامية من البيئات حيث تتوفر إشارات التعلم، بحيث لا تكون ضعيفة جداً ولا صعبة جداً، لنحقق أقصى كفاءة تعلم للنموذج.
12:24
Speaker A
لأنه كما تعلمون، إذا جاء سؤال:" هل يمكنك شرح الأساسيات إذا كنت مبتدئاً في الذكاء الاصطناعي؟ "بالطبع، يتعلم وكيل الذكاء الاصطناعي في التعلم التعزيزي من خلال التفاعل مع بيئة، سواء كانت محاكاة رقمية أو بيئة حقيقية، من خلال- خمنوا ماذا-التجربة
12:38
Speaker A
والخطأ. لذا، الفرق الجوهري الذي يجب أن نتعامل معه هو التدريب المعتمد على السياسة والتدريب المستقل عن السياسة. يعود الأمر هنا إلى مصدر بيانات تعلم الوكيل. للتذكير، التعلم المعتمد على السياسة (on-policy)، أو التعلم بالممارسة إذا أردنا التعبير بكلمات بشرية، هو أن الوكيل
12:56
Speaker A
يتعلم فقط من أفعاله الحالية. إنه يستخدم هنا مجموعة دقيقة من القواعد، ما نسميه سياسة البيانات. عليه الآن أن يلعب لعبة معينة، لنقل، ثم يقيم مدى نجاح ذلك، ويحدث القاعدة، ثم يتخلص فوراً من البيانات القديمة لأننا تعلمنا شيئاً جديداً. التعلم
13:14
Speaker A
المستقل عن السياسة ( off-policy) هو التعلم بالملاحظة. يمكن للوكيل الآن أن يتعلم من أفعال أي شخص آخر.
13:21
Speaker A
يمكنها التعلم بمجرد مراقبة خبير بشري هنا، أو آلة ذكاء اصطناعي، أو أي شيء آخر، وهو يؤدي مهمة ما، أو من خلال النظر إلى بيانات عشوائية، أو بالنظر إلى ذكرياتها القديمة حين كانت مجرد نظام ذكاء اصطناعي مبتدئ، لترى:" حسناً، لقد
13:36
Speaker A
تحسنت مع مرور الوقت ". لذا، من المهم هنا التمييز بين التعلم القائم على السياسة والتعلم خارج السياسة.
13:43
Speaker A
أخبرتكم أنه إذا وضعنا نظام ذكاء اصطناعي هنا في العالم الحقيقي، فإن المشكلة الثانية التي نواجهها هي أن الواقع غير فعال للغاية للتدريب. وقد تتساءلون:" لماذا؟ "هذا هو ميدان التدريب المثالي." لا. لكي يتحسن الذكاء الاصطناعي فعلياً أثناء التعلم التعزيزي، وأقصد هنا
14:01
Speaker A
الذكاء الاصطناعي، النموذج اللغوي الكبير نفسه، فإنه يحتاج إلى تحديات تقع بدقة عند حدود قدراته الحالية ". لأن فكروا في الأمر، إذا أطلقتم وكيلاً في البرية، في العالم الحقيقي، فإن 90 %من المهام التي سيطلبها المستخدمون ستكون سهلة. مرحباً، ما حالة الطقس؟ حسناً،
14:18
Speaker A
كيف أحجز رحلة طيران، كما تعلمون، أشياء تافهة. لن يتعلم الوكيل أي شيء من هذا.
14:24
Speaker A
تحديث التدرج الذي لدينا في التعلم التعزيزي هو في الأساس صفر. الآن، الـ 10% الأخرى من الأسئلة قد تكون نظرية تحسين رياضية مستحيلة الصعوبة تؤدي إلى فشل ذريع. لذا، هذا يعني أن كل عمليات الطرح هذه توفر إشارة تعلم شبه
14:39
Speaker A
معدومة. لأنك لا تملك أدنى فكرة عما سيطلبه البشر هنا في هذا العالم المجنون من نظام الذكاء الاصطناعي هذا. إذن، ما نحتاجه الآن هو بيئة محكومة لتحقيق أقصى قدر من كفاءة التعلم. وهذا التطور البيئي الذي تتناوله الورقة البحثية الثانية لشركة" تينسنت
14:56
Speaker A
"يعالج هذا الأمر بالضبط. فهي تأخذ بيئة أساسية بسيطة وتبدأ في تغييرها عمداً. إضافة تبعيات، إزالة بعض رموز المساعدة، تقديم متطلبات واجهة برمجة تطبيقات أكثر تعقيداً لزيادة التدرج في هذه البيئة المحددة التي يتعين عليك حلها كأي آلة ذكاء اصطناعي. لذا
15:18
Speaker A
، إن أردتم، فهو يبني نظاماً تعليمياً مستمراً ومتصاعداً. العالم الحقيقي لا يتكيف مع الذكاء الاصطناعي ليعلمه، أليس كذلك؟ لكن آلية تطورية توفر الآن هذا الفلتر بين النموذج اللغوي الكبير والبيئة المحاكية هي الخيار الصحيح تماماً.
15:35
Speaker A
إذن، كيف نفعل ذلك؟ وهنا تكمن روعة الورقة البحثية الثانية. لديهم نظام متعدد الحلقات وهندسة لآليات متعددة الوكلاء من أجل تطور البيئة. وترون أن الحلقة الأولى تتعلق بالتخطيط، وتحسين الخطة. والحلقة الثانية تتعلق بتحسين البيئة نفسها. الآن، يمكنكم إلقاء نظرة على
15:55
Speaker A
الورقة البحثية. ستجدون الرياضيات هناك، لكنني اليوم لا أريد عرض الرياضيات. أريد أن أوضح لكم الفكرة الرئيسية. أريد فقط أن أعطيكم شعوراً بمدى روعة هذه الورقة البحثية. الآن، السبب الثالث الذي يمنعك من وضع وكيل في بيئة حقيقية للتعلم هو
16:11
Speaker A
خطورة الأنظمة الحيوية. لا يمكنك السماح لوكيل تعلم معزز بالاستكشاف والتعلم من خلال التجربة والخطأ في بيئة إنتاج حقيقية.
16:20
Speaker A
أعني، نعم، قد يتم حذف قواعد بيانات كاملة أو ما شابه ذلك. لذا، ما يميز هذا التعلم هنا، ولدينا هنا بيانات من اختبار Terminal Bench 2.1 عبر 200 خطوة لهذا التعلم المعزز الخاص الذي تراه هنا الآن لنموذج IQN 3.6، بالطبع. 27
16:38
Speaker A
ملياراً هنا. ثم لدينا نموذج خليط الخبراء، وهو أيضاً IQN 3.6. الآن، لدينا نموذج خليط خبراء بـ 35 مليار بارامتر و 3 مليارات بارامتر نشط. وانظر إلى هذا. أنت تعلم أن الذكاء الخارق خلف الستار هو، بالطبع، Opus 5. يعمل Opus 5 هنا على
16:59
Speaker A
بناء البيئة المثالية التي تمثل تحدياً كافياً ليتعلم منها نموذجنا الصغير IQN 3.6. ليتعلم بأقصى درجات الكفاءة. ولذلك، يبني Opus 5 بالضبط هذه البيئة المليئة بالتحديات للتعلم المعزز، وهي دقيقة للغاية ومركزة بدقة على الحالة الراهنة لتطور نموذجنا IQN 3.6. الآن،
17:22
Speaker A
ترى نموذجنا 3.6 من خطوة التدريب 0 إلى 200، وهو يرفع أداءه هنا بشكل كبير. وإذا نظرت إلى الخط الأزرق، وهو يمثل هذه الورقة البحثية، فسترى يا إلهي، هناك قفزة كبيرة في الأداء تجاوزت 70%. أما المنهجيتان الأخريان، وسأشرحهما بعد قليل،
17:44
Speaker A
فسترى أنهما وصلتا إلى مرحلة الاستقرار. هذه هي الطريقة التقليدية. لديك ما نسميه مرحلة" جوع التدرج "، حيث لا تكون إشارة العائد بعد التعلم قوية بما يكفي ليتعلم النموذج اللغوي أي شيء جديد.
18:01
Speaker A
لديك هنا استقرار في الأداء. أما مع Qwen 3.6 بـ 3 مليارات بارامتر نشط ، فسترى أنك تبدأ من مستوى أقل بالطبع، بسبب البارامترات النشطة، لكن الخط الأزرق يصعد أيضاً ليصل إلى 65%، وهو أمر جيد. لذا، يبدو أن الأفضل أداءً هو هذا
18:24
Speaker A
النظام، حيث يعمل تطور البيئة، الذي يصمم بيئات خاصة متزايدة الصعوبة لهذا التدريب المعزز لنموذج QWERT 3.6، بشكل جيد للغاية. الآن ، ترى أن النظامين الآخرين يسميان" التجميع "و" التطور المشترك ". لذا، دعونا نلقي نظرة فاحصة. ما هي هذه المقاييس
18:47
Speaker A
التنافسية، إذا أردت، وكيف يتم تنظيمها؟ الآن، التجميع أو تجميع البيئات، أسميه نهج فرانكشتاين. هذا نهج ميكانيكي توافقي بحت. تأخذ الوكيل المستهدف وتختبره في مجموعة من البيئات الأولية والأساسية. ثم تحدد البيئات التي فشل فيها، أو التي فشل فيها الذكاء
19:06
Speaker A
الاصطناعي. وبعد ذلك تقوم حرفياً بدمج تلك البيئات التي فشل فيها معاً. تأخذ المهمة" أ " الفاشلة والمهمة" ب " الفاشلة، وتدمج متطلباتهما في دليل واحد وتطلب من الوكيل حل المهمة" أ ب ". نهج فرانكشتاين، لقد فهمت الفكرة. ثم لدينا
19:21
Speaker A
التطور المشترك. هذا هو النهج المعتمد على السياسة، أليس كذلك؟ لديك نهج توليدي ديناميكي مرتبط مباشرة بأوزان الشبكة العصبية الحالية للوكيل. إذن، يلعب الوكيل المستهدف بأمان في بيئة تجريبية . ولكن عندما يفشل، يحلل النظام المسار، ويكتشف الخلل المحدد في سياسة الوكيل الذي
19:41
Speaker A
تسبب في هذا الفشل، ويضع نمط الفشل هذا في بنك نقاط الضعف أو أي قاعدة بيانات لديك. ثم يقوم مولد LLM بالسحب من بنك نقاط الضعف هذا لتركيب بيئة جديدة تماماً تستهدف بدقة عيوب الوكيل الحالية، عيوب متعددة في نفس
20:01
Speaker A
الوقت. إذاً، هذا هو نهج التطور المشترك. كما ترى، إنه أفضل من نهج فرانكشتاين الكلاسيكي، نعم. وهذه الورقة البحثية الحالية من Tencent تقدم لك النهج الأفضل. الآن ، كيف يعمل هذا حقاً؟ أخبرتكم أن لدينا نموذج Claude Opus 5 في
20:20
Speaker A
الخلفية يقوم ببناء بيئات ذات تعقيد متزايد. والآن، مفاجأة ، أين تقع بيئة Opus 5 هذه هنا؟ إذا قمت بخطوة البرمجة، فهذا موجود في حزمة الأدوات، أليس كذلك؟ لذا، نحن نقوم الآن ببناء هيكل حزمة أدوات. لكن، هذا ليس تعلماً ذاتياً. نحن
20:38
Speaker A
فقط نستغل هنا قدرة Opus 5. لذا، نحن نوجه النموذج للقيام بأدوار محددة داخل حزمة أدوات متعددة الوكلاء ومصممة بحلقات تكرارية. تجبر هذه الحزمة النموذج على زيادة صعوبة هدف البيئة بشكل منهجي، وقد استخدم المؤلفون 15 جيلاً. إذاً، كيف يتم
20:58
Speaker A
ذلك؟ لنلقِ نظرة فاحصة على كيفية قيام مؤلفي الورقة الثانية بمنهجيتهم. في البداية ، يقولون إن Opus 5 يعمل كوكيل مقترح، ينظر إلى تسلسل المهارات والسيناريوهات المطلوبة لحل البيئة الحالية، ويختار رياضياً واحداً من ثلاثة اتجاهات تطورية ممكنة للطفرة. إما من
21:20
Speaker A
خلال حداثة السيناريو ، باستبدال الإعدادات هنا، أو من خلال ندرة المهارة، بتبديل المهارات المطلوبة بمجموعة مهارات أكثر ندرة وتقدماً، أو من خلال طول التنفيذ. ثم يكتب خطة تطور تفصل بدقة التغييرات التي يجب إجراؤها على قاعدة الكود. هذا هو وكيل
21:41
Speaker A
المقترحات. وهذا مشابه لما رأيتموه في الأسبوع الماضي هنا في فيديوهاتي. ثم لدينا، خمنوا ماذا، الوكيل الثاني هو وكيل المراجعة. قبل لمس أي كود، تقوم نسخة أخرى من Cloud Opus 5 بمراجعة خطة المقترح وفقاً لمجموعة صارمة من المعايير. وإذا كانت
21:57
Speaker A
الخطة غير منطقية أو مجنونة جداً، أو بناءة أكثر من اللازم، أو مدمرة، يتم رفضها ويجب أن يبدأ المقترح من جديد. لدينا حلقة صغيرة، ولكن إذا حصلت على الضوء الأخضر، فإنها تذهب إلى وكيل التعديل. وإذا تم اعتماد الخطة، يقوم Opus
22:12
Speaker A
5 الآن في شكله الجديد كوكيل تعديل بكتابة الكود الجديد الفعلي للتنفيذ أو التحرير في البيئة المظلمة. عظيم.
22:21
Speaker A
إذن، هذه هي الطريقة الأفضل لأوامر الورقة الثانية لبناء منهج لا نهائي هنا، إذا أردتم.
22:27
Speaker A
بدون تدخل بشري، واستخدام نموذج حوسبة متطور ثقيل. إنهم يستخدمون Opus 5، ويمكنك استخدام، لا أدري، Astro ، أو أياً كان ما تفضله . لذا، يتم تقسيم Opus 5 هنا إلى نظام متعدد الوكلاء من المقترح، والمراجع، والمعدلين.
22:42
Speaker A
يفتح مستودعات Python و C ++، ويحقن تبعيات غامضة ، ويطيل سلسلة المنطق المطلوبة، ويتأكد من أنها أصعب رياضياً في الحل، ولكنها لا تزال قابلة للحل رياضياً، ثم يسلمها إلى بيئة صعبة جديدة وصولاً إلى نموذج QN ليتمكن من التدريب بمنهجية
23:03
Speaker A
التعلم التعزيزي TRPO الكلاسيكية على هذه المهمة الصعبة. وها قد حصلتم على ذلك. هذا هو محتوى الورقتين وقد ترون أنني جمعتهما معاً. والصورة تشرح لكم هذا. الصورة المصغرة تشرح لكم هذا.
23:20
Speaker A
ومرة أخرى لكل الأشخاص الذين يقولون فقط ضعوه في العالم الحقيقي. حسناً، آمل أن أكون قد أوضحت لكم أن المحاكاة الرقمية أفضل من الواقع، خاصة للتدريب هنا في التعلم التعزيزي للنماذج اللغوية الكبيرة. لأن إرسال نموذج إلى العالم الحقيقي هنا هو
23:39
Speaker A
هدف النشر بالتأكيد، لكنه بالتأكيد ليس طريقة للتدريب. لذا لكل المشاهدين الذين يرسلون لي رسائل بريد إلكتروني وتعليقات أو أياً كان، إنها ليست للتدريب. لقد تحدثنا عن عنق الزجاجة وتفهمون بالنسبة لنموذجنا اللغوي الحالي، QN 3.6 الخاص بنا ، حتى لو أخبرنا QN
23:58
Speaker A
بخلاف ذلك. لكن المشكلة التي نواجهها مع بيانات التدريب، وعنق زجاجة البيانات الذي نواجهه اليوم هنا في سبتمبر 2026، هو نقص هذه البيئات المؤتمتة.
24:09
Speaker A
لنقل إنه جهاز محاكاة طيران، محاكاة رقمية. كيفية قيادة طائرة، كيفية القيام بشيء كنظام ذكاء اصطناعي لوكلائنا البرمجيين.
24:19
Speaker A
مجدداً، ترون أننا مقيدون هنا في كلتا الورقتين بوكلاء البرمجة لأننا نستطيع التحقق من ذلك بسهولة بالغة. فقط دع الكود يعمل وانظر، هل نجح أم لا. إذا طرحت سؤالاً مفتوحاً، فسنواجه تعقيداً لا يمكننا التعامل معه اليوم.
24:35
Speaker A
وبرمجة هذه المحاكيات يدوياً تستغرق آلاف وآلاف الساعات البشرية، وأجل، من سيدفع مقابل العمل البشري اليدوي؟ أعني، الإبداع البشري، هيا بالله عليكم. من الأسهل بكثير تمويل مراكز البيانات الخاصة بك، أليس كذلك؟ أم أنني مخطئ؟ حسناً.
24:55
Speaker A
كلا المطبوعتين الأوليين الجديدتين على موقع" أرشيف " حيويتان لأنهما تكتشفان كيفية أتمتة إنشاء هذه المحاكيات البيئية الرقمية رياضياً، في الورقة الأولى، وتصعيدها، في الورقة الثانية، من أجل تدريب التعلم المعزز. هذا هو تدريبك اللاحق. نحن ننشئ هنا بفعالية ساحة تدريب
25:16
Speaker A
ذاتية التنظيم لا نهائية لتدريب جوهر الوكيل، نموذجنا اللغوي الكبير أو نموذج الرؤية اللغوي نفسه. نحن لا نعتمد على أي مكتبة مهارات. نحن لا نعتمد هنا على كتل ذاكرة إجرائية. هذه هي الشبكة العصبية حقاً.
25:34
Speaker A
هذا هو الجمال الحقيقي الذي نمتلكه هنا، بنية الشبكة العصبية التي تتعلم الانتشار العكسي وجميع منهجيات التعلم الكلاسيكية.
25:44
Speaker A
الآن يمكننا توليد هذه الكمية الهائلة بشكل لا يصدق من التعلم المعزز تلقائياً. ويخبرنا بحثك التلقائي هنا، من خلال جدولة هذه البيئات عبر بعض السلالات، إذا كنت تعرف 15 منها مخصصة لتدريب التعلم المعزز طويل المدى على نماذج QN 3.6 أو 27 أو 35 مليار
26:03
Speaker A
بارامتر، أنها تتلقى إشارات تعلم فعالة ومستمرة وتحقق أداءً أعلى من التطور الأساسي أو خطوط الأساس المجمعة التي عرضتها عليكم للتو.
26:13
Speaker A
أليس هذا رائعاً؟ أخيراً، نعود إلى الذكاء الأساسي، إلى النموذج اللغوي الكبير الأساسي. والآن لدينا بيانات التدريب.
26:22
Speaker A
بعد كل هذا التجول الجانبي هنا نحو نظام الربط وكل شيء، نعود الآن إلى الذكاء الخالص، إلى النموذج اللغوي الكبير. إذاً، ما هي الرؤى المستفادة ؟ أعتقد حقاً أنه بقدر ما تكون جميع طبقات الربط والطبقات الثانوية المعقدة في نظام الربط جميلة، يجب
26:40
Speaker A
أن نبدأ مجدداً في استيعاب الذكاء داخل هيكل الأوزان، داخل أوزان التنسور بعد طبقات المحول في نموذجنا اللغوي الكبير. لأن نظام الربط يجب أن يوجه النموذج اللغوي الكبير باستمرار، ونافذة السياق الخاصة به، ويحلل المخرجات، ويشغل منطق بايثون، أو " لين فور "، أو" سي بلس
26:59
Speaker A
بلس "، أو أياً كان ما لديك، ثم يوجه النموذج اللغوي الكبير مجدداً. وهذا يهدر كمية هائلة من الحوسبة ونافذة السياق، وأنت تدفع مقابل كل توكن. أنظمة الربط مصممة حقاً لتكون طبقات تحكم حتمية، أليس كذلك؟ إنها جامدة. إنها أنظمة قائمة على
27:16
Speaker A
القواعد. وإذا حدثت حالة استثنائية لم يبرمج مطور نظام الربط قاعدة خاصة لها، فسيتعطل النظام. تتمثل الرؤى التي تقدمها كلتا الورقتين في أن النموذج اللغوي الكبير الموجه قوي للغاية، ولكن وجود هيكل تقييد يجعله لا يتعلم كيفية البرمجة بشكل أفضل لعدم
27:35
Speaker A
امتلاكه ذكاءً كافيًا. هذا النظام يتبع ببساطة وبشكل أعمى حلقة التقييد والتعليمات الحتمية للهيكل نفسه. والآن، من خلال إعادة عملية التعلم إلى الشبكة العصبية عبر التعلم المعزز لما بعد تدريب نماذجنا، يطور النموذج قدرات استدلالية داخلية متقدمة. وأعتقد أن" تونز "يوضح ذلك بشكل
28:04
Speaker A
جميل مع نموذج Q*3.6 للتعلم المعزز. فمن أجل تطور البيئة هذا، تتعلم الشبكة العصبية بنفسها حدس متى تتراجع ، وكيف تكتب كودًا دفاعيًا، وكيف تتحقق من عملها الخاص. وقد تشعر بقشعريرة في جسدك وتقول:" لحظة واحدة. هل يعني هذا أننا في
28:24
Speaker A
المستقبل قد لا نحتاج إلى هيكل التقييد البرمجي؟ "نحن لا نحتاج إلى" كلاود كود " كهيكل للتقييد.
28:33
Speaker A
بالتأكيد. إذا استطعنا إعادة الذكاء إلى النموذج اللغوي الكبير، فلماذا نحتاج هنا إلى طبقة التحكم الحتمية هذه؟ نعم، قد تكون الحجة هي أن النماذج اللغوية لا تزال تهلوس وليست جديرة بالثقة بعد. لكن ، هذا موضوع لفيديو آخر. حسناً. إذن، ها
28:53
Speaker A
نحن ذا. أترون؟ كلتا الورقتين تكملان بعضهما البعض. الورقة الأولى،" الكون الطرفي "، تعيد بناء العديد من بيئات التدريب القابلة للتنفيذ من مسارات الوكيل المسجلة. وأنا وحدي على جهازي، لدي آلاف من مسارات الوكيل التي فشلت. والتي ستكون هنا الأساس لبناء بيئات
29:12
Speaker A
التدريب الجديدة هذه. وإذا كانت لدينا بيئة تدريب تم التحقق منها، فهذا يمثل أولوية قصوى لعملي المهني الفعلي، أي في مجالي. ثم نأتي للورقة الثانية، التي تأخذ هذه البيئة القابلة للتنفيذ وتقول:" حسناً، لدي تعقيد أساسي، وأريد تدريب نموذجي اللغوي
29:38
Speaker A
هنا. "لذا لدي تعقيد أساسي، ثم تعقيد أعلى، ثم بيئة معقدة حقيقية حيث يمكنني تدريب نموذج الذكاء الاصطناعي الخاص بي، مع إشارات تعلم معزز قوية تعود كإشارات مكافأة، مما يمنحني كفاءة قصوى في التعلم أو تدريس نموذجي اللغوي لأحدث الرؤى
29:59
Speaker A
والنظريات والإجراءات الرياضية، أو أي شيء آخر. أنا لست بحاجة إلى هيكل تقييد. لست بحاجة إلى مهارات إضافية.
30:08
Speaker A
يمكنني ترميز هذا في التعقيد العصبي للنموذج اللغوي نفسه. وأردت فقط أن أوضح لكم أنه إذا أعطيتم إبداعكم البشري مساحة صغيرة، فستكون النتيجة جميلة للغاية.
30:21
Speaker A
آمل أن تكونوا قد استمتعتم بالفيديو. كانت هناك بعض الرؤى الجديدة والأفكار الجديدة. ربما ترغبون في تجربة شيء ما بأنفسكم. على أية حال، آمل أن أراكم في فيديوي القادم.
Topics:نموذج لغوي كبيرتعلم تعزيزيوكيل الطرفيةبيئة طرفيةذكاء اصطناعيQwen 27BAlibabaجامعة TsinghuaDockerTencent

Get More with the SozAI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries, speaker detection, and unlimited transcriptions.

App Store Google Play
Or transcribe another YouTube video here →

Free tools: TXT to SRT · SRT Validator · Merge SRT · Subtitle to Text · All tools

More from Discover AI

View All
HOW TO STOP AN AI — Transcript24:01
HOW TO STOP AN AI — Transcript
3,746 1 None
Google Defines New SKILL.state — Transcript24:20
Google Defines New SKILL.state — Transcript
3,737 1 English
NEW Persistent Skill Compiler: WIKISKILL (Google) — Transcript29:02
NEW Persistent Skill Compiler: WIKISKILL (Google) — Transcript
5,955 1 English
Dual-Memory Optimization for Self-Improving AI Agents — Transcript37:06
Dual-Memory Optimization for Self-Improving AI Agents — Transcript
6,380 1 English
The New Ontology Kernel Behind Reliable AI — Transcript20:27
The New Ontology Kernel Behind Reliable AI — Transcript
3,154 1 English
Can Graph Engineering Create System Intelligence? — Transcript30:07
Can Graph Engineering Create System Intelligence? — Transcript
6,178 1 English
Harnessed Agentic RL w/ LEGO-RL & Co-RL Solutions — Transcript29:53
Harnessed Agentic RL w/ LEGO-RL & Co-RL Solutions — Transcript
5,013 1 English
Agentic Lightning V1 Fixes RL Math for Harness — Transcript34:22
Agentic Lightning V1 Fixes RL Math for Harness — Transcript
5,510 1 English
Maxwell’s Demon of AI: How API Proxies Tame RL State-Sp… — Transcript19:26
Maxwell’s Demon of AI: How API Proxies Tame RL State-Sp… — Transcript
3,324 1 English
AI SKILLS behave BADLY? WHAT? — Transcript34:31
AI SKILLS behave BADLY? WHAT? — Transcript
5,620 1 English
AI Agents Self-Create Unsafe SKILL.md (CyberSec) — Transcript23:13
AI Agents Self-Create Unsafe SKILL.md (CyberSec) — Transcript
3,565 1 English
Outsmart Cloud AI Models w/ a Local Scaffold — Transcript39:12
Outsmart Cloud AI Models w/ a Local Scaffold — Transcript
6,256 1 English