انتقل إلى المحتوى

إدارة مشاريع LLM RAG: النطاق والبيانات والتقييم

إدارة المشاريع5 دقائق قراءةYunus Sevğane

RAG (التوليد المعزَّز بالاسترجاع) نهج يجعل نموذج اللغة يبني إجابته على مقاطع تُسترجع من مستندات المؤسسة نفسها. يشرح هذا المقال القرارات التي ينبغي لمن يدير مشروع RAG أن يكتبها مبكرًا؛ وهو طريقة عملي لا ادعاء بنتيجة مقيسة.

لماذا يُعدّ مشروع RAG مشكلة إدارة؟

في مشاريع RAG يكون النموذج غالبًا خدمة جاهزة؛ والعمل الحقيقي في قرارات مثل: أي المستندات ستُستخدم، ومن يحق له رؤية ماذا، وكيف تُقاس دقة الإجابة. وإذا لم تُكتب هذه القرارات ينتهي المشروع إلى «العرض التجريبي جيد لكن لا يُعتمد عليه في التشغيل». تتبع الخطوات التالية الترتيب الذي أستخدمه في مشاريع الذكاء الاصطناعي.

1. النطاق: على أي أسئلة سيجيب؟

الخطوة الأولى كتابة أسئلة المستخدمين التي سيجيب عنها النظام وتلك التي لن يجيب عنها. «الاستعلام عن كل مستندات الشركة» أمنية وليست نطاقًا. تُجمع أسئلة نموذجية من المستخدمين؛ وهي تحدد النطاق والتقييم اللاحق معًا.

2. المستندات المصدر وملكية البيانات

أي المستندات تدخل الفهرس؟ هل هي حديثة؟ وهل توجد نسخ متضاربة؟ وهل تحتوي بيانات شخصية؟ لكل مجموعة مستندات مالك، ويُحدَّد مسبقًا كيف يُحدَّث الفهرس عند تغيّر المستند. ويجب أن يمكن إظهار أساس الإجابة: ليرى المستخدم من أي قسم في أي مستند بُنيت الإجابة.

3. التحكم في الوصول

قد يسرّب RAG محتوى مستند سري لمن لا صلاحية له. لذلك تُطبَّق قاعدة الوصول وقت الاستعلام وتُكتب في الخطة الأولى: من يحق له السؤال عن أي مجموعة مستندات؟ هذا قرار معماري وليس ميزة تُضاف لاحقًا.

4. مجموعة التقييم

تُعدّ مجموعة تقييم صغيرة من أسئلة مستخدمين حقيقية والمستندات المصدر المتوقعة لها. يُقارَن كل إصدار على هذه المجموعة؛ ولا يكفي أن «يبدو جيدًا». ويُفحص بشكل منفصل هل وجد النظام المستند الصحيح وهل استخلص النتيجة الصحيحة منه.

5. التجربة والتكلفة وزمن الاستجابة

تُجرى التجربة مع مجموعة مستخدمين محدودة. يُقاس في هذه المرحلة زمن الاستجابة وتكلفة الاستخدام، ويُكتب قرار التوسع بعد موازنة الدقة والزمن والتكلفة معًا.

6. المراقبة وإدارة التغيير

أثناء التشغيل تُراقَب ملاحظات المستخدمين والأسئلة بلا إجابة وتغييرات المستندات. وعند تغيّر النموذج أو التعليمات أو مجموعة المستندات تُعاد مجموعة التقييم. وتتقاطع هذه العملية مع أسئلة دورة الحياة والمراقبة في قائمة مراجعة ISO/IEC 42001.

الأسئلة الشائعة

ما الفرق بين RAG والضبط الدقيق؟

يبني RAG الإجابة على مقاطع مستندات تُسترجع وقت الاستعلام، وعند تغيّر المستندات يُحدَّث الفهرس. أما الضبط الدقيق فيدرّب النموذج نفسه بأمثلة. ويمكن الجمع بينهما؛ ويعتمد الاختيار على حداثة البيانات وقابلية التتبع والتكلفة.

ما أكثر الأخطاء الإدارية شيوعًا في مشروع RAG؟

ترك مجموعة التقييم والتحكم في الوصول إلى النهاية. كلاهما يؤثر في المعمارية، فمكانهما الخطة الأولى.

كم يستغرق مشروع RAG؟

يعتمد على عدد المستندات وتعقيد التحكم في الوصول والتكاملات؛ وبعد كتابة النطاق تُخطَّط مدة التجربة. لا أَعِد بمدة لم أقِسها.