عرض تجريبي لمساعد ذكي يجيب عن ثلاثة أسئلة لا يكفي لاتخاذ قرار إطلاقه لخدمة العملاء. قد يصل إلى مستند غير محدث، أو يفهم صيغة عربية واحدة فقط، أو يجيب بثقة عن معلومة غير موجودة. اختبار مساعد RAG عربي يبدأ بمجموعة أسئلة مع إجابات مرجعية ومصادر مسموحة، ثم يفصل بين العثور على الدليل وصياغة الإجابة.
ما الذي يختبره RAG فعلًا؟
تصف وثائق Microsoft نمط RAG بأنه دعم إجابات النموذج بمحتوى تسترجعه المنظومة، مع تحديات في فهم السؤال واسترجاع المقاطع وحماية الوصول إلى الوثائق. هذا النمط لا يجعل كل إجابة صحيحة تلقائيًا. يجب اختبار ما وصل إلى النموذج، وهل يدعم الجواب، وهل يحق للمستخدم الاطلاع عليه.
ابدأ بنطاق صغير واضح، مثل وثائق تشغيل خدمة واحدة أو أسئلة دعم معتمدة. لا تضع كل ملفات المؤسسة في تجربة واحدة. سجّل اسم الوثيقة وإصدارها وصاحب اعتمادها ووقت مراجعتها، وحدّد الإجراء عندما تتعارض نسختان. المصدر القديم قد يكون مرتبطًا بالسؤال لغويًا لكنه غير صالح لتحديد السياسة الحالية.
أنشئ مجموعة أسئلة متنوعة وليست محفوظة للعرض
اجمع أسئلة مباشرة وصيغًا عامية وأخطاء كتابة معقولة وأسئلة ناقصة تحتاج توضيحًا. استخدم بيانات اختبار لا تتضمن أسرار العملاء. لكل سؤال دوّن الإجابة المطلوبة، وما يجوز أن يقوله المساعد، والمصدر الذي يثبتها، ومتى ينبغي التحويل إلى موظف. احتفظ بجزء من المجموعة لا يستخدم في ضبط التجربة حتى لا تقيّم النظام على أسئلة تعلّمها أثناء التعديل.
| نوع السؤال | اختبار القبول |
|---|---|
| له إجابة في وثيقة معتمدة | جواب صحيح مع مصدر يدعمه |
| له صياغة عامية مختلفة | الوصول إلى نفس المعلومة دون تغيير معناها |
| معلومة غير موجودة | توضيح النقص وطلب معلومات أو تحويل بشري |
| وثيقتان متعارضتان | عدم اختيار سياسة عشوائيًا |
| وثيقة خارج صلاحية المستخدم | لا استرجاع ولا كشف للمحتوى المقيد |
افصل خطأ الاسترجاع عن خطأ الإجابة
إذا لم يصل المقطع الصحيح، فابدأ بمراجعة البحث وتقسيم الوثائق والفلاتر، بدل تعديل صياغة الرد فقط. وإذا وصل المقطع الصحيح لكن الإجابة ناقضته، فراجع طريقة بناء السياق والتوليد وحدود المهمة. سجّل النتيجة على مستويين: هل استُرجع دليل مناسب؟ وهل كل ادعاء مهم في الجواب مسنود بهذا الدليل؟ ظهور رابط في الرد لا يثبت أنه يدعم المعلومة.
في مثال تقييم توضيحي، يسأل مستخدم عن مدة الاشتراك لكن الوثيقة المتاحة تذكر طريقة التسجيل فقط. الإجابة المقبولة تعترف بعدم وجود المدة في المصدر وتطلب مراجعة القاعدة المعتمدة، بدل اختراع عدد أيام يبدو منطقيًا. هذا المثال يختبر الامتناع المفيد، وليس قدرة المساعد على إنتاج نص أطول.
اختبر التعليمات المضللة وحدود التصرف
تحذر OWASP من Prompt Injection، بما فيه تعليمات ضارة تأتي من محتوى خارجي. ضع في وثيقة اختبار جملة تطلب تجاهل التعليمات أو كشف معلومات، وتأكد أن المنظومة تعاملها كمحتوى غير موثوق. اختبر ذلك داخل بيئة مفوضة، ولا تستخدم مستندات حساسة لا تحتاجها التجربة.
ابدأ بمساعد يقترح إجابات ضمن حدود مكتوبة. أي صلاحية لتنفيذ تعديل أو منح خصم أو تغيير حساب تحتاج قواعد وصول وتأكيدات مناسبة منفصلة عن جودة الحوار. اجعل قرار الإطلاق مبنيًا على نتائج مجموعة الاختبار وسجل الأخطاء ومراجعة أصحاب الخدمة، ثم أعد التقييم عند تغير الوثائق أو النموذج. يمكن بحث النطاق عبر خدمات الذكاء الاصطناعي والأتمتة ومراجعته ضمن التقييم التقني.
