LLM · RAG · وكلاء الذكاء الاصطناعي

اختبار اختراق تطبيقات الذكاء الاصطناعي مع Sumrite، قبل أن يختبرها مستخدموك.

مساعدك الذكي يقرأ المستندات ويستدعي الواجهات ويتصرف نيابة عن المستخدمين. نختبر ما يستطيع المهاجم دفعه إلى فعله: تسريب بيانات عميل آخر، أو تنفيذ أداة لا يجب تنفيذها.

OWASP LLM Top 10كل المخاطر من حقن الأوامر إلى الاستهلاك غير المحدود.
مسار الهجوم كاملًاالنموذج مع الواجهات والهوية والسحابة حوله.
نتائج قابلة للقياسنسبة نجاح كل هجوم والأوامر الدقيقة لإعادته.

اختبار اختراق تطبيقات نماذج اللغة الكبيرة هو اختبار أمني لميزة منتج مبنية على نموذج ذكاء اصطناعي، مثل روبوت محادثة أو مساعد يعتمد على الاسترجاع (RAG) أو وكيل ينفذ إجراءات. يهاجم المختبِر طبقة النموذج بحقن الأوامر المباشر وغير المباشر، واستخراج البيانات، وإساءة استخدام الأدوات، والمخرجات غير الآمنة، ويربط كل نتيجة بقائمة OWASP Top 10 لتطبيقات LLM، ويختبر في الوقت نفسه الواجهات والهوية والسحابة المحيطة بالنموذج. تُسجَّل نسبة نجاح كل هجوم والأوامر الدقيقة لإعادته، لأن سلوك النموذج غير حتمي.

ما الذي نختبره

المجالما نتحقق منهمثال على ثغرة
حقن الأوامرمباشر وغير مباشر عبر المستندات والصفحاتتعليمات مخفية في مستند تغيّر سلوك المساعد
تسرب البياناتبيانات مستخدمين آخرين أو مستندات داخليةسؤال يعيد ملفات مستأجر آخر
الصلاحيات المفرطةأدوات وإجراءات دون موافقة حقيقيةالمساعد يصدر استردادًا ماليًا بطلب من المستخدم
معالجة المخرجاتمخرجات ينفذها التطبيق أو يعرضهاالنموذج يولّد شيفرة تُنفَّذ في متصفح المشرف
تعليمات النظامكشف التعليمات المخفية وما فيها من أسرارمفتاح API داخل تعليمات النظام

كيف ننفذ المشروع

  1. تحديد النطاق واتفاقية عدم الإفصاح. تخبرنا بما يحتاج إلى اختبار ولماذا، فتحصل على عرض سعر بنطاق ثابت، وتُوقَّع اتفاقية عدم الإفصاح قبل تبادل أي تفاصيل تقنية.
  2. قواعد الاشتباك. نتفق كتابيًا على الأهداف ونوافذ الاختبار والحسابات وجهات الاتصال وما هو خارج النطاق قبل بدء العمل.
  3. اختبار يقوده خبراء. يختبر الباحث يدويًا ويستخدم الأدوات لتسريع الأجزاء الروتينية فقط، ولا تُدرج أي ثغرة في التقرير قبل إعادة إنتاجها والتحقق منها.
  4. التقرير. ملخص تنفيذي للإدارة بالعربية، ثم كل ثغرة مع درجة خطورتها وفق CVSS والدليل وخطوات إعادة الإنتاج والإصلاح المقترح.
  5. إعادة الاختبار. بعد الإصلاح نعيد اختبار كل ثغرة بالطريقة نفسها ونوثّق النتيجة، فيُظهر التقرير النهائي ما وُجد وما أُغلق.

أسئلة شائعة

هل تختبرون مزود النموذج مثل OpenAI؟

لا. نختبر كيف يستخدم تطبيقك النموذج: الأوامر والاسترجاع والأدوات والصلاحيات ومعالجة المخرجات.

كيف يختلف هذا عن اختبار تطبيق ويب عادي؟

يُختبر التطبيق التقليدي أيضًا، لكن النموذج يضيف مدخلات جديدة ونتائج غير حتمية وإجراءات يمكنه تنفيذها، لذلك تتضمن النتائج نسب النجاح والأوامر الدقيقة.

هل إعادة الاختبار مشمولة؟

نعم. نعيد اختبار الإصلاحات بالهجمات نفسها ونحدّث التقرير.

روابط ذات صلة

أرسل الاستبيان الأمني الذي يؤخر الصفقة.

اتفاقية عدم إفصاح أولًا، ثم عرض سعر بنطاق محدد.

اطلب عرض سعر