اختبار بريطانى يكشف سهولة خداع حماية نموذج Openai
ووفقًا لتقرير نشره موقع VentureBeat، اختبر معهد أمن الذكاء الاصطناعي البريطاني نسختين سابقتين للإطلاق، وتمكن الباحثون من تطوير أسلوب لتجاوز الحماية باستخدام عدد أقل من المحاولات مقارنة باختبارات النموذج السابق، فيما أفادت OpenAI بأنها أدخلت تعديلات أمنية لاحقة أظهرت تحسنًا في اختبارات الشركة الداخلية.
ركز الاختبار على ما يعرف بهجمات خداع التعليمات، وهي محاولات تدفع النموذج إلى تجاوز القواعد التي تمنعه من تقديم محتوى معين، من خلال صياغة الطلبات أو ترتيبها بطريقة تستغل نقاط الضعف في التعامل مع التعليمات المتعارضة.
كما فحص الباحثون قدرة نموذج مخصص للمراقبة على اكتشاف المخالفات داخل المحادثات، وأظهرت بعض نتائج التقييم أنه أخفق في رصد نسبة من الحالات التي تضمنت استجابات مخالفة، مع اختلاف النتائج بحسب المعلومات المقدمة إليه وطريقة الاختبار.
هل يعني ذلك أن النموذج غير آمن؟
لا تسمح النتائج بالجزم بأن النسخة النهائية تحتفظ بنقاط الضعف نفسها، لأن الاختبارات تناولت إصدارات تجريبية، ولأن OpenAI أعلنت تنفيذ تعديلات لمعالجة المشكلات المكتشفة، لكن التقرير يشير إلى أن الباحثين البريطانيين لم يكونوا قد أعادوا اختبار جميع التعديلات الأخيرة بصورة مستقلة عند نشر النتائج.
وتبرز أهمية الدراسة في الفصل بين نتائج الاختبارات الداخلية للشركات وعمليات التقييم المستقلة، خصوصًا مع استخدام النماذج المتقدمة في البرمجة وتحليل المعلومات والمهام التي قد تتضمن بيانات أو أنظمة حساسة، حيث يصبح قياس فعالية الحماية جزءًا من تقييم قدرة النموذج على العمل بمسؤولية.
إخلاء المسؤولية القانونية:
تعمل شركة "شبكة الشرق الأوسط
وشمال أفريقيا للخدمات المالية" على توفير المعلومات "كما هي" دون أي
تعهدات أو ضمانات... سواء صريحة أو ضمنية.إذ أن هذا يعد إخلاء لمسؤوليتنا
من ممارسات الخصوصية أو المحتوى الخاص بالمواقع المرفقة ضمن شبكتنا بما
يشمل الصور ومقاطع الفيديو. لأية استفسارات تتعلق باستخدام وإعادة استخدام
مصدر المعلومات هذه يرجى التواصل مع مزود المقال المذكور أعلاه.

Comments
No comment