اختبار بريطانى يكشف سهولة خداع حماية نموذج Openai

(MENAFN- Youm7) كشف اختبار أمني أجراه باحثون حكوميون في بريطانيا ، أن نسخًا تجريبية من نموذج GPT-6.2 Astra التابع لشركة OpenA كانت أكثر عرضة لبعض أساليب تجاوز ضوابط الحماية مقارنة بالنموذج السابق، وهي نتيجة تثير تساؤلات بشأن قدرة أنظمة الذكاء الاصطناعي على منع الاستجابات المحظورة قبل طرح الإصدارات الجديدة للجمهور.


ووفقًا لتقرير نشره موقع VentureBeat، اختبر معهد أمن الذكاء الاصطناعي البريطاني نسختين سابقتين للإطلاق، وتمكن الباحثون من تطوير أسلوب لتجاوز الحماية باستخدام عدد أقل من المحاولات مقارنة باختبارات النموذج السابق، فيما أفادت OpenAI بأنها أدخلت تعديلات أمنية لاحقة أظهرت تحسنًا في اختبارات الشركة الداخلية.

كيف تجاوز الباحثون وسائل الحماية؟

ركز الاختبار على ما يعرف بهجمات خداع التعليمات، وهي محاولات تدفع النموذج إلى تجاوز القواعد التي تمنعه من تقديم محتوى معين، من خلال صياغة الطلبات أو ترتيبها بطريقة تستغل نقاط الضعف في التعامل مع التعليمات المتعارضة.


كما فحص الباحثون قدرة نموذج مخصص للمراقبة على اكتشاف المخالفات داخل المحادثات، وأظهرت بعض نتائج التقييم أنه أخفق في رصد نسبة من الحالات التي تضمنت استجابات مخالفة، مع اختلاف النتائج بحسب المعلومات المقدمة إليه وطريقة الاختبار.


هل يعني ذلك أن النموذج غير آمن؟

لا تسمح النتائج بالجزم بأن النسخة النهائية تحتفظ بنقاط الضعف نفسها، لأن الاختبارات تناولت إصدارات تجريبية، ولأن OpenAI أعلنت تنفيذ تعديلات لمعالجة المشكلات المكتشفة، لكن التقرير يشير إلى أن الباحثين البريطانيين لم يكونوا قد أعادوا اختبار جميع التعديلات الأخيرة بصورة مستقلة عند نشر النتائج.
وتبرز أهمية الدراسة في الفصل بين نتائج الاختبارات الداخلية للشركات وعمليات التقييم المستقلة، خصوصًا مع استخدام النماذج المتقدمة في البرمجة وتحليل المعلومات والمهام التي قد تتضمن بيانات أو أنظمة حساسة، حيث يصبح قياس فعالية الحماية جزءًا من تقييم قدرة النموذج على العمل بمسؤولية.



MENAFN19112026000132011024ID1111993755

إخلاء المسؤولية القانونية:
تعمل شركة "شبكة الشرق الأوسط وشمال أفريقيا للخدمات المالية" على توفير المعلومات "كما هي" دون أي تعهدات أو ضمانات... سواء صريحة أو ضمنية.إذ أن هذا يعد إخلاء لمسؤوليتنا من ممارسات الخصوصية أو المحتوى الخاص بالمواقع المرفقة ضمن شبكتنا بما يشمل الصور ومقاطع الفيديو. لأية استفسارات تتعلق باستخدام وإعادة استخدام مصدر المعلومات هذه يرجى التواصل مع مزود المقال المذكور أعلاه.

البحث