كشفت شركة إنفيديا، الاثنين، عن منصة أمنية جديدة قالت إنها قادرة على منع وكلاء الذكاء الاصطناعي من الخروج عن السيطرة أو تنفيذ مهام تتجاوز الصلاحيات الممنوحة لهم.
وأوضحت الشركة أن Open Agent Safety Platform تتضمن برمجيات تعمل على «وضع حدود للوكلاء»، وتأتي بعد سلسلة من الحوادث التي كشفت عنها شركات كبرى في مجال الذكاء الاصطناعي، تضمنت تجاوز نماذج لقيودها واختراق أنظمة تابعة لجهات أخرى.
وأثارت هذه الحوادث نقاشاً واسعاً حول سلامة أنظمة الذكاء الاصطناعي المتقدمة، بما في ذلك النماذج القادرة على تحسين نفسها، وسط مخاوف من أن تتطور بدرجة تجعل السيطرة البشرية عليها أكثر صعوبة.
وقال مسؤولون في إنفيديا خلال إحاطة إعلامية إن النظام الجديد كان يمكن أن يمنع حادثة حديثة تورطت فيها مجموعة من وكلاء OpenAI الذين تمكنوا بصورة مستقلة من اختراق شركة الذكاء الاصطناعي Hugging Face.
وقال نائب رئيس الذكاء الاصطناعي المؤسسي في إنفيديا، جاستن بويتانو: «بناءً على ما نعرفه، كان يمكن لهذه المنصة الأمنية الجديدة أن تمنع الاختراق لو استُخدمت مبكراً داخل مختبرات الذكاء الاصطناعي المتقدمة خلال عمليات تقييم النماذج».
وجاءت الحادثة ضمن سلسلة من الوقائع التي زادت المخاوف المتعلقة بأمن أنظمة الذكاء الاصطناعي. وشملت حوادث أخرى نماذج تابعة لـOpenAI، بينها اختراق موقع تابع لإدارة صحية أسترالية.
كما كشفت شركتا أنثروبيك وميتا عن حالات قامت فيها أنظمة ذكاء اصطناعي تابعة لهما باختراق مؤسسات أخرى بصورة مستقلة.
صلاحيات محددة للوكلاء
تتضمن المنصة برنامجاً مفتوح المصدر يحمل اسم OpenShell، ويتيح للمطورين التحقق رسمياً من أن وكيل الذكاء الاصطناعي يمتلك الصلاحيات الكافية لأداء مهمته، من دون منحه صلاحيات إضافية لا يحتاج إليها.
وأوضح بويتانو أن الفكرة تقوم على منح الوكيل الحد الأدنى الضروري من السلطات اللازمة لإنجاز المهمة المطلوبة.
كما تشمل المنصة طبقة أمنية مستقلة تحمل اسم Sentry، تعمل مباشرة على الشريحة الإلكترونية وتراقب نشاط وكيل الذكاء الاصطناعي بصورة مستمرة.
وقالت إنفيديا إن هذه الطبقة تستطيع التدخل فوراً إذا بدأ الوكيل بمحاولة تجاوز الهدف أو الصلاحيات المحددة له.
وأضاف بويتانو: «OpenShell يتحكم في تصرفات الوكيل، بينما يراقب Sentry السلوك المشبوه بشكل مستقل ويعمل على احتوائه».
أكثر من 100 شركة تستخدم النظام
وقالت إنفيديا إن أكثر من 100 شركة بدأت استخدام النظام بالتزامن مع إطلاقه، من بينها مايكروسوفت، وبيربلكسيتي، وأكسنتشر، وجيه بي مورغان تشيس.
وتأتي المنصة الجديدة في وقت تتزايد فيه قدرة وكلاء الذكاء الاصطناعي على تنفيذ مهام معقدة بشكل مستقل، ما يدفع شركات التكنولوجيا إلى تطوير أنظمة حماية أكثر صرامة للحد من مخاطر تجاوز هذه الأدوات للصلاحيات الممنوحة لها.
