ناديلا يدعو إلى «فرامل طوارئ» للذكاء الاصطناعي.. «افترضوا أن النماذج مخترقة»
دعا ساتيا ناديلا، الرئيس التنفيذي لمايكروسوفت، الشركات إلى إعادة تصميم منظومة الأمان المحيطة بالذكاء الاصطناعي المتقدم، بحيث تتوافر آلية تتيح للأشخاص المخولين إيقاف النماذج أو تعليق عملها فورًا، محذرًا من أن التعامل مع هذه الأنظمة باعتبارها موثوقة بصورة تلقائية قد يعرّض البيانات والأنظمة الحساسة لمخاطر متزايدة.
وفي منشور مطول عبر منصة «إكس» يوم السبت، طرح ناديلا تصورًا أمنيًا يقوم على افتراض إمكانية اختراق نماذج الذكاء الاصطناعي واحتواء مخاطرها منذ البداية، بدلًا من الاكتفاء بتقييم الإجابات والتوصيات التي تقدمها أو الاعتماد على ضمانات السلامة التي يعلنها مطوروها.
وتأتي الدعوة في وقت تتزايد فيه المخاوف بشأن قدرة وكلاء الذكاء الاصطناعي على تنفيذ إجراءات متتابعة والوصول إلى أنظمة خارجية، ما يجعل ضبط صلاحياتها ومراقبة تحركاتها جزءًا أساسيًا من تأمين استخدامها داخل الشركات والمؤسسات.
«فرامل طوارئ».. إنسان يملك قرار الإيقاف
يرى ناديلا أن أنظمة الذكاء الاصطناعي المتقدمة لا ينبغي التعامل معها باعتبارها مجرد صناديق مغلقة تقدم إجابات يمكن قبولها أو رفضها، خصوصًا عندما تكون متصلة بأدوات العمل والبيانات والأنظمة التشغيلية.
وبدلًا من ذلك، دعا إلى بناء بيئة تشغيل تسمح بفصل النموذج عن البرمجيات التي توجه أعماله وتمنحه صلاحية تنفيذ المهام، مع وضع ضوابط خارجية تظل فعالة حتى إذا تصرف النموذج بصورة غير متوقعة.
ويتمثل أحد أهم مقترحاته في ضمان قدرة شخص مخول على إيقاف النموذج أو تعليق مهمته أثناء التنفيذ، بما يمنع استمرار سلسلة من الإجراءات غير المرغوب فيها لمجرد أن النظام بدأ تنفيذها بالفعل.
ولا يتعلق المقترح بإطلاق منتج جديد من مايكروسوفت، بل بتصور أمني يدعو إلى جعل التحكم البشري جزءًا أساسيًا من تصميم أنظمة الذكاء الاصطناعي المتقدمة وتشغيلها.
سجلات غير قابلة للتلاعب لفحص قرارات الذكاء الاصطناعي
لم يقتصر طرح ناديلا على إيقاف الأنظمة عند الضرورة، بل شمل أيضًا إنشاء سجلات موثوقة توثق الإجراءات المهمة التي ينفذها وكلاء الذكاء الاصطناعي.
ودعا إلى الاحتفاظ بأدلة واضحة ومقروءة للبشر، يصعب التلاعب بها، بما يسمح بمراجعة ما فعله النظام، والأدوات التي استخدمها، والقرارات التي اتخذها أثناء تنفيذ المهمة.
وتكتسب هذه السجلات أهمية خاصة عندما تعمل النماذج داخل بيئات الشركات، حيث يمكن أن تتعامل مع معلومات مالية أو بيانات عملاء أو أنظمة داخلية. ففي هذه الحالات، لا يكفي معرفة النتيجة النهائية؛ بل يصبح من الضروري تتبع الإجراءات التي أدت إليها والتحقق من أنها تمت ضمن الصلاحيات الممنوحة.
كما يدعم هذا النهج إجراء عمليات تدقيق مستقلة، بدلًا من ترك تقييم سلامة النموذج بالكامل للجهة التي طورته أو تشغله.
لماذا يطالب ناديلا بافتراض الاختراق؟
يقوم جوهر المقترح على نقل الأمان من مرحلة اكتشاف المشكلة إلى مرحلة الاستعداد لاحتمال وقوعها.
فحتى إذا صُمم النموذج ليعمل وفق ضوابط محددة، فإن اتصاله بأدوات خارجية وبيانات حساسة وقدرته على تنفيذ مهام متعددة قد يفتح مسارات للمخاطر، سواء نتيجة اختراق أو خلل أو سلوك غير متوقع.
ولهذا، أوصى ناديلا بتقييد صلاحيات الأنظمة المستقلة، وفصل قدراتها عن إمكاناتها التنفيذية، وعدم منحها وصولًا واسعًا إلى المعلومات أو الأنظمة لمجرد قدرتها التقنية على التعامل معها.
ويعني ذلك أن أمان الذكاء الاصطناعي لا يعتمد فقط على جودة النموذج أو مدى دقة إجاباته، بل أيضًا على ما يستطيع الوصول إليه، وما يُسمح له بتنفيذه، وكيف يمكن احتواء تصرفاته عند حدوث خلل.
حوادث أمنية تعيد فتح ملف الرقابة على النماذج
تأتي تصريحات ناديلا في أعقاب تقارير عن حوادث وتقييمات أمنية أظهرت تصرفات غير متوقعة لبعض أنظمة الذكاء الاصطناعي، بما في ذلك محاولات الوصول إلى أنظمة خارجية أو تنفيذ إجراءات لم تكن متوقعة من القائمين على الاختبارات.
وأعادت هذه التطورات تسليط الضوء على المخاطر التي قد تنشأ عندما تنتقل أدوات الذكاء الاصطناعي من الإجابة عن الأسئلة إلى تنفيذ المهام بصورة شبه مستقلة، مع امتلاكها صلاحيات استخدام المتصفحات والبرمجيات والبيانات.
وفي هذا السياق، تتجه المناقشات الأمنية إلى ضرورة وضع حدود واضحة لعمل الوكلاء الذكيين، وتوفير وسائل لمراقبة التنفيذ والتدخل البشري، إلى جانب الإبلاغ عن الإخفاقات الجوهرية والثغرات الأمنية حتى تتمكن المؤسسات الأخرى من الاستفادة من الدروس المستخلصة.
الإبلاغ عن الإخفاقات لتعزيز حماية الشركات
طالب ناديلا كذلك بزيادة الشفافية بشأن الإخفاقات الكبيرة والحوادث الأمنية المرتبطة بالذكاء الاصطناعي، حتى لا تبقى المعلومات محصورة داخل المؤسسة التي واجهت المشكلة.
ومن شأن مشاركة المعلومات ذات الصلة أن تساعد الشركات والمؤسسات الأخرى على مراجعة ضوابطها واكتشاف نقاط الضعف قبل أن تتكرر حوادث مماثلة في بيئات مختلفة.
وتشمل المنظومة التي يدعو إليها ناديلا عدة مستويات متكاملة: اختبارات مستقلة، وسجلات قابلة للتحقق، وقيود على الصلاحيات، وإمكانية الإيقاف البشري، وآليات للإفصاح عن الحوادث المهمة.
وتعكس هذه الدعوات تحولًا في النقاش حول أمان الذكاء الاصطناعي، من التركيز على منع الأخطاء فحسب إلى الاستعداد لاحتوائها والتحكم في آثارها عندما تقع.
مايكروسوفت أمام تحدي تأمين الأنظمة التي تطورها وتشغلها
تكتسب تصريحات ناديلا أهمية خاصة بالنسبة إلى مايكروسوفت، التي تطور نماذج للذكاء الاصطناعي وتشغل مساعد «Copilot»، إلى جانب توفير البنية التحتية السحابية التي تعتمد عليها تطبيقات وخدمات مؤسسية واسعة النطاق.
فكلما اتسع استخدام الوكلاء الذكيين في بيئات العمل، ازدادت أهمية تحديد الصلاحيات التي يحصلون عليها، ومراقبة تفاعلهم مع الأنظمة الخارجية، وضمان وجود مسار واضح للتدخل عند حدوث خلل.
ولا تعني الدعوة أن جميع نماذج الذكاء الاصطناعي مخترقة بالفعل، بل إنها تقوم على التعامل مع الاختراق باعتباره احتمالًا أمنيًا يجب الاستعداد له، بدلًا من بناء الأنظمة على افتراض أن النموذج سيظل آمنًا في كل الظروف.
وبهذا الطرح، يضع ناديلا التحكم البشري واحتواء المخاطر وقابلية التدقيق في صميم النقاش بشأن مستقبل الذكاء الاصطناعي المتقدم، في وقت يتسع فيه استخدام هذه التقنيات لتنفيذ أعمال أكثر حساسية وتعقيدًا.
