مصفوفة شدة حوادث الذكاء الاصطناعي التوليدي: نموذج تسجيل النقاط المخصص للاستجابة للأمن السيبراني

حادث تكنولوجيا المعلومات:

حادث تكنولوجيا المعلومات هو أي انقطاع غير مخطط له أو انخفاض في جودة خدمة تكنولوجيا المعلومات. تتراوح الحوادث من مشكلات بسيطة، مثل بطء التطبيق، إلى اضطرابات حرجة، بما في ذلك انقطاع الخادم. تهدف إدارة الحوادث (IM) إلى التعامل مع هذه الحوادث بفعالية، مما يضمن استعادة خدمات تكنولوجيا المعلومات بسرعة.

الحادث السيبراني:

حدث قد يعرض للخطر سرية أو سلامة أو توافر المعلومات أو نظام المعلومات، أو يشكل تهديدًا لسياسات الأمن أو إجراءات الحماية.

الاستجابة للحوادث السيبرانية ومستويات الخطورة:

الاستجابة للحوادث (IR) هي عملية منظمة تتبعها المؤسسة للتعافي من حادث أمني. الهدف الأساسي لبرنامج الاستجابة للحوادث السيبرانية هو الحد من الضرر وتقليل التكلفة ووقت التعافي من خرق أمني، مما يضمن استمرارية الأعمال والحفاظ على سلامة الأنظمة والبيانات.

\ يجب أن يكون للحوادث مستويات خطورة مختلفة لأن ليس لجميع الأحداث نفس التأثير على العمل. يعد تعيين مستوى الخطورة خطوة حاسمة تملي سرعة ونطاق الموارد المخصصة للاستجابة.

حادث الذكاء الاصطناعي التوليدي ومصفوفة الخطورة:

أصبح الاستخدام العام لأساليب الذكاء الاصطناعي (AI)، بما في ذلك الذكاء الاصطناعي التوليدي (GenAI) ونماذج اللغة الكبيرة (LLMs) للأنشطة الشخصية والمهنية، ممكنًا بسبب التقدم التكنولوجي في أنظمة المحول التوليدي المدرب مسبقًا (GPT). أنشأت تطبيقات الذكاء الاصطناعي التوليدي مخاطر أمنية جديدة، مما يتطلب من فرق أمن المعلومات توسيع مسؤوليات الحماية لتشمل هذه الأنظمة.

\ تشمل أنواع الحوادث المحتملة روبوتات الدردشة التي تضلل العملاء، والبيانات المسربة من وكيل الذكاء الاصطناعي، والكثير غيرها. تتطلب فرق مركز عمليات الأمن (SOC) والاستجابة للحوادث (IR) مصفوفة خطورة مطبقة لحوادث الذكاء الاصطناعي لإنشاء نظام موحد يحدد التأثيرات الفعلية ومستويات خطورة الأحداث المتعلقة بالذكاء الاصطناعي.

\ تعمل الأداة الموصوفة في المقالة على تحديد مستويات خطورة الحوادث لتوزيع موارد الاستجابة للحوادث بشكل صحيح. يدمج النظام الجديد البيانات الرقمية مع عوامل التقييم البشري باستخدام طريقة تقييم تعتمد على المصفوفة.

\ تحتوي المصفوفة على خمسة "أبعاد تأثير" تقيم التأثيرات على وظائف الذكاء الاصطناعي، وسلامة البيانات، وتوافر العمليات، والسمعة، وجهود المعالجة.

\ تمكن الأداة من تقييم كل بعد من خلال نظام تسجيل النقاط، والذي يمكن أن يكون له درجات منخفضة (1)، متوسطة (2)، عالية (3)، أو حرجة (4).

العوامل التي يجب مراعاتها قبل إعلان الحادث:

يجب إجراء تقييم أولي قبل إعلان حادث الذكاء الاصطناعي لأنه يساعد في تحديد الحاجة إلى موارد كبيرة وإجراءات فرز فورية. تمتلك أنظمة الذكاء الاصطناعي خصائص مميزة تميزها عن جميع الأنظمة الأخرى.

\ يحتاج التقييم إلى تحديد أنظمة الذكاء الاصطناعي التي شاركت في الحادث وتحديد أهميتها للسلامة التشغيلية وعمليات الأعمال. بعض أمثلة الأنظمة هي روبوتات الدردشة، ونماذج رؤية الكمبيوتر، وأنظمة التوصية، ووكلاء الذكاء الاصطناعي المخصصين، إلخ. يتطلب تقييم التأثير الوظيفي من الباحثين تحليل كيفية تغير التصميم التشغيلي عندما تواجه أنظمة الذكاء الاصطناعي هجمات خصومية.

\ يظهر النظام مستويات مختلفة من الخلل، والتي تشمل مشاكل أداء طفيفة تؤثر على الدقة والسرعة، ومشاكل رئيسية تؤدي إلى انهيار النظام ونتائج خطيرة أو غير عادلة. قد تكون بعض مشكلات الأداء حول انخفاض الدقة وزيادة زمن الاستجابة من النموذج.

\ يتطلب النظام تحديد شيئين وفقًا لإطار عمل ATLAS: طبيعة الشذوذ المكتشف وما إذا كان ناتجًا عن هجوم خصومي أو خلل في النظام. يسمح MITRE ATLAS (MITRE، 2025) للمستخدمين بتحديد تقنيات هجوم معينة (مثل حقن موجه لنموذج اللغة الكبير، تسميم بيانات التدريب، رفض خدمة الذكاء الاصطناعي)، والتي تظهر كلاً من أهداف الهجوم وتصنيفها المقابل.

\ يتضمن التقييم التحقق من سلامة البيانات وسريتها من خلال التحقق من أي اختراق لبيانات التدريب أو التحقق والمعلومات الحساسة (المعلومات الشخصية، معلومات الصحة الشخصية، الملكية الفكرية للنموذج) والتسريب. يجب أن تحدد عملية التقييم مدى تأثير مخرجات نظام الذكاء الاصطناعي على عناصر خدمة الأعمال التشغيلية والنظامية التي تعتمد على نتائجه. يجب تحديد مدى الخطر الجسدي وكذلك الخسارة المالية للعمل.

حساب خطورة الحادث المعلن

يحتاج تقييم الحوادث المعلنة إلى طرق موحدة لإنشاء إجراءات استجابة مناسبة. يتطلب تقييم خطورة الحادث كلاً من نقاط البيانات الرقمية والحكم البشري من خلال أنظمة تعتمد على المصفوفة لتحقيق تقييم دقيق. يصل مستوى خطورة الحادث إلى قيمته القصوى من أي فئة تأثير ذات صلة، مما يسمح للعناصر الشديدة بزيادة الحادث بأكمله إلى حالة أولوية أعلى.

يتراوح نظام التسجيل لكل بعد ذي صلة (A-E) من 1 إلى 4 لتحديد خطورة الحادث للمؤسسات. يصبح تصنيف خطورة الحادث هو الدرجة القصوى من جميع الأبعاد التي تم تقييمها، والتي تحدد مستوى الخطورة الكامل. يمكن أن يصل الحادث إلى حالة "حرجة" إذا كانت درجة التأثير الوظيفي "2"، ولكن تأثير البيانات يصل إلى "4" بينما تتراوح الأبعاد الأخرى من "1" إلى "2". تسمح عملية التقييم المنظمة للمؤسسات بالحصول على نتائج موحدة مع تسريع عملية التقييم.

\ تحتاج المؤسسات إلى الاختيار بين تنفيذ هذا الإطار كما هو أو إنشاء إصدارها الخاص الذي يتطابق مع أنظمة الحساب الحالية لإنشاء مستويات خطورة حوادث الذكاء الاصطناعي.

ترتيب المخاطر حسب أولوية خطورة حادث الذكاء الاصطناعي:

يساعد حساب مستوى الخطورة فرق الاستجابة للحوادث على تحديد المخاطر التي تحتاج إلى اهتمامهم الفوري عند التخطيط لاستجابتهم وتخصيص الموارد. تتطلب الاستجابة للحوادث الشديدة نشرًا فوريًا لفريق متخصص يتكون من خبراء الأمن السيبراني، ومهندسي الذكاء الاصطناعي/التعلم الآلي، وعلماء البيانات، والمحترفين القانونيين، وممثلي العلاقات العامة. تحتاج الاستجابة للحوادث ذات مستويات الخطورة المنخفضة إلى عدد أقل من الموظفين لإدارتها.

\ تحتاج الحوادث الحرجة إلى إخطار فوري للمديرين التنفيذيين وأعضاء مجلس الإدارة والفريق القانوني والهيئة التنظيمية وأصحاب المصلحة العامة، ولكن يجب أن تتلقى الحوادث منخفضة الخطورة مشاركة معلومات داخلية محدودة فقط. تعمل عمليات إيقاف تشغيل النظام، إلى جانب قطع اتصالات واجهة برمجة التطبيقات، كآليات دفاع أولى توقف انتشار الحوادث عالية الخطورة. تحتاج عملية احتواء الحوادث ذات الخطورة المنخفضة إلى منع حدوث اضطرابات تشغيلية كبيرة.