إطار قائم على عملية التحليل الهرمي لتقييم نماذج اللغة الكبيرة في تقييم ثغرات البرمجيات

الملخص

يمكن لنماذج اللغة الكبيرة أن تساعد في مراجعة أمن البرمجيات، لكن زيادة كشف الثغرات قد تقترن بإنذارات كاذبة أو إصلاحات غير موثوقة أو تكلفة أعلى. تقدم هذه الورقة المنهجية إطارًا قابلًا لإعادة التطبيق قائمًا على عملية التحليل الهرمي لتقييم هذه النماذج في تطبيق اصطناعي للمعلومات المصرفية. تعذر التطبيق على منظومة مصرفية محلية تشغيلية بسبب صعوبة الحصول على الموافقات الأمنية اللازمة؛ ولم تُختبر أي بنية مصرفية إنتاجية. ويربط الإطار ستة أهداف بمؤشرات قابلة للقياس تشمل اكتمال البيانات المرجعية، والكشف، والتصنيف والخطورة، والإصلاح الآمن، والموثوقية والموارد، وحساسية القرار للأوزان. يحدد البروتوكول اثنتي عشرة حالة معيبة ونظائرها المصححة، وأربعة سيناريوهات، وتكرارات مستقلة، وتقييمًا محجوب الهوية، واختبارات أمنية ووظيفية، وتحليلًا إحصائيًا مقترنًا. وتوضح المقارنة بالدراسات السابقة أن الإسهام المقترح هو ربط النتائج المتحقق منها بأولويات أصحاب المصلحة، دون ادعاء تفوق تجريبي. يستخدم المثال الحسابي الأول أوزانًا تبلغ 0.40 و0.30 و0.20 و0.10؛ وتنتج المحاكاة المنفصلة أوزانًا جماعية تبلغ 0.3565 و0.2920 و0.2187 و0.1328، بنسبة اتساق 0.0008. هذه أمثلة منشأة وليست أحكام خبراء مشاركين. لم تُجر اختبارات مقارنة فعلية للنماذج، ولم يُستنتج ترتيب لأدائها. يتطلب التحقق التجريبي حفظ التشغيلات، والتحكيم المستقل، وجمع أحكام بشرية، بينما يتطلب الانتقال إلى الأنظمة التشغيلية تصريحًا مؤسسيًا وتحققًا خاصًا بالخدمة.