بنچمارک مهندسی معکوس محدودیت مدل‌های پیشرفته هوش مصنوعی را آشکار کرد

شرکت SentinelOne با معرفی یک بنچمارک مهندسی معکوس جدید، توانایی مدل‌های پیشرفته هوش مصنوعی را در انجام تحقیقات پیچیده امنیتی مورد ارزیابی قرار داده است. این بنچمارک که بر اساس پرونده بدافزار Fast16 توسعه یافته، بررسی می‌کند کدام مدل‌های هوش مصنوعی می‌توانند یک فرآیند تحلیل و تحقیق بدافزار طولانی‌مدت و چندمرحله‌ای را با حفظ انسجام تحلیلی ادامه دهند و کدام مدل‌ها در این مسیر با محدودیت مواجه می‌شوند.

SentinelOne این ارزیابی را به‌عنوان نخستین بنچمارک مهندسی معکوس بدافزار در مقیاس بلندمدت برای مدل‌های پیشرفته هوش مصنوعی معرفی کرده است؛ روشی که با تکیه بر تحقیقات این شرکت درباره Fast16، توانایی مدل‌های هوش مصنوعی را در بازنگری فرضیه‌ها، اصلاح خطاهای تحلیلی و مدیریت یک فرآیند واقعی بررسی بدافزار ارزیابی می‌کند. نتایج این آزمایش نشان می‌دهد اگرچه هوش مصنوعی در تحلیل تهدیدات سایبری پیشرفت قابل توجهی داشته است، اما همچنان برای انجام تحقیقات پیچیده بدافزار به نظارت و اعتبارسنجی متخصصان امنیتی نیاز دارد.

Fast16 بدافزاری برای آزمون توانایی هوش مصنوعی

بدافزار Fast16 که جزئیات آن در ماه آوریل توسط SentinelLabs، واحد تحقیقاتی امنیتی SentinelOne، منتشر شد، یک بدافزار ویندوزی مربوط به سال 2005 است که با هدف مختل کردن عملکرد نرم‌افزار مهندسی LS-DYNA توسعه یافته بود.

Fast16 سال‌ها پیش از بدافزار مشهور استاکس‌نت (Stuxnet) توسعه یافته و از برخی جهات شباهت‌هایی با این عملیات سایبری دارد. پژوهشگران احتمال می‌دهند این بدافزار احتمالاً توسط ایالات متحده طراحی شده و برای ایجاد اختلال در برنامه هسته‌ای ایران مورد استفاده قرار گرفته است.

بنچمارک مهندسی معکوس مدل‌های هوش مصنوعی

پژوهشگران SentinelLabs برای بررسی توانایی مدل‌های هوش مصنوعی در انجام تحقیقات پیچیده امنیتی، چندین مدل پیشرفته از جمله GPT-5.5 و جدیدترین مدل GPT-5.6 Sol از OpenAI، مدل GLM-5.2 از Z.ai و مدل‌های Opus 4.x از آنتروپیک (Anthropic) را مورد آزمایش قرار دادند. هدف این ارزیابی، مشخص کردن میزان توانایی این مدل‌ها در انجام یک فرآیند کامل و دقیق تحقیق و بررسی بدافزار درباره Fast16 بود.

در این آزمایش، بنچمارک مهندسی معکوس برخلاف ارزیابی‌های معمول که مدل‌ها را در وظایف کوتاه و مستقل بررسی می‌کنند، توانایی آن‌ها را برای پیشبرد یک فرآیند تحقیقاتی چندمرحله‌ای، دقیق و قابل اعتماد مورد سنجش قرار داد. این ارزیابی طی هشت مرحله متوالی انجام شد و در هر مرحله، شواهد جدیدی ارائه می‌شد که مدل‌ها را وادار می‌کرد تحلیل‌های قبلی خود را بازبینی کرده و در صورت نیاز، نتیجه‌گیری‌های پیشین را اصلاح کنند.

GPT-5.6 Sol تنها مدل موفق در تکمیل تمام مراحل ارزیابی

در میان مدل‌های بررسی‌شده، GPT-5.6 Sol تنها مدلی بود که توانست هر هشت مرحله این ارزیابی را با موفقیت پشت سر بگذارد. این مدل در سه اجرای جداگانه و با تنظیمات مختلف میزان تلاش برای استدلال آزمایش شد و در هر سه اجرا توانست فرآیند ارزیابی را تکمیل کند.

در مقابل، GPT-5.5، GLM-5.2 و مدل‌های Opus 4.7 و Opus 4.8 اگرچه تحلیل‌های اولیه قابل قبولی ارائه دادند، اما نتوانستند این فرآیند تحقیقاتی را تا پایان ادامه دهند.  مدل GPT-5.5 حتی نتوانست مرحله نخست ارزیابی را پشت سر بگذارد، در حالی که مدل‌های Opus پیش از برطرف شدن تمامی خطاها و ایرادات موجود، فرآیند تحلیل را پایان‌یافته اعلام کردند.

نتایج بنچمارک مهندسی معکوس نشان داد که مدل‌های هوش مصنوعی برای انجام تحقیقات پیچیده امنیتی، تنها به توانایی تحلیل اولیه نیاز ندارند؛ بلکه باید بتوانند در طول یک فرآیند چندمرحله‌ای، یافته‌های جدید را بررسی کرده و تحلیل‌های قبلی خود را اصلاح کنند.

اهمیت قابلیت بازیابی در مقیاس پروژه برای مدل‌های هوش مصنوعی

SentinelLabs معتقد است تفاوت میان عملکرد مدل‌های آزمایش‌شده، به میزان دانش فنی یا توانایی تحلیل اولیه آن‌ها محدود نمی‌شود؛ بلکه به قابلیتی مرتبط است که این شرکت آن را بازیابی در مقیاس پروژه (Project-Scale Recovery) می‌نامد.

این قابلیت به مدل کمک می‌کند تا پس از مشخص شدن اشتباه بودن یک نتیجه‌گیری، مسیر تحلیل خود را بازبینی کند؛ به این معنا که با بررسی بخش‌های تحت تأثیر آن خطا و شناسایی ریشه اصلی ضعف، اصلاحات لازم را در ادامه فرآیند اعمال کند. در واقع، مدل نباید تنها به رفع یک خطای مقطعی بسنده کند، بلکه باید بتواند پیامدهای آن خطا را در کل روند تحلیل شناسایی و اصلاح کند.

در این ارزیابی، بنچمارک مهندسی معکوس توانایی مدل‌ها را در مدیریت تحقیقات پیچیده و چندمرحله‌ای بررسی می‌کند؛ تحقیقاتی که در آن‌ها مدل باید به‌طور مداوم فرضیه‌های قبلی خود را بازبینی کند، با شواهد جدید سازگار شود و انسجام تحلیل‌های خود را حفظ کند.

نقش نظارت انسانی در تحقیقات امنیتی همچنان حیاتی است

پژوهشگران SentinelLabs در پایان این ارزیابی تأکید کردند که نظارت انسانی همچنان برای تحقیقات امنیتی ضروری است؛ زیرا حتی GPT-5.6 Sol که بهترین عملکرد را در این آزمایش داشت نیز مرتکب خطاهای فنی قابل توجهی شد. به گفته پژوهشگران، مهندسان ارشد مهندسی معکوس همچنان نقش حیاتی در این فرآیند دارند. حتی بهترین اجراهای مدل‌ها نیز با خطاهای معنایی، پذیرش کنترل‌های کیفی ضعیف و اعلام آمادگی پیش از تکمیل کامل بررسی‌ها همراه بودند.

پژوهشگران اعلام کردند بهترین کاربرد فعلی این فناوری، استفاده از مدل‌های هوش مصنوعی به‌عنوان یک عامل تحقیقاتی تحت نظارت (Supervised Investigative Agent) است؛ به‌گونه‌ای که تحلیلگران انسانی اهداف را تعیین کنند، نقاط کور را شناسایی نمایند و اختیار نهایی انتشار نتایج را در اختیار داشته باشند.

آغاز ارزیابی مدل‌های هوش مصنوعی با بنچمارک مهندسی معکوس

تحقیقات SentinelOne نشان می‌دهد که ارزیابی مدل‌های هوش مصنوعی در حوزه امنیت سایبری تنها با سنجش عملکرد آن‌ها در وظایف کوتاه و مشخص امکان‌پذیر نیست. این شرکت با طراحی بنچمارک مهندسی معکوس تلاش کرده است توانایی مدل‌ها را در مدیریت تحقیقات طولانی، اصلاح خطاها و حفظ اعتبار تحلیل‌ها بررسی کند.

منابع