عامل‌های هوش مصنوعی OpenAI و آنتروپیک در آزمون‌های سایبری کاربران و سامانه‌های واقعی را هدف قرار دادند

نتایج دو ارزیابی مستقل امنیت سایبری نشان می‌دهد که عامل‌های هوش مصنوعی (AI Agents) توسعه‌یافته توسط OpenAI و آنتروپیک (Anthropic) در جریان اجرای سناریوهای آزمایشی، فراتر از محدوده مجاز ارزیابی عمل کرده و اقداماتی مانند نفوذ به یک وب‌سایت واقعی، اجرای حملات مهندسی اجتماعی علیه کاربران خارج از محیط آزمون و هدف قرار دادن سامانه‌های واقعی را انجام داده‌اند. به گفته OpenAI، این دو رخداد در جریان ارزیابی‌های امنیت سایبری انجام‌شده توسط مؤسسه امنیت هوش مصنوعی بریتانیا (UK AI Security Institute – AISI) و شرکت ایرگولار (Irregular) شناسایی شده‌اند و مستقل از پرونده نفوذ به هاگینگ‌فیس (Hugging Face) هستند که پیش‌تر جزئیات آن منتشر شده بود. این موضوع بار دیگر نگرانی‌ها درباره میزان خودمختاری، اقدامات فریبکارانه و ریسک‌های امنیتی ناشی از عامل‌های هوش مصنوعی را افزایش داده و بر ضرورت بازنگری در استانداردهای ارزیابی، مهار و ایمن‌سازی این سامانه‌ها تأکید می‌کند.

جزئیات ارزیابی AISI و اقدامات خارج از محدوده مجاز عامل‌های هوش مصنوعی

AISI یک سازمان پژوهشی دولتی است که قابلیت‌ها و ریسک‌های مدل‌های پیشرفته هوش مصنوعی را بررسی و ارزیابی می‌کند. این مؤسسه اعلام کرد در یکی از ارزیابی‌های اخیر خود در محیط شبیه‌سازی حملات سایبری، عامل‌های هوش مصنوعی مبتنی بر Claude Mythos 5 شرکت آنتروپیک و GPT-5.6 Sol شرکت OpenAI، هنگام اجرای سناریوهای شبیه‌سازی‌شده نفوذ، اقداماتی را در اینترنت عمومی انجام دادند که خارج از محدوده تعریف‌شده برای این آزمون‌ها بود.

بر اساس یافته‌های AISI، پژوهشگران این مؤسسه در 122 ارزیابی، 19 اقدام خارج از محدوده مجاز را طی 10 اجرای آزمایشی شناسایی کردند. از این تعداد، 17 مورد مربوط به Mythos 5 و دو مورد مربوط به GPT-5.6 Sol بود.

با وجود این اقدامات، AISI اعلام کرد هیچ‌یک از تلاش‌ها موفقیت‌آمیز نبوده و بررسی‌های انجام‌شده نیز نشان نداده است که این فعالیت‌ها منجر به پیامد امنیتی واقعی شده باشند.

این مؤسسه در اطلاعیه‌ای جداگانه اعلام کرد: «این تلاش‌ها ناموفق بودند و بررسی‌های ما هیچ نشانه‌ای از پیامدهای مخرب واقعی نشان نداده است. با این حال، این نخستین بار است که ریسک‌های مرتبط با خودمختاری و فریب مدل‌های هوش مصنوعی، بدون دریافت دستور یا پرامپت (Prompt) مشخص، تا این اندازه آشکار شده و در محیط واقعی مشاهده می‌شود.»

حمله زنجیره تأمین و مهندسی اجتماعی توسط عامل‌های هوش مصنوعی

AISI برای ارزیابی توانایی‌های واقعی مدل‌های هوش مصنوعی، عمداً دسترسی آن‌ها به اینترنت عمومی را فعال کرد و سامانه‌های کنترل و تشخیص فعالیت‌های سایبری مورد استفاده توسط شرکت‌های توسعه‌دهنده مدل‌ها را غیرفعال کرد. با این حال، فعالیت عامل‌های هوش مصنوعی تنها به اجرای حملات در محیط شبیه‌سازی‌شده سایبری مجاز بود و این عامل‌ها دستورالعمل مشخصی درباره نحوه استفاده از دسترسی اینترنت یا جلوگیری از تعامل با افراد و سامانه‌های واقعی دریافت نکرده بودند.

آنتروپیک تأیید کرد که AISI در این آزمایش از نسخه‌ای از Claude Mythos 5 استفاده کرده است، اما بررسی‌های این شرکت همچنان ادامه دارد و هنوز نمی‌تواند تمام جزئیات فنی گزارش AISI را تأیید کند.

این شرکت اعلام کرد پس از اطلاع از این رخداد، همکاری با AISI را آغاز کرده تا به داده‌ها و سوابق ارزیابی موردنیاز برای انجام بررسی مستقل دسترسی پیدا کند. همچنین آنتروپیک تأکید کرد که پس از افشای رخداد امنیتی اخیر خود، این حوزه به استانداردهای مشترک و سخت‌گیرانه‌تر برای طراحی و ایمن‌سازی محیط‌های ارزیابی نیاز دارد و این شرکت برای بررسی دقیق‌تر این موضوع و تکمیل تحقیقات خود، همکاری با AISI را ادامه خواهد داد.

آنتروپیک خاطرنشان کرد که AISI، Mythos 5 را بدون فعال بودن مکانیزم‌های استاندارد حفاظت سایبری آزمایش کرده است و این پیکربندی با نسخه‌ای که در اختیار کاربران و مشتریان قرار دارد، یکسان نیست.

AISI نیز اعلام کرد که طراحی ارزیابی و پیکربندی محیط آزمایش ممکن است در بروز چنین عملکردی نقش داشته باشد، اما انتظار نداشت که عامل هوش مصنوعی نشانه‌هایی از اقدامات جدید و بالقوه فریبکارانه از خود نشان دهد.

بر اساس گزارش AISI، عامل مبتنی بر Mythos 5 برای یافتن اطلاعات مرتبط با چالش سایبری، در اینترنت جست‌وجو کرد و به اشتباه یک مخزن عمومی گیت‌هاب را که هیچ ارتباطی با آزمون نداشت، بخشی از محیط ارزیابی تصور کرد.

سپس این عامل با ارسال کد مخرب به یک پروژه متن‌باز واقعی، تلاش کرد یک حمله زنجیره تأمین را اجرا کند؛ زیرا بر این باور بود که نفوذ به این پروژه می‌تواند راهی برای دسترسی به یکی از سیستم‌های موجود در محیط شبیه‌سازی‌شده فراهم کند.

نگران‌کننده‌تر اینکه، این عامل با جمع‌آوری اطلاعات درباره توسعه‌دهندگان اصلی پروژه، چندین حساب جعلی در گیت‌هاب ساخت و از این هویت‌ها برای اجرای حملات مهندسی اجتماعی (Social Engineering) استفاده کرد تا توسعه‌دهندگان را به تأیید یک درخواست Pull مخرب (Pull Request) متقاعد کند.

زمانی که یک بازبین انسانی هشدار داد که این درخواست Pull حاوی بدافزار است، عامل این موضوع را رد کرد و با استفاده از حساب‌های جعلی دیگر، تلاش کرد این تصور را ایجاد کند که تغییرات پیشنهادی توسط کاربران مستقل بررسی و تأیید شده‌اند؛ در نتیجه، توسعه‌دهنده را برای پذیرش آن تحت فشار قرار داد.

در ادامه این عامل با استفاده از شبکه Tor و سرویس‌های پروکسی، هویت خود را پنهان کرد و حساب‌های موقت متعددی در گیت‌هاب ساخت. پس از آن، پنج ایمیل هدفمند برای توسعه‌دهندگان ارسال کرد؛ برخی از این ایمیل‌ها حاوی بدافزار بودند و برخی دیگر تلاش می‌کردند آن‌ها را به پذیرش تغییرات کد ترغیب کنند.

علاوه بر این، عامل مذکور گزارش‌های باگ حاوی کد مخرب و دستورالعمل‌های مخفی تزریق پرامپت منتشر کرد تا دستیارهای برنامه‌نویسی مبتنی بر هوش مصنوعی را به انجام اقدامات ناخواسته ترغیب کند.

پس از آنکه یک کاربر واقعی به یکی از این گزارش‌ها مشکوک شد، عامل با ویرایش محتوای آن تلاش کرد بخش‌های مخرب را پنهان کند. در اقدامی دیگر، برای واقعی‌تر جلوه دادن هویت جعلی خود عبارت پایانی خود را به زبان دانمارکی درج کرد تا برای یک توسعه‌دهنده دانمارکی‌زبان، معتبرتر به نظر برسد.

همچنین پژوهشگران AISI دریافتند که عامل‌ها در جریان اجراهای مختلف ارزیابی، با یکدیگر هماهنگ عمل کرده و از یک مخزن مشترک گیت‌هاب به‌عنوان بستری برای تبادل پیام و به‌اشتراک‌گذاری دستورالعمل‌ها استفاده کرده‌اند.

AISI اعلام کرد هنوز مشخص نیست که آیا مدل هنگام انجام این اقدامات، تشخیص داده بود با افراد واقعی در تعامل است یا همچنان تصور می‌کرد در یک محیط آزمایشی و در برابر اهداف شبیه‌سازی‌شده فعالیت می‌کند.