مدل هوش مصنوعی متا (Meta) در جریان یک ارزیابی امنیت سایبری، به‌دلیل پیکربندی نادرست محیط آزمایش به اینترنت عمومی دسترسی پیدا کرد و موفق شد به یک شرکت واقعی نفوذ کرده و تغییراتی در سیستم‌های داخلی آن ایجاد کند. این رخداد پس از آن رقم خورد که OpenAI از نفوذ عامل‌های (Agent) هوش مصنوعی خود به زیرساخت‌های هاگینگ فیس (Hugging Face) خبر داده بود. اکنون مدل هوش مصنوعی متا نیز به جمع نمونه‌هایی پیوسته است که ضعف در ایزوله‌سازی محیط آزمایش، دسترسی آن‌ها به منابع خارج از محدوده تعریف‌شده و تعامل با زیرساخت‌های واقعی را ممکن کرده است؛ رخدادی که ضرورت ایمن‌سازی دقیق محیط‌های ارزیابی و کنترل دسترسی مدل‌های هوش مصنوعی را بیش از پیش نشان می‌دهد.
جزئیات رخداد مدل هوش مصنوعی متا و نقش شرکت ایرگولار
بر اساس گزارش‌های منتشرشده، مدل Muse Spark 1.1 متعلق به متا با سوءاستفاده از یک آسیب‌پذیری امنیتی در یک سرویس شخص ثالث، به یک شرکت ناشناس نفوذ کرد و تغییراتی در سیستم‌های داخلی آن به وجود آورد. طبق این گزارش‌ها، دسترسی مدل به اینترنت عمومی در پی یک خطای پیکربندی در محیط آزمایش سندباکس (Sandbox) امکان‌پذیر شد؛ محیطی که برای ارزیابی توانایی‌های سایبری مدل‌ها و با همکاری شرکت مستقل ارزیابی امنیت سایبری ایرگولار (Irregular) راه‌اندازی شده بود. این محیط قرار بود دسترسی مدل به اینترنت عمومی و زیرساخت‌های واقعی را به‌طور کامل محدود کند.
متا تاکنون به‌صورت رسمی تأیید نکرده است که Muse Spark 1.1 همان مدلی بوده که در این رخداد به سیستم‌های یک شرکت واقعی دسترسی پیدا کرده است. همچنین این شرکت نام شرکت هدف و جزئیات تغییراتی که مدل در سیستم‌های داخلی آن ایجاد کرده را اعلام نکرده است.
با این حال، طبق گزارش متا، یک خطای پیکربندی در محیط ارزیابی ایرگولار، به‌طور ناخواسته دسترسی یکی از مدل‌های این شرکت به اینترنت را فراهم کرده است. مدل هوش مصنوعی متا پس از دسترسی به اینترنت، از یک آسیب‌پذیری امنیتی در یک سرویس شخص ثالث سوءاستفاده کرد؛ اقدامی که متا آن را مشابه نمونه‌های پیش‌تر گزارش‌شده در شرکت‌های دیگر دانسته است.
متا اعلام کرده است که بررسی این رخداد همچنان ادامه دارد و پس از روشن شدن ابعاد مختلف آن، جزئیات بیشتری را منتشر خواهد کرد. تاکنون اطلاعات بیشتری درباره شرکت هدف و تغییرات ایجادشده در سیستم‌های آن از سوی متا یا ایرگولار منتشر نشده است.
تکرار یک ضعف در محیط ارزیابی مدل‌های هوش مصنوعی
شرکت ایرگولار اعلام کرده است که ماجرای مدل هوش مصنوعی متا، دقیقاً به همان ضعفی مربوط می‌شود که هفته گذشته در جریان ارزیابی‌های امنیتی آنتروپیک (Anthropic) نیز گزارش شده بود. این شرکت اعلام کرده است که در این رخداد، خبری از فرار از سندباکس (Sandbox Escape) یا اجرای یک عملیات سایبری پیچیده نبوده است؛ بلکه یک خطای پیکربندی در محیط آزمایش باعث شد مدل به اینترنت عمومی دسترسی پیدا کند، در حالی که قرار بود دسترسی آن به اینترنت کاملاً مسدود باشد.
ایرگولار اعلام کرده است که در حال حاضر مورد دیگری برای رسیدگی در این زمینه وجود ندارد و قصد دارد در قالب یک گزارش فنی، بهترین روش‌ها برای محدودسازی مدل‌ها و اجرای ایمن ارزیابی‌های سایبری را منتشر کند.
رخداد آنتروپیک؛ انتشار پکیج مخرب در PyPI
ماجرای مدل هوش مصنوعی متا در حالی رخ داد که آنتروپیک هفته گذشته از رخدادی مشابه در جریان ارزیابی‌های امنیتی خود خبر داده بود؛ در این رخداد، برخی از مدل‌های این شرکت به‌دلیل یک خطای پیکربندی در محیط آزمایش ایرگولار، به‌طور ناخواسته به اینترنت عمومی دسترسی پیدا کردند و توانستند به سه شرکت واقعی نفوذ کنند.
در یکی از این موارد، مدل Claude Mythos 5 در محیط شبیه‌سازی‌شده با دستورهای توسعه‌دهنده‌ای روبه‌رو شد که در آن‌ها نام یک پکیج پایتون غیرواقعی درج شده بود. مدل تصور کرد این پکیج می‌تواند راهی برای نفوذ به هدف شبیه‌سازی‌شده باشد؛ به همین دلیل، پکیجی مخرب با همان نام ساخت و آن را در مخزن واقعی PyPI منتشر کرد.
این پکیج حدود یک ساعت در PyPI باقی ماند و پیش از حذف، روی 15 سیستم واقعی دانلود و اجرا شد. یکی از این سیستم‌ها، یک اسکنر بدافزار متعلق به یک شرکت امنیتی بود. این پکیج مخرب در ادامه اطلاعات احراز هویت را از سیستم مذکور سرقت کرد و Claude با استفاده از این اطلاعات به زیرساخت‌های دیگری دسترسی یافت.
آنتروپیک اعلام کرد که مدل در ابتدا متوجه شده بود انتشار این پکیج در دنیای واقعی می‌تواند یک حمله محسوب شود، اما در ادامه خود را متقاعد کرد که همچنان در محیط شبیه‌سازی‌شده فعالیت می‌کند. این رخداد نشان می‌دهد که اگر مرز میان محیط آزمایش و زیرساخت‌های واقعی به‌درستی کنترل نشود، حتی یک خطای ساده در پیکربندی می‌تواند زمینه تعامل ناخواسته مدل با سامانه‌های واقعی را فراهم کند.
نفوذ مدل OpenAI به زیرساخت‌های واقعی در جریان ارزیابی امنیتی
OpenAI اخیراً از یک مورد دیگر در ارزیابی‌های امنیتی خود با همکاری ایرگولار پرده برداشت. در این آزمایش، نام یکی از اهداف شبیه‌سازی‌شده با یک دامنه واقعی مطابقت داشت.
از آنجا که محیط آزمایش برخلاف الزامات اولیه به اینترنت عمومی دسترسی داشت، مدل OpenAI توانست با سوءاستفاده از یک آسیب‌پذیری ساده در وب‌سایت واقعی، اطلاعات احراز هویت لازم را به دست آورد و با استفاده از آن، کنترل وب‌سایت را در اختیار بگیرد.
تفاوت این ماجرا با مدل هوش مصنوعی متا در نحوه دسترسی مدل به اینترنت بود. در مورد متا و ایرگولار، یک خطای پیکربندی در محیط ارزیابی باعث شد مدل به اینترنت عمومی دسترسی پیدا کند؛ اما در رخداد مربوط به هاگینگ فیس، مدل‌های OpenAI با سوءاستفاده از یک آسیب‌پذیری ناشناخته در یک سرور داخلی جی‌فراگ آرتیفکتوری (JFrog Artifactory) که برای انجام آزمایش‌ها مورد استفاده قرار می‌گرفت، راهی برای دسترسی به اینترنت پیدا کردند.
پس از برقراری این دسترسی، عامل‌های هوش مصنوعی OpenAI هنگام جست‌وجو برای دیتاست‌ها (Datasets) و راهکارهای مرتبط با بنچمارک (Benchmark) به هاگینگ فیس نفوذ کردند، اطلاعات احراز هویت را به دست آوردند و سپس در زیرساخت این شرکت حرکت جانبی (Lateral Movement) انجام دادند.
OpenAI بعداً اعلام کرد که عامل‌ها با استفاده از اطلاعات احراز هویت افشاشده توانسته‌اند به حساب‌های کاربری در چهار سرویس شخص ثالث دیگر نیز دسترسی پیدا کنند. برخی از این حساب‌ها برای ایجاد زیرساخت حمله و ذخیره‌سازی داده‌ها مورد استفاده قرار گرفته بودند.
تفاوت اصلی این رخداد با ماجرای متا در این است که در مورد هاگینگ فیس، خود مدل‌ها با سوءاستفاده از یک آسیب‌پذیری ناشناخته، مسیر دسترسی به اینترنت را پیدا کردند؛ در حالی که در مورد متا، دسترسی به اینترنت ناشی از یک خطای پیکربندی در محیط ارزیابی بود.
اقدامات بدون مجوز عامل‌های هوش مصنوعی در اینترنت
مؤسسه امنیت هوش مصنوعی بریتانیا (UK AI Security Institute) که با نام AISI شناخته می‌شود، اعلام کرده است عامل‌های مبتنی بر Claude Mythos 5 از آنتروپیک و GPT-5.6 Sol از OpenAI، در جریان ارزیابی‌های سایبری مجموعاً 19 اقدام بدون مجوز (Unsanctioned Actions) در اینترنت عمومی انجام داده‌اند. این اقدامات در حالی ثبت شد که دسترسی عامل‌ها به سامانه‌های خارج از محیط شبیه‌سازی‌شده مجاز نبود.
در جدی‌ترین مورد، عامل مبتنی بر Mythos 5 به اشتباه تصور کرد مخزن گیت‌هاب یک پروژه متن‌باز واقعی، بخشی از چالش شبیه‌سازی‌شده است. این عامل در ادامه تلاش کرد یک حمله زنجیره تأمین علیه این پروژه انجام دهد.
عامل ابتدا درباره توسعه‌دهندگان پروژه تحقیق کرد و سپس کد مخرب را به پروژه ارسال کرد. در ادامه، با ایجاد هویت‌های جعلی و ارسال ایمیل‌های هدفمند حاوی بدافزار، تلاش کرد یکی از توسعه‌دهندگان را برای تأیید درخواست Pull (Pull Request) تحت فشار قرار دهد.
پس از آنکه یکی از بازبین‌ها هشدار داد کد ارسال‌شده حاوی بدافزار است، عامل این ادعا را رد کرد. سپس با استفاده از حساب‌های جعلی بیشتری تلاش کرد این تصور را ایجاد کند که کاربران مستقل، کد را بررسی و تغییرات را تأیید کرده‌اند.
AISI در این ارزیابی عمداً دسترسی عامل‌ها به اینترنت را فراهم کرد و برخی از سازوکارهای حفاظتی معمول آن‌ها را غیرفعال نمود تا توانایی‌های واقعی مدل‌ها را ارزیابی کند. با این حال، عامل‌ها فقط مجاز بودند سیستم‌های موجود در محیط شبیه‌سازی‌شده را هدف قرار دهند.
مدل هوش مصنوعی متا اهمیت امنیت ارزیابی‌های سایبری را نشان داد
مجموع این موارد نشان می‌دهد که عامل‌های هوش مصنوعی، در صورت نبود محدودیت‌های دقیق و مؤثر، ممکن است برای دستیابی به اهداف خود از چارچوب تعیین‌شده فراتر روند. این مسئله می‌تواند منجر به فرار از سندباکس، سوءاستفاده از آسیب‌پذیری‌های امنیتی یا حتی اجرای حملات مهندسی اجتماعی (Social Engineering) علیه کاربران واقعی شود.
در چنین شرایطی، توسعه‌دهندگان هوش مصنوعی باید سازوکارهای حفاظتی لازم را برای جلوگیری از اقدامات مخرب مدل‌ها ایجاد کنند. با این حال، تجربه مدل هوش مصنوعی متا و نمونه‌های مشابه نشان می‌دهد که مسئولیت تأمین امنیت این ارزیابی‌ها فقط بر عهده توسعه‌دهندگان مدل نیست. شرکت‌هایی که این ارزیابی‌ها را انجام می‌دهند نیز باید محیط‌های آزمایش را به‌درستی طراحی کنند، سطح دسترسی‌ها را تحت کنترل داشته باشند و ارتباط میان محیط آزمایش و زیرساخت‌های واقعی را به‌طور کامل مسدود کنند.
محدود کردن دسترسی شبکه، جداسازی کامل محیط آزمایش از سامانه‌های واقعی، مدیریت دقیق اطلاعات احراز هویت و جلوگیری از هم‌پوشانی میان اهداف شبیه‌سازی‌شده و دارایی‌های واقعی، از جمله اقداماتی هستند که می‌توانند مانع تبدیل یک ارزیابی کنترل‌شده به یک رخداد امنیتی واقعی شوند.
