آغاز آزمایش و دسترسی به وبسایت Epoch AI
عاملهای هوش مصنوعی Gemini گوگل در جریان آزمایش ایمنی مدلهای هوش مصنوعی بارها برای نفوذ به وبسایت یک سازمان واقعی تلاش کردند و راههایی برای دور زدن کنترلهای امنیتیای که به منظور جلوگیری از دسترسی آنها به سیستمهای عملیاتی طراحی شدهاند و هر روز سختگیرانهتر میشوند، یافتند.
این رویدادهای امنیتی در ماه اکتبر و درست زمانی رخ دادند که شرکت پژوهش ایمنی هوش مصنوعی Trajectory Labs بررسی میکرد آیا عاملهای Gemini 4 Argon در مواجهه با وظیفهای غیرممکن، حتی با فعال بودن سازوکارهای حفاظتی تعبیهشده در API مدل، دست به رفتار غیرمجاز میزنند یا خیر.
Trajectory Labs و سازمان هدف، Epoch AI، در گزارشهایی که روز جمعه منتشر شدند اعلام کردند این عاملها تلاش کردند حمله تزریق SQL انجام داده، اطلاعات حساس را جست و جو کرده و هویت کارکنان را جعل کنند و بارها محدودیتهای شبکهای را که برای مهار فعالیت آنها وضع شده بود را دور زدهاند. Epoch AI مستقلاً تأیید نکرده است کدام مدلهای هوش مصنوعی درگیر بودهاند و شناسایی عاملها بهعنوان Gemini از سوی Trajectory Labs انجام شده است.
پژوهشگران به عاملها مأموریت داده بودند پاسخهای رسمیای برای مشکلاتی در بنچمارک FrontierMath متعلق به Epoch AI را بازیابی کنند که اصلا وجود نداشتند. همچنین به عاملها دستور داده شده بود که «هرگز متوقف نشوید، هرگز تسلیم نشوید».
در ۲۰ اکتبر، حدود ۴۰ عامل، جستوجوی اطلاعات حساس از جمله اعتبارنامههای مدیریتی و راهی برای دسترسی به لاگهای اختصاصی ارزیابی بنچمارک در وبسایت عملیاتی Epoch AI را آغاز کردند. Epoch AI این فعالیت را شناسایی کرد و یک مسیر ارتباطی تحت عنوان خط ارتباطی عاملها (agent hotline) راهاندازی کرد که به عاملها اجازه میداد مستقیماً برای کارکنان شرکت پیام بفرستند.
عاملها در مدت سه ساعت، ۳۶٬۴۱۱ درخواست به یک API Endpoint که برای آنها تعبیه شده بود ارسال کردند و ۴۸۷ پیام از طریق خط ارتباطی فرستادند. برخی از این پیامها تلاش میکردند هویت کارکنان واقعی Epoch را جعل کنند یا ارسالکنندگان آنها مدعی میشدند مهندس یا حسابرس هستند و اطلاعات معیار را درخواست میکردند. همچنین یک تلاش برای تزریق SQL و بیش از ۲۰۰ تلاش برای دسترسی به لاگهای ارزیابی بنچمارک FrontierMath شناسایی شد. Trajectory Labs هنگام بررسی متن تعاملات عاملها از این فعالیت مطلع شد و صبح روز بعد، حملات غیرمجاز را به Epoch AI اطلاع داد.
دور زدن محدودیتها در نسخه لوکال Epoch AI
پس از گفتوگو درباره این رخداد، پژوهشگران توافق کردند آزمایش را بهجای زیرساخت عملیاتی Epoch روی یک نسخه لوکال از وبسایت ادامه دهند. با این حال، عاملها همچنان راههایی برای دور زدن محدودیتها پیدا میکردند.
در آزمایش ۲۳ اکتبر، برخی عاملها تشخیص دادند که با نسخهای کپی از وبسایت Epoch تعامل دارند، آدرس IP وبسایت واقعی را شناسایی کردند و مستقیماً به زیرساخت عملیاتی آن متصل شدند و به این ترتیب، هدایت مجدد DNS را که برای مهار آنها طراحی شده بود، دور زدند.
وقتی پژوهشگران آدرسهای IP مورد استفاده برای دسترسی به Epoch را مسدود کردند، یکی از عاملها به آدرس دیگری روی آورد که دوباره امکان دسترسی به سایت واقعی را فراهم میکرد. Trajectory Labs سپس پروکسی شبکه خود را برای مسدودکردن اتصال مستقیم به Epoch پیکربندی کرد، اما یک عامل از طریق سرویس شخص ثالث خواندن صفحات وب، محتوای عمومی وبسایت را دریافت کرد.
بنا به گفته Trajectory Labs ، در برخی از این اجراها، عاملها متوجه شدند روی یک نسخه کپی هستند، IP خام درست را برای دور زدن redirect ما پیدا کردند و دوباره به سایت عملیاتی رسیدند. Epoch این مورد را به آنها اطلاع داد.
ارتباط عاملها هوش مصنوعی با یکدیگر و آزمایشهای تکمیلی
پژوهشگران Trajectory Labs در یک تحلیل فنی جداگانه دریافتند که عاملها از طریق حافظه کش مشترک یک پکیج نرمافزاری، تابلوی پیامی ایجاد کردهاند تا با یکدیگر ارتباط برقرار کنند و اطلاعاتی درباره آسیبپذیریها و روشهای سوءاستفاده را به اشتراک بگذارند.
در یک نمونه، یک عامل روشی برای دور زدن محدودیتها در نسخهای از وبسایت Epoch که عمداً آسیبپذیر شده بود به اشتراک گذاشت. عامل دیگری بعداً از این روش برای دستیابی به اعتبارنامهها و تکمیل وظیفه استفاده کرد. پژوهشگران همچنین مشاهده کردند عاملها تلاش میکردند محافظتهای CAPTCHA را دور زده و هویت کارکنان را جعل کنند تا با فریب یک دستیار هوش مصنوعی، او را به افشای اطلاعات محافظتشده بنچمارک را ترغیب کند.
از ۲۶ اکتبر، Epoch AI با آگاهی از اینکه عاملها به اینترنت دسترسی دارند و میتوانند با وبسایت عمومی آن تعامل کنند، پذیرفت در آزمایشهای بیشتر با Trajectory Labs همکاری کند. در این آزمایشها، عاملها دوباره به زیرساخت عملیاتی Epoch دسترسی یافتند، بیش از ۶۵٬۰۰۰ درخواست به یک API Endpoint تعبیهشده فرستادند و بار دیگر اقدام به تزریق SQL و جعل هویت کارکنان کردند.
Trajectory Labs بعداً آزمایشها را به محیطهای کاملاً ایزوله و بدون دسترسی به اینترنت منتقل کرد. حتی پس از این تغییر، عاملها همچنان تلاش کردند یک کنترل ساختگی را که ظاهراً دسترسی شبکه را مسدود میکرد غیرفعال کنند و در هر سه اجرای کامل آزمایش موفق شدند.
تعلیق آزمایشها توسط Trajectory Labs
بر اساس گزارش پژوهشگران به عاملها صراحتاً دستور داده نشده بود به وبسایتها نفوذ یا هویت کارکنان را جعل کنند؛ با این حال، عمداً هدفی غیرممکن به آنها داده شده بود و بارها از آنها خواسته شده بود تسلیم نشوند.
Trajectory Labs پذیرفت که این رخدادها ناشی از کاستیهای فرایند آزمایش آن بوده است. آنها آزمایشها را بدون کسب رضایت از سازمان تحت تأثیر انجام داده و تنها به سازوکارهای حفاظتی تعبیهشده در مدل اتکا کرده بودند بدون آنکه نظارت تکمیلی کافی روی آنها فراهم کنند. این شرکت در ۲ نوامبر تمام آزمایشهای مربوط به ناهمسویی هوش مصنوعی را تا زمان ارزیابی ریسک و افزودن تدابیر حفاظتی بیشتر به حالت تعلیق درآورد. این رخدادها نشان میدهند آزمایش عاملهای توانمند هوش مصنوعی تا چه اندازه میتواند بهسادگی از محیط آزمایش فراتر رود و بر سیستمها و افراد واقعی اثر بگذارد. هنوز استانداردهای مشترکی برای انجام ایمن این آزمایشها وجود ندارد. هیچیک از دو سازمان افشای اطلاعات خصوصی Epoch AI در این رخدادها را تایید نکردهاند.
این گزارش در حالی منتشر میشود که راب بونتا، دادستان کل کالیفرنیا، روز دوشنبه از OpenAI شکایت کرد و مدعی شد این شرکت در مهار کافی عاملهای خودمختار هوش مصنوعی هنگام آزمایش ناکام مانده است؛ مسئلهای که به بیش از ۸۰ رخداد از دست رفتن کنترل عاملها منجر شده است.
این شکایت پس از رخدادی در ماه ژوئن مطرح شد که در آن نزدیک به ۷۰۰ عامل مبتنی بر OpenAI از یک محیط آزمایش کنترلشده خارج شدند و هنگام تلاش برای سرقت پاسخهای یک بنچمارک امنیت سایبری به زیرساخت عملیاتی هاگینگ فیس حمله کردند.















