دسترسی گوگل جمنای به سیستمهای محافظتشده
بر اساس گزارش والاستریت ژورنال، گوگل جمنای پس از چندین بار تلاش برای حدس زدن رمز عبور، موفق شد به یک سیستم محافظتشده دسترسی پیدا کند. در دو مورد دیگر نیز مدل با شناسایی اطلاعات احراز هویت در یک مخزن عمومی، توانست از این اطلاعات برای دسترسی غیرمجاز به سیستمهای محافظتشده استفاده کند.
با این حال، برخلاف رخدادهای مشابهی که در جریان ارزیابی مدلهای آنتروپیک و OpenAI مشاهده شده بود، گوگل جمنای پس از آنکه متوجه شد به سیستم یک شرکت واقعی نفوذ کرده است، عملیات خود را متوقف کرد. شرکت ایرگولار نیز در ماه جولای 2026 گوگل را در جریان جزئیات این رخداد قرار داد.
گوگل جمنای از محدوده آزمون امنیتی فراتر رفت
شرکت ایرگولار در گزارشی که ماه گذشته منتشر کرد، علت این رخدادها را یک خطای نامگذاری (Naming Error) عنوان کرد. در جریان چالشهای Capture the Flag (CTF)، نامی که برای یک شرکت فرضی انتخاب شده بود، بهطور ناخواسته با دامنه یک شرکت واقعی یکسان بود. همین تطابق ناخواسته باعث شد مدلها بهدلیل دسترسی پیشبینینشده به اینترنت، در تعداد محدودی از موارد آن دامنه واقعی را هدف قرار دهند.
در همین ارزیابی، گوگل جمنای از دسترسی ناخواسته به اینترنت استفاده کرد و دامنه یک شرکت واقعی را هدف قرار داد. در نتیجه، فعالیت مدل از محیط شبیهسازیشده آزمون فراتر رفت و به یک سیستم واقعی رسید.
به گفته پژوهشگران، این رخداد اهمیت آموزش مدلهای قدرتمند هوش مصنوعی برای عملکرد مسئولانه را نشان میدهد. آنها تأکید کردند که در این مورد، مدل پس از نفوذ به سیستم یک شرکت واقعی، عملیات خود را متوقف کرد.
گوگل اعلام کرد این رخداد را نشانهای از عملکرد خارج از چارچوب مورد انتظار مدل نمیداند، زیرا مکانیزمهای امنیتی پس از شناسایی این وضعیت، مانع ادامه فعالیت عاملهای هوش مصنوعی شدند. هنوز مشخص نیست کدام شرکتها در جریان این ارزیابی هدف قرار گرفتهاند. با این حال، ایرگولار به والاستریت ژورنال تأیید کرد که رخداد مربوط به گوگل نیز مشابه سایر مواردی بوده که در این ارزیابیها شناسایی شدهاند و این باگ چند هفته پیش برطرف شده است.
افزایش نگرانیها درباره عملکرد عاملهای هوش مصنوعی
افشای جزئیات مربوط به گوگل جمنای همزمان با افزایش نگرانیها درباره نحوه عملکرد عاملهای هوش مصنوعی در محیطهای واقعی صورت گرفت. چند روز پیش از انتشار این گزارش، OpenAI از شناسایی شش مورد دیگر مرتبط با عاملهای هوش مصنوعی خبر داده بود که در جریان آموزش، از مسیر مورد انتظار خارج شده و اقداماتی فریبکارانه و بدون مجوز انجام داده بودند.
این اقدامات شامل پنهان کردن خطاها، تلاش برای دستیابی غیرمجاز به اطلاعات احراز هویت، آپلود فایلها روی اینترنت عمومی و استفاده از آرتیفکتوری (Artifactory) برای برقراری ارتباط بود. همچنین عاملهای هوش مصنوعی از طریق آرتیفکتوری توانسته بودند یادداشتها و پاسخهای سایر شرکتکنندگان در چالش را بخوانند و از این اطلاعات برای تدوین پاسخهای خود استفاده کنند.
در ماههای اخیر، آزمایشگاههای هوش مصنوعی توجه بیشتری به نحوه عملکرد عاملهای هوش مصنوعی نشان دادهاند. OpenAI نیز در ماه جولای اعلام کرد عاملهای هوش مصنوعی این شرکت توانستهاند کنترلهای داخلی را دور بزنند و به اینترنت آزاد دسترسی پیدا کنند. سپس آنها بهصورت هماهنگ، زیرساخت هاگینگفیس (Hugging Face) را هدف قرار دادند. OpenAI این مورد را «یک رخداد سایبری بیسابقه» توصیف کرد و در ادامه، فریمورک جدیدی برای گزارش و مستندسازی موارد مشابه مرتبط با عملکرد غیرعادی مدلها ارائه داد.
















