محققان حمله جدیدی طراحی کرده‌اند که با تزریق پرامپت‌های مخرب در تصاویر پردازش‌شده توسط سیستم‌های هوش مصنوعی، داده‌های کاربران را سرقت می‌کند و سپس این تصاویر به مدل‌های زبانی بزرگ ارسال می‌شوند. این روش از تصاویر با وضوح کامل استفاده می‌کند که دستوراتی غیرقابل‌مشاهده برای چشم انسان دارند؛ اما با کاهش کیفیت تصویر از طریق الگوریتم‌های بازنمونه‌برداری، این دستورات آشکار می‌شوند.
این حمله که توسط محققان Trail of Bits، Kikimora Morozova و Suha Sabi Hussain، توسعه یافته، بر اساس نظریه‌ای از مقاله‌ای در سال ۲۰۲۰ توسط دانشگاه TU Braunschweig در کنفرانس USENIX درباره امکان حمله مقیاس‌بندی تصویر در یادگیری ماشین طراحی شده‌است.
نحوه عملکرد حمله در حوزه هوش مصنوعی
هنگامی که کاربران تصاویر را در سیستم‌های هوش مصنوعی بارگذاری می‌کنند، این تصاویر برای بهبود عملکرد و کاهش هزینه به‌طور خودکار به کیفیت پایین‌تر مقیاس‌بندی می‌شوند. بسته به سیستم، الگوریتم‌های بازنمونه‌برداری تصویر می‌توانند با استفاده از درون‌یابی نزدیک‌ترین همسایه (nearest neighbor)، دوخطی (bilinear) یا دومکعبی (bicubic) تصویر را سبک‌تر کنند.
این روش‌ها اثرات جانبی هم‌نام‌سازی(aliasing) ایجاد می‌کنند که امکان ظهور الگوهای مخفی در تصویر مقیاس‌شده را فراهم می‌کنند، اگر تصویر اصلی به‌طور خاص برای این منظور طراحی شده باشد. در مثال Trail of Bits، نواحی تیره خاص تصویر مخرب به رنگ قرمز تبدیل شده و متن مخفی به رنگ سیاه هنگام استفاده از مقیاس‌بندی دو مکعبی ظاهر می‌شود.
مدل هوش مصنوعی این متن را به‌عنوان بخشی از دستورات کاربر تفسیر کرده و آن را با ورودی‌های معتبر ترکیب می‌کند. از دیدگاه کاربر، هیچ چیز غیرعادی به نظر نمی‌رسد؛ اما مدل، پرامپت مخفی را اجرا می‌کند که می‌تواند به استخراج داده یا اقدامات خطرناک منجر شود. در مثالی با Gemini CLI، محققان توانستند داده‌های Google Calendar را به یک آدرس ایمیل دلخواه استخراج کنند، در حالی که از Zapier MCP با تنظیم trust=True برای تأیید تماس‌های ابزار بدون نیاز به تأیید کاربر استفاده شد.
Trail of Bits توضیح می‌دهد که این حمله باید برای هر مدل هوش مصنوعی با توجه به الگوریتم مقیاس‌بندی استفاده‌شده تنظیم شود. با این حال، محققان تأیید کردند که این روش علیه سیستم‌های زیر امکان‌پذیر است:
- Google Gemini CLI
- Vertex AI Studio (با بک‌اند Gemini)
- رابط وب Gemini
- API Gemini از طریق llm CLI
- Google Assistant در گوشی‌های اندروید
- Genspark
این بردار حمله گسترده است و ممکن است فراتر از ابزارهای آزمایش‌شده باشد. محققان همچنین ابزار متن‌باز Anamorpher (در حال حاضر در نسخه بتا) را منتشر کرده‌اند که می‌تواند تصاویری برای هر یک از روش‌های مقیاس‌بندی ذکرشده ایجاد کند.
توصیه‌های امنیتی
برای کاهش خطر و دفاع، محققان Trail of Bits توصیه می‌کنند که سیستم‌های هوش مصنوعی محدودیت‌هایی برای ابعاد تصاویر بارگذاری‌شده اعمال کنند. در صورت نیاز به مقیاس‌بندی، پیش‌نمایش نتیجه‌ای که به مدل زبانی بزرگ ارسال می‌شود به کاربران ارائه شود. همچنین، تأیید صریح کاربران برای تماس‌های ابزار حساس، به‌ویژه در صورت تشخیص متن در تصویر، ضروری است.
