جزئیات آسیب‌پذیری GitLab Duo
پژوهشگران امنیت سایبری یک آسیب‌پذیری مربوط به تزریق پرامپت را در دستیار هوش مصنوعی GitLab Duo کشف کردند که به مهاجمان امکان سرقت کد منبع، تزریق HTML غیرقابل اعتماد در پاسخ‌ها و هدایت کاربران به وب‌سایت‌های مخرب را می‌دهد.
GitLab Duo، دستیار کدنویسی مبتنی بر هوش مصنوعی که با مدل‌های Claude شرکت Anthropic توسعه یافته و در ژوئن ۲۰۲۳ معرفی شد، به کاربران امکان نوشتن، بررسی و ویرایش کد را می‌دهد. با این حال، شرکت Legit Security دریافت که قابلیت گفت‌وگوی این ابزار به آسیب‌پذیری تزریق غیرمستقیم پرامپت(Indirect prompt injections) دچار شده‌است. این نقص به مهاجمان اجازه می‌دهد:
- کد منبع پروژه‌های خصوصی را سرقت کنند
- پیشنهادهای کد نمایش‌داده‌شده به کاربران را دستکاری کنند
- آسیب‌پذیری‌های روز صفر افشا‌نشده را استخراج کنند
به گفته Legit Security، قراردادن کامنت‌های پنهان در بخش‌هایی مانند توضیحات merge request، پیام‌های commit، توصیف issue، نظرات یا کد منبع برای افشای داده‌های حساس یا تزریق HTML به پاسخ‌های GitLab Duo کافی بوده‌است. این دستورات با روش‌هایی مانند رمزگذاری Base16، Unicode smuggling یا رندر متون سفیدرنگ با KaTeX مخفی می‌شدند. نبود فرآیند پاک‌سازی ورودی (input sanitization) و پردازش ورودی‌ها به‌عنوان کد منبع معمولی، امکان جاسازی دستورات پنهان را فراهم می‌کرد.
تهدیدات مربوط به LLMها
تزریق پرامپت(Prompt injection) نوعی آسیب‌پذیری رایج در سیستم‌های هوش مصنوعی است که مهاجمان با دستکاری پرامپت‌ها، پاسخ‌های مدل‌های زبانی بزرگ(LLM) را تغییر داده و رفتار نامطلوبی ایجاد می‌کنند. در نوع تزریق غیرمستقیم پرامپت، دستورات مخرب در متنی مانند اسناد یا صفحات وب، که مدل آن‌ها را پردازش می‌کند، مخفی می‌شوند.
مدل‌های زبانی بزرگ همچنین در مقابل حملات جیلبریک (jailbreak) آسیب‌پذیرند، که موجب می‌شود چت‌بات‌های هوش مصنوعی محتوای غیرقانونی و مضر تولید کنند، بدون آنکه محدودیت‌های اخلاقی و ایمنی خود را رعایت کنند.
علاوه‌بر این، تکنیک‌های Prompt Leakage (PLeak) می‌توانند به‌طور ناخواسته دستورالعمل‌های سیستمی پنهان یا پیش‌فرض مدل را افشا کنند. شرکت Trend Micro گزارش داد که این آسیب‌پذیری‌ها می‌توانند اطلاعات حساسی مانند قوانین داخلی، قابلیت‌ها، معیارهای فیلترینگ، سطوح دسترسی و نقش‌های کاربری را افشا کنند. این آسیب‌پذیری‌ها خطر نشت داده، افشای اسرار تجاری، نقض مقررات و پیامدهای دیگر را به دنبال دارند.
علاوه بر تزریق پرامپت و jailbreak، پدیده هذیان‌گویی(hallucination) در مدل‌های زبانی بزرگ چالش دیگری است که پاسخ‌های ساختگی یا غیرمرتبط با ورودی تولید می‌کند. مطالعه شرکت Giskard نشان داده‌است که درخواست پاسخ‌های مختصر می‌تواند دقت را کاهش داده و هذیان‌گویی را افزایش دهد، زیرا مدل‌ها بین پاسخ‌های کوتاه اما نادرست و امتناع از پاسخ‌گویی گیر می‌افتند.
GitLab Duo تمام محتوای صفحه، از جمله نظرات و کد منبع، را تحلیل می‌کند و نسبت به دستورات مخفی در این محتوا آسیب‌پذیر است. مهاجم می‌تواند سیستم را فریب دهد تا پکیج جاوااسکریپت مخرب را در کد پیشنهادی قرار دهد یا لینک مخرب را به‌عنوان امن نمایش دهد و قربانی را به صفحه جعلی لاگین هدایت کند تا اطلاعات ورود سرقت شود. همچنین، با سوءاستفاده از دسترسی Duo به merge requestها، مهاجم می‌تواند دستور پنهانی در توضیحات پروژه قرار دهد تا کد منبع خصوصی به سرور تحت کنترل او ارسال شود.
این مشکل به دلیل استفاده GitLab از رندر لحظه‌ای Markdown، که HTML را در لحظه تولید و اجرا می‌کند، تشدید می‌شود و تزریق HTML از طریق پرامپت غیرمستقیم را ممکن می‌سازد. GitLab پس از افشای مسئولانه این آسیب‌پذیری در ۱۲ فوریه ۲۰۲۵، آن را برطرف کرد.
این نقص نشان داد که ابزارهای هوش مصنوعی مانند GitLab Duo، با ادغام عمیق در فرآیند توسعه، ریسک‌های امنیتی را نیز به ارث می‌برند و می‌توانند با پرامپت‌های مخفی برای اهداف مخرب دستکاری شوند.
سوءاستفاده از Microsoft Copilot
همزمان، شرکت Pen Test Partners گزارش داد که Microsoft Copilot برای SharePoint نیز در برابر سوءاستفاده مهاجمان محلی آسیب‌پذیر است و امکان دسترسی به فایل‌های با سطح دسترسی «Restricted View» را فراهم می‌کند. این ابزار با قابلیت جست‌وجو در دیتاست‌های عظیم، خطر افشای اطلاعات حساس را افزایش می‌دهد.
آسیب‌پذیری ElizaOS
همچنین، فریمورک ElizaOS (پیش‌تر Ai16z)، پلتفرمی برای عملیات Web3 غیرمتمرکز، در برابر تزریق پرامپت‌های مخرب در درخواست‌ها یا سوابق تعاملات آسیب‌پذیر است. این نقص می‌تواند زمینه ذخیره‌شده را تخریب کرده و دارایی‌ها را به‌صورت ناخواسته منتقل کند. این مشکل در تعاملات چندکاربره، یکپارچگی سیستم را مختل کرده و اثرات زنجیره‌ای ایجاد می‌کند که مهار آن دشوار است.
