حدود ۳۶ آسیب پذیری امنیتی در مدل‌های مختلف منبع باز هوش مصنوعی (AI[1]) و یادگیری ماشین ([2]ML) شناسایی شده است که برخی از آنها می‌توانند منجر به اجرای کد از راه دور و ربودن اطلاعات شوند.
این آسیب پذیری‌ها در ابزارهایی مانند ChuanhuChatGPT، Lunary و LocalAI شناسایی گشته و از طریق پلتفرم باگ بانتی Huntr در Protect AI گزارش شده‌اند.
در میان مهم‌ترین آسیب پذیری‌ها، دو مورد در Lunary شناسایی شده‌اند. Lunary یک toolkit تولید برای مدل‌های زبانی بزرگ (LLM) است. این دو آسیب پذیری به شرح زیر می‌باشند:
- CVE-2024-7474 (امتیاز CVSS: 9.1) – یک آسیب پذیری IDOR[3] که می‌تواند به کاربر احراز هویت شده اجازه دهد تا کاربران خارجی را مشاهده یا حذف کند. این آسیب پذیری منجر به دسترسی غیرمجاز به داده‌ها و افشای احتمالی آنها می‌شود.
- CVE-2024-7475 (امتیاز CVSS: 9.1) – یک آسیب پذیری کنترل دسترسی نامناسب که به مهاجم اجازه می‌دهد پیکربندی SAML را به‌روزرسانی کند، در نتیجه امکان لاگین به عنوان کاربر غیرمجاز و دسترسی به اطلاعات حساس را فراهم می‌کند.
علاوه بر این، یک آسیب پذیری IDOR دیگر نیز در Lunary شناسایی شده است که با شناسه CVE-2024-7473 (امتیاز CVSS: 7.5) دنبال می‌شود. این آسیب پذیری به هکر اجازه می‌دهد تا با دستکاری یک پارامتر کنترل شده توسط کاربر، درخواست سایر کاربران را تغییر دهد.
یکی دیگر از آسیب پذیری‌های بحرانی شامل نقص پیمایش مسیر در ویژگی آپلود کاربر ChuanhuChatGPT (با شناسه CVE-2024-5982، امتیاز CVSS: 9.1) است که می‌تواند منجر به اجرای کد دلخواه، ایجاد دایرکتوری، و افشای داده‌های حساس شود.
دو نقص امنیتی دیگر نیز در LocalAI شناسایی شده‌اند. LocalAI یک پروژه منبع باز است که به کاربران اجازه می‌دهد تا LLMهای خود میزبان (یا self-hosted LLM) را اجرا کنند. این آسیب پذیری به هکرها اجازه می دهد تا کد دلخواه را با آپلود یک فایل پیکربندی مخرب اجرا کنند (CVE-2024-6983، امتیاز CVSS: 8.8) و با تجزیه و تحلیل زمان پاسخ سرور (CVE-2024-7010، امتیاز CVSS: 7.5) کلیدهای API معتبر را حدس بزنند.
این دو آسیب پذیری به هکرها اجازه می‌دهند تا یک حمله زمان‌بندی را انجام دهند، که نوعی حمله کانال جانبی است. هکرها با اندازه‌گیری زمان پردازش درخواست‌ها با کلیدهای API مختلف، می‌توانند کلید API صحیح را حدس بزنند.
فهرست آسیب پذیری‌ها همچنین شامل یک نقص اجرای کد از راه دور است که بر کتابخانه DJL جاوا تأثیر می‌گذارد و ناشی از یک باگ بازنویسی فایل دلخواه در تابع untar پکیج (CVE-2024-8396، امتیاز CVSS: 7.8) است.
NVIDIA در پاسخ به این آسیب پذیری‌ها، پچ‌هایی را برای رفع نقص پیمایش مسیر (CVE-2024-0129) در فریمورک هوش مصنوعی مولد NeMo منتشر کرده است که می‌تواند منجر به اجرای کد و دستکاری داده‌ها شود.
Protect AI همچنین Vulnhuntr را منتشر کرده است، یک تحلیلگر کد استاتیک پایتون منبع باز که از LLM برای شناسایی آسیب پذیری‌های روز صفر در پایگاه‌های کد پایتون استفاده می‌کند. این ابزار با شکستن کد به تکه‌های کوچکتر کار می‌کند تا از تحت تأثیر قرار دادن پنجره زمینه LLM جلوگیری کند و مسائل امنیتی بالقوه را علامت گذاری کند.
Vulnhuntr ، نوزدهم اکتبر ۲۰۲۴ در کنفرانس امنیتی No Hat ایتالیا معرفی شد و تا کنون بیش از ده‌ها آسیب‌پذیری روز صفر را در پروژه‌های بزرگ و منبع باز پایتون یافته است. این ابزار در حال حاضر بر هفت نوع آسیب پذیری قابل اکسپلویت از راه دور تمرکز دارد:
- Arbitrary File Overwrite (AFO)
- Local File Inclusion (LFI)
- Server-Side Request Forgery (SSRF)
- Cross-Site Scripting (XSS)
- Insecure Direct Object References (IDOR)
- SQL Injection (SQLi)
- Remote Code Execution (RCE)
پروژه‌های تحت تأثیر عبارتند از:
- gpt_academic, 64k stars on GitHub, LFI, XSS
- ComfyUI, 50K stars, XSS
- FastChat, 35K stars, SSRF
- Ragflow, 16K stars, RCE
علاوه بر آسیب پذیری‌های فریمورک هوش مصنوعی، یک تکنیک جدید جیلبریک (jailbreak) که توسط شبکه تحقیقاتی 0Day موزیلا (0Din) منتشر گشته، شناسایی شده است. براساس این تکنیک، درخواست‌های مخرب کدگذاری شده در قالب هگزادسیمال و ایموجی می‌توانند برای دور زدن مکانیزم امنیتی OpenAI ChatGPT و ایجاد اکسپلویت برای نقص‌های امنیتی شناخته شده استفاده شوند.
از کاربران خواسته می‌شود تا برای محافظت از زنجیره تامین AI/ML خود و دفاع در برابر حملات احتمالی، آخرین نسخه‌های به روزرسانی را دریافت و نصب کنند.
لیست آسیب پذیری های شناسایی شده
لیست تمام آسیب پذیری‌های شناسایی شده در مدل‌های مختلف AI و ML به شرح زیر می‌باشد:
CVE | نام آسیب پذیری | شدت | CVSS | وضعیت پچ | پیشنهادات |
بحرانی | 9.1 | بله | به نسخه ۱.۳.۴ ارتقا دهید | ||
بحرانی | 9.1 | بله | به نسخه 20240918 ارتقا دهید | ||
بحرانی | 9.1 | بله | به نسخه ۱.۳.۴ ارتقا دهید | ||
بالا | 8.8 | بله | به نسخه ۲.۱۹.۴ ارتقا دهید | ||
Arbitrary File Deletion via Directory Traversal in JSON File Handling in chuanhuchatgpt | بالا | 8.2 | بله | به نسخه 20240918 ارتقا دهید | |
بالا | 8.1 | بله | به نسخه 10 ارتقا دهید | ||
arbitrary file write by abusing automatic archive extraction in localai | بالا | 8.1 | بله | به نسخه ۲.۱۸.۱ ارتقا دهید | |
Arbitrary File Overwrite & RCE via Tarfile Path Traversal in djl | بالا | 7.8 | بله | به نسخه ۰.۲۸.۰ارتقا دهید | |
بالا | 7.5 | بله | به نسخه 20240918 ارتقا دهید | ||
بالا | 7.5 | بله | به نسخه 20240919 ارتقا دهید | ||
ReDoS Vulnerability in Chat History Filtering via Regular Expression Injection in chuanhuchatgpt | بالا | 7.5 | بله | به نسخه 20240918 ارتقا دهید | |
Arbitrary folder creation, at any location of the Server, including C:/ (root) dir in chuanhuchatgpt | بالا | 7.5 | بله | به نسخه 20240918 ارتقا دهید | |
بالا | 7.5 | بله | به نسخه 20240919-2 ارتقا دهید | ||
Arbitrary File Read via Insufficient Validation in Load Prompt template in chuanhuchatgpt | بالا | 7.5 | بله | به نسخه 20240918 ارتقا دهید | |
DOS in multipart boundry while uploading the file in chuanhuchatgpt | بالا | 7.5 | بله | به نسخه 20240918 ارتقا دهید | |
Any user can access the chat history of any other user without any interaction in chuanhuchatgpt | بالا | 7.5 | بله | به نسخه 20240919 ارتقا دهید | |
بالا | 7.5 | بله | به نسخه 20240628 ارتقا دهید | ||
بالا | 7.5 | بله | به نسخه ۲.۲۱ ارتقا دهید | ||
بالا | 7.5 | بله | به نسخه ۱.۴.۳ ارتقا دهید | ||
بالا | 7.4 | بله | به نسخه 20240918 ارتقا دهید | ||
Chuanhu’s upload processing interface has ssrf vulnerability in chuanhuchatgpt | بالا | 7.3 | بله | به نسخه 20240410 ارتقا دهید | |
Insecure model output handling leads to XSS vulnerability in chuanhuchatgpt | متوسط | 6.8 | بله | به نسخه 20240919 ارتقا دهید | |
متوسط | 6.5 | بله | به نسخه 20240919 ارتقا دهید | ||
Remote code exection due to stored XSS In svg image in lollms | متوسط | 6.5 | بله | به نسخه ۹.۹ ارتقا دهید | |
Chat history of any user can be leaked in /file endpoint in chuanhuchatgpt | متوسط | 6.5 | بله | به نسخه 20240919 ارتقا دهید | |
File Upload Vulnerability may leads to RCE in chuanhuchatgpt | متوسط | 6.5 | بله | به نسخه 20240919 ارتقا دهید | |
متوسط | 6.5 | بله | به نسخه 20240919 ارتقا دهید | ||
متوسط | 6.5 | بله | به نسخه ۰.۲.۱۹ارتقا دهید | ||
Improper Storage of Sensitive information in *** in anything-llm | متوسط | 5.9 | بله | به نسخه ۱.۰.۳ ارتقا دهید | |
متوسط | 5.3 | بله | به نسخه ۱.۴.۱۰ ارتقا دهید | ||
متوسط | 5.2 | بله | به نسخه ۰.۲.۹ ارتقا دهید | ||
متوسط | 4.9 | بله | به نسخه ۰.۳.۱ ارتقا دهید | ||
متوسط | 4.9 | بله | به نسخه ۰.۳.۰ ارتقا دهید | ||
متوسط | 4.4 | بله | به نسخه ۹.۹ ارتقا دهید |
