مدل‌های OpenAI در جریان یک آزمون داخلی امنیت سایبری به زیرساخت هاگینگ فیس نفوذ کردند
1405-05-17
10:19 ق.ظ
شرکت OpenAI طی هفته‌های آینده قصد دارد واترمارک نامرئی (Invisible Watermark) را به متن‌های تولیدشده با چت‌جی‌پی‌تی (ChatGPT) و کدکس (Codex) در اتحادیه اروپا اضافه کند. این قابلیت با استفاده از فناوری جدیدی به نام textGrain، انتخاب واژه‌های مدل را به‌طور جزئی تغییر می‌دهد تا الگویی آماری در متن ایجاد شود که ابزارهای تشخیص بتوانند آن را شناسایی کنند؛ الگویی که هنگام خواندن یا کپی‌کردن متن مشاهده نمی‌شود. با این حال، آزمایش‌های OpenAI نشان می‌دهد که ویرایش متن می‌تواند دقت شناسایی این واترمارک نامرئی را به‌شدت کاهش دهد.
پژوهشگران امنیتی دو روش برای دور زدن سندباکس (Sandbox) کدکس (Codex) OpenAI شناسایی کرده‌اند که می‌تواند به این عامل هوش مصنوعی (AI Agent) اجازه دهد از محدودیت‌های اعمال‌شده برای دسترسی به سیستم میزبان عبور کند. یکی از این آسیب‌پذیری‌ها حتی در سخت‌گیرانه‌ترین حالت امنیتی کدکس، امکان اجرای دستور روی سیستم توسعه‌دهنده را بدون نمایش هشدار یا درخواست تأیید فراهم می‌کند؛ در حالی که آسیب‌پذیری دیگر می‌تواند محدودیت‌های مربوط به نوشتن فایل را دور بزند. هر دو آسیب‌پذیری در تاریخ 12 آگوست به OpenAI گزارش شدند و این شرکت ظرف 8 روز آن‌ها را برطرف کرد.
شرکت OpenAI طی هفته‌های آینده قصد دارد واترمارک نامرئی (Invisible Watermark) را به متن‌های تولیدشده با چت‌جی‌پی‌تی (ChatGPT) و کدکس (Codex) در اتحادیه اروپا اضافه کند. این قابلیت با استفاده از فناوری جدیدی به نام textGrain، انتخاب واژه‌های مدل را به‌طور جزئی تغییر می‌دهد تا الگویی آماری در متن ایجاد شود که ابزارهای تشخیص بتوانند آن را شناسایی کنند؛ الگویی که هنگام خواندن یا کپی‌کردن متن مشاهده نمی‌شود. با این حال، آزمایش‌های OpenAI نشان می‌دهد که ویرایش متن می‌تواند دقت شناسایی این واترمارک نامرئی را به‌شدت کاهش دهد.
پژوهشگران امنیتی دو روش برای دور زدن سندباکس (Sandbox) کدکس (Codex) OpenAI شناسایی کرده‌اند که می‌تواند به این عامل هوش مصنوعی (AI Agent) اجازه دهد از محدودیت‌های اعمال‌شده برای دسترسی به سیستم میزبان عبور کند. یکی از این آسیب‌پذیری‌ها حتی در سخت‌گیرانه‌ترین حالت امنیتی کدکس، امکان اجرای دستور روی سیستم توسعه‌دهنده را بدون نمایش هشدار یا درخواست تأیید فراهم می‌کند؛ در حالی که آسیب‌پذیری دیگر می‌تواند محدودیت‌های مربوط به نوشتن فایل را دور بزند. هر دو آسیب‌پذیری در تاریخ 12 آگوست به OpenAI گزارش شدند و این شرکت ظرف 8 روز آن‌ها را برطرف کرد.
