تحقیقات OpenAI درباره عملکرد عامل‌های هوش مصنوعی
آپلود ناخواسته تصاویر کاربران توسط عامل‌های هوش مصنوعی OpenAI بخشی از تحقیقات گسترده‌تر این شرکت درباره عملکرد نادرست عامل‌های هوش مصنوعی است که پس از رخداد امنیتی هاگینگ‌فیس (Hugging Face) آغاز شد. این شرکت در یک پست وبلاگی اعلام کرد که در جریان این تحقیقات، مواردی را شناسایی کرده است که در آن عامل‌های فعال در محیط تحقیقاتی، هنگام استفاده از سرویس‌های شخص ثالث، داده‌های مربوط به آموزش و ارزیابی مدل‌ها را به این سرویس‌ها ارسال کرده‌اند. این داده‌ها نباید در اختیار سرویس‌های شخص ثالث قرار می‌گرفتند و این موارد پیش از اجرای سازوکارهای حفاظتی (Safeguards) تشریح‌شده در گزارش فنی شرکت رخ داده‌اند.
با این حال، بخش عمده داده‌های آموزشی و ارزیابی مرتبط با این رخداد از اطلاعات کاربران نبوده‌اند. تاکنون نیز 53 مورد شناسایی شده است که در آن تصاویر ارائه‌شده توسط کاربران در سایت‌های میزبانی تصویر، با لینک‌هایی منتشر شده‌اند که به‌صورت عمومی در دسترس نبوده‌اند.
شرکت OpenAI اعلام کرده است که با همکاری ارائه‌دهندگان این سرویس‌ها، بیشتر این محتوا را حذف کرده و برای حذف موارد باقی‌مانده نیز همچنان با آن‌ها همکاری می‌کند.
حفاظت از داده‌های کاربران در فرآیند آموزش مدل‌ها
بخشی از داده‌هایی که برای آموزش مدل‌های OpenAI استفاده می‌شوند، از تعاملات کاربرانی به دست می‌آیند که اجازه استفاده از محتوای این تعاملات برای آموزش مدل‌ها را داده‌اند. با این حال، کاربرانی که استفاده از داده‌های حساب کاربری برای آموزش مدل‌ها را غیرفعال کرده بودند، تحت تأثیر این رخداد قرار نگرفته‌اند.
داده‌هایی که کاربر یا ادمین سازمانی اجازه استفاده از آن‌ها برای آموزش مدل‌ها را نداده باشد، وارد فرآیند آموزش نمی‌شوند. همچنین، داده‌های مربوط به حساب‌های سازمانی و تجاری و داده‌های حاصل از استفاده از API نیز به‌طور پیش‌فرض برای آموزش مدل‌ها استفاده نمی‌شوند؛ مگر اینکه ادمین سازمان به‌طور مشخص این امکان را فعال کرده باشد.
پیش از ورود داده‌های کاربران به مجموعه‌داده‌های آموزشی، اقدامات دیگری نیز برای حفاظت از حریم خصوصی انجام می‌شود. در این مرحله، داده‌ها از اطلاعات حساب کاربری تفکیک شده و نسخه‌ای از فیلتر حریم خصوصی OpenAI (Privacy Filter) نیز برای حذف اطلاعات شخصی از داده‌ها به کار گرفته می‌شود. این اطلاعات می‌تواند شامل نام، اطلاعات تماس و جزئیات مرتبط با حساب کاربری باشد.
اقدامات امنیتی جدید OpenAI برای جلوگیری از افشای داده‌ها
OpenAI پس از شناسایی این رخداد اعلام کرد که فرآیندهای آموزش و ارزیابی مدل‌های خود را تقویت کرده است تا احتمال افشای داده‌ها از طریق سرویس‌های خارجی کاهش یابد.
در چارچوب این اقدامات، سازوکارهای ارزیابی ایمنی (Safety Cases) توسعه یافته و سامانه‌ها نیز با هدف افزایش امنیت، تحت آزمون‌های ردتیم (Red Teaming) قرار گرفته‌اند. همچنین، سازوکارهای حفاظتی جدیدی برای جلوگیری از افشای داده‌ها توسط مدل‌ها ایجاد شده و قابلیت‌های مانیتورینگ بیشتری برای شناسایی فعالیت‌های مشکوک در این سامانه‌ها به کار گرفته شده است.
بررسی فعالیت‌های پیشین عامل‌های هوش مصنوعی نیز همچنان ادامه دارد. این بررسی به‌صورت ماهانه و از زمان رخداد امنیتی هاگینگ‌فیس دنبال می‌شود؛ بنابراین، با ادامه این فرآیند، احتمال شناسایی موارد مشابه دیگری نیز وجود دارد.
