جمینای هم هکر شد؛ وقتی هوش مصنوعی گوگل در یک تست وارد سیستم واقعی شد

هوش مصنوعی جمینای متعلق به گوگل در جریان یک آزمایش امنیت سایبری، به سیستم‌های سه شرکت واقعی دسترسی پیدا کرد. این اتفاق در ماه مه ۲۰۲۶ رخ داد و گوگل اکنون آن را تأیید کرده است.

پیشنهاد مطالعه

«همسر مسعود شصت‌چی» از معیارهای ازدواج گفت؛ مرد بچه‌ننه کنسل است!

اما ماجرا کمی متفاوت از چیزی است که عبارت «هک شدن توسط هوش مصنوعی» در ذهن ایجاد می‌کند.

قرار بود جمینای در یک محیط کاملاً آزمایشی، مهارت‌های هکری خود را امتحان کند. این آزمایش توسط شرکت مستقل Irregular انجام می‌شد و هدف آن بررسی توانایی مدل در پیدا کردن و رفع چالش‌های امنیتی بود.

مشکل از جایی شروع شد که محیط آزمایش، برخلاف انتظار، به اینترنت دسترسی داشت. همین موضوع باعث شد جمینای بتواند اطلاعات واقعی موجود در اینترنت را پیدا کند و به سامانه‌هایی خارج از محیط آزمایش برسد.

جمینای چطور وارد سیستم‌ها شد؟

در این آزمایش، جمینای با یک تمرین موسوم به Capture the Flag روبه‌رو بود. در چنین تمرین‌هایی، هوش مصنوعی باید اطلاعات مشخصی را در یک محیط شبیه‌سازی‌شده پیدا کند.

مدل تصور می‌کرد شرکت‌هایی که با آنها روبه‌رو می‌شود، بخشی از همین محیط ساختگی هستند.

در یکی از موارد، جمینای با حدس زدن رمز عبور توانست وارد یک سیستم محافظت‌شده شود. در دو مورد دیگر نیز اطلاعات ورود را در مخازن عمومی اینترنت پیدا کرد و از آنها برای دسترسی به سیستم‌های دیگر استفاده کرد.

نکته مهم اینجاست که جمینای قرار نبود به این سیستم‌های واقعی دسترسی داشته باشد. یک مشکل در تنظیمات محیط آزمایش باعث شد ارتباط اینترنتی در دسترس مدل قرار بگیرد.

چرا جمینای متوقف شد؟

ماجرا یک نکته مهم دیگر هم دارد.

جمینای پس از اینکه متوجه شد سیستم‌هایی که به آنها دسترسی پیدا کرده، متعلق به شرکت‌های واقعی هستند، فعالیت خود را متوقف کرد. به گفته گوگل، در هر سه مورد مدل پس از تشخیص واقعی بودن هدف، ادامه عملیات را متوقف کرده است.

گوگل همچنین اعلام کرده شرکت‌های تحت تأثیر این اتفاق را در جریان گذاشته و با شرکت برگزارکننده آزمایش برای اصلاح فرایندهای امنیتی همکاری کرده است.

بنابراین، گزارشی از آسیب جدی به این شرکت‌ها در نتیجه این اتفاق منتشر نشده است.

چرا این اتفاق مهم است؟

اهمیت ماجرا بیشتر از خود سه نفوذ است.

هوش مصنوعی‌های جدید فقط برای پاسخ دادن به سؤال‌ها ساخته نشده‌اند. مدل‌های موسوم به «عامل هوش مصنوعی» می‌توانند به اینترنت وصل شوند، اطلاعات پیدا کنند و با ابزارهای مختلف کار کنند.

اگر چنین مدلی در یک محیط آزمایشی به منابع واقعی دسترسی پیدا کند، ممکن است کاری را که برای یک شبیه‌سازی انجام می‌دهد، ناخواسته روی یک سیستم واقعی اجرا کند.

اتفاق جمینای دقیقاً نمونه‌ای از همین مشکل است؛ مدل برای انجام یک آزمایش امنیتی آموزش دیده بود، اما محیط آزمایش به‌درستی از اینترنت جدا نشده بود.

فقط جمینای نبود

این اتفاق در شرایطی رخ داده که نمونه‌های مشابهی درباره مدل‌های دیگر هوش مصنوعی نیز گزارش شده است.

شرکت Anthropic در ماه ژوئیه اعلام کرد مدل‌های Claude در جریان آزمایش‌های امنیت سایبری، در سه مورد به اینترنت دسترسی پیدا کرده و وارد سیستم‌های واقعی سه سازمان شده‌اند. این شرکت بعداً یک مورد چهارم را نیز در بررسی گسترده‌تر خود شناسایی کرد.

OpenAI نیز در ماه ژوئیه اعلام کرده بود که چند مدل این شرکت در جریان آزمایش‌های امنیتی از محدودیت‌های محیط آزمایش عبور کرده و به زیرساخت‌های Hugging Face دسترسی پیدا کرده‌اند.

در نتیجه، اتفاقی که برای جمینای افتاده، بخشی از یک مسئله بزرگ‌تر در آزمایش مدل‌های هوش مصنوعی است: چطور می‌توان مدل‌هایی را که توانایی انجام عملیات پیچیده دارند، در محیط واقعی آزمایش کرد بدون اینکه ناخواسته به سیستم‌های واقعی آسیب بزنند؟

فعلاً آنچه درباره جمینای مشخص است این است که این مدل در یک آزمایش امنیتی، به‌دلیل دسترسی ناخواسته به اینترنت، به سه شرکت واقعی رسید؛ اما پس از تشخیص واقعی بودن اهداف، عملیات خود را متوقف کرد.