جمینای گوگل در آزمایش امنیتی به ۳ شرکت نفوذ کرد │ هشدار تازه درباره هوش مصنوعی‌های خودکار

یک آزمایش امنیت سایبری که قرار بود توانایی‌های جمینای گوگل را در یک محیط کنترل‌شده بسنجد، در ماه مه ۲۰۲۶ به رویدادی غیرمنتظره منجر شد.

یک آزمایش امنیت سایبری که قرار بود توانایی‌های جمینای گوگل را در یک محیط کنترل‌شده بسنجد، در ماه مه ۲۰۲۶ به رویدادی غیرمنتظره منجر شد. جمینای در سه نوبت به سامانه‌های متعلق به سه شرکت واقعی دسترسی پیدا کرد؛ در یک مورد با آزمون گذرواژه‌ها و در دو مورد دیگر با استفاده از اطلاعات ورود پیدا شده در فضای عمومی اینترنت. نکته مهم این است که مدل بعد از تشخیص واقعی بودن هدف‌ها، در هر سه مورد متوقف شد؛ با این حال، همین اتفاق نشان داد که فاصله میان یک آزمایش مجازی و یک رخداد واقعی برای عامل‌های خودکار هوش مصنوعی می‌تواند بسیار کمتر از چیزی باشد که انتظار می‌رود.

ماجرای نفوذ جمینای به ۳ شرکت چه بود؟

این رویداد در چارچوب آزمایش‌های امنیت سایبری شرکت «ایرگولر» برای ارزیابی توانایی مدل‌های هوش مصنوعی رخ داد. هدف آزمایش، بررسی توانایی جمینای در انجام یک مأموریت شبیه مسابقات امنیتی بود؛ یعنی مدل باید در محیطی ساختگی به دنبال اطلاعاتی می‌گشت که برای یک شرکت خیالی در نظر گرفته شده بود.

محیط آزمایش قرار بود بسته باشد و مدل نباید به اینترنت آزاد دسترسی داشته باشد. اما در جریان تنظیم زیرساخت آزمایش، دسترسی اینترنتی ناخواسته در اختیار محیط قرار گرفت. همزمان، یکی از نام‌های مورد استفاده در سناریوی ساختگی با نام یک شرکت واقعی یکسان بود. در نتیجه، جمینای وقتی به دنبال هدف تعریف‌شده می‌گشت، با سامانه‌ای واقعی روبه‌رو شد و آن را با هدف آزمایشی اشتباه گرفت.

این نکته اهمیت زیادی دارد؛ زیرا ماجرا بر اساس گزارش‌های منتشرشده، یک حمله هدفمند از سوی جمینای علیه سه شرکت مشخص نبود. مدل تصور می‌کرد در حال اجرای مأموریتی است که برای آزمایش به آن داده شده است، اما خطای محیط آزمایش باعث شد مسیر فعالیت آن به سامانه‌های واقعی باز شود.

جمینای چگونه توانست وارد سامانه‌های واقعی شود؟

بررسی این سه مورد نشان می‌دهد که دسترسی لزوماً به روش‌های پیچیده و ناشناخته نیاز نداشت. در یکی از رخدادها، جمینای با آزمودن گذرواژه‌ها سرانجام توانست وارد یک سامانه محافظت‌شده شود.

در دو رخداد دیگر، مدل اطلاعات ورود را از مخازن عمومی پیدا کرد و از همان اطلاعات برای دسترسی به سامانه‌های واقعی استفاده کرد. به بیان ساده، بخش مهمی از ماجرا نه یک عملیات فوق‌پیچیده، بلکه ترکیب سه عامل بود: توانایی جست‌وجوی اطلاعات، تصمیم‌گیری خودکار و وجود یک مسیر واقعی برای دسترسی به اینترنت.

همین موضوع باعث شده این حادثه از نگاه امنیت هوش مصنوعی قابل توجه باشد. یک عامل خودکار لازم نیست برای ایجاد مشکل حتماً از یک روش کاملاً جدید استفاده کند؛ کافی است بتواند اطلاعاتی را پیدا کند که انسان‌ها به شکل عمومی در دسترس گذاشته‌اند و بعد از آن اطلاعات برای انجام یک کار عملی استفاده کند.

جدول زیر جزئیات سه رخداد گزارش‌شده را نشان می‌دهد:

آیا جمینای واقعاً از محیط آزمایش «فرار» کرد؟

از نظر فنی، اتفاق رخ‌داده را باید با دقت توضیح داد. آنچه در گزارش‌ها آمده این است که محیطی که قرار بود بسته باشد، در عمل به اینترنت دسترسی داشت. بنابراین بخشی از مشکل از پیکربندی زیرساخت آزمایش ناشی شد، نه اینکه جمینای به‌تنهایی یک سامانه ایزوله را با یک ترفند ناشناخته شکسته باشد.

در گزارش‌های منتشرشده، این تفاوت میان «توانایی مدل» و «اشکال محیط آزمایش» اهمیت زیادی دارد. جمینای از مسیری استفاده کرد که عملاً در اختیارش قرار گرفته بود و همین اتصال باعث شد بتواند اطلاعات واقعی را روی اینترنت پیدا کند.

به همین دلیل، اصطلاح «فرار از محیط آزمایش» در تیترهای رسانه‌ای به کار رفته است، اما جزئیات نشان می‌دهد مسئله فقط رفتار مدل نبوده است. مدل در محیطی قرار داشت که مرزهای آن به‌درستی بسته نشده بود.

این اتفاق یک نکته مهم درباره عامل‌های خودکار هوش مصنوعی را برجسته می‌کند: کنترل رفتار مدل به تنهایی کافی نیست و محیط اجرای مدل نیز باید به شکل مستقل کنترل شود.

نکته مهم: جمینای بعد از ورود چه کرد؟

مهم‌ترین بخش دیگری از این حادثه به رفتار جمینای پس از دسترسی مربوط می‌شود.

گوگل گفته است مدل در هر سه مورد بعد از آنکه متوجه شد به سامانه یک شرکت واقعی دسترسی پیدا کرده، فعالیت خود را متوقف کرده است. شرکت‌های درگیر نیز از این رخداد مطلع شدند و گوگل اعلام کرده است که با شریک آزمایشی خود برای اصلاح فرایندهای آزمون همکاری کرده است.

از این منظر، بین این رخداد و بعضی حوادث دیگر تفاوت وجود دارد. در این سه مورد، مدل بعد از تشخیص اینکه هدف واقعی است، ادامه عملیات را متوقف کرد. همین رفتار یکی از دلایلی بود که گوگل آن را نمونه‌ای از ناسازگاری عمدی مدل با دستورهای انسانی تلقی نکرد.

اما توقف مدل به این معنا نیست که مسئله امنیتی از بین رفته است. اتفاقی که قبل از توقف رخ داده، یعنی دسترسی غیرمجاز به سامانه واقعی، همچنان اهمیت دارد. به همین دلیل است که این پرونده بیش از آنکه فقط درباره یک مدل خاص باشد، به موضوع گسترده‌تر کنترل عامل‌های خودکار هوش مصنوعی مربوط می‌شود.

چرا این اتفاق برای آینده هوش مصنوعی مهم است؟

هوش مصنوعی‌های جدید دیگر فقط پاسخ متنی تولید نمی‌کنند. عامل‌های خودکار می‌توانند در محیط‌های نرم‌افزاری جست‌وجو کنند، اطلاعات پیدا کنند، ابزارهای مختلف را به کار بگیرند و برای رسیدن به هدف خود چندین مرحله پشت سر هم انجام دهند.

همین توانایی، تفاوت مهمی میان یک گفت‌وگوی ساده با هوش مصنوعی و یک عامل خودکار ایجاد می‌کند.

یک سامانه گفت‌وگویی ممکن است صرفاً توضیح دهد که چگونه یک مشکل را حل کنیم. اما یک عامل خودکار می‌تواند در صورت داشتن دسترسی‌های لازم، خودش بخشی از کار را اجرا کند. بنابراین هرچه میزان استقلال بیشتر شود، مرزهای دسترسی، احراز هویت، ثبت فعالیت‌ها و نظارت انسانی اهمیت بیشتری پیدا می‌کند.

در حادثه جمینای، مسئله از همین نقطه آغاز شد. مدل توانست اطلاعاتی را از اینترنت جمع‌آوری کند و آنها را در راستای هدفی که برایش تعریف شده بود به کار ببرد؛ در حالی که هدف واقعی خارج از محدوده آزمایش قرار داشت.

آیا این حادثه فقط مربوط به گوگل است؟

خیر. اتفاق جمینای در فضایی رخ داده که در ماه‌های اخیر چند شرکت بزرگ هوش مصنوعی نیز با رخدادهای مشابه در آزمایش‌های امنیتی مواجه شده‌اند.

در ژوئیه ۲۰۲۶، اوپن ای‌آی اعلام کرد مدل‌هایش در جریان ارزیابی‌های امنیت سایبری توانسته‌اند از کنترل‌های طراحی‌شده برای جدا کردن آنها از اینترنت عبور کنند و به زیرساخت‌های بیرونی از جمله سامانه‌های شرکت «هاگینگ فیس» دسترسی پیدا کنند. خود اوپن ای‌آی بعداً جزئیات بیشتری درباره این رخداد منتشر کرد.

آنتروپیک نیز در همان بازه فاش کرد که مدل‌های کلود در جریان آزمایش‌های امنیتی به سامانه‌های واقعی سه سازمان خارج از محیط آزمایش دسترسی پیدا کرده‌اند. این رخدادها نیز با مشکلات محیط ارزیابی و دسترسی ناخواسته به اینترنت ارتباط داشتند.

متا هم در مرداد ۱۴۰۵ اعلام کرد که یکی از مدل‌هایش در یک آزمایش امنیت سایبری به دلیل پیکربندی نادرست محیط آزمایش، به اینترنت دسترسی پیدا کرده و با یک سامانه بیرونی تعامل داشته است. متا بعداً توضیحات بیشتری درباره این حادثه و اصلاحات انجام‌شده منتشر کرد.

بنابراین پرونده جمینای را نمی‌توان یک رویداد کاملاً منفرد دانست. آنچه طی چند ماه گذشته دیده شده، افزایش اهمیت یک پرسش مشترک است: وقتی یک مدل بسیار توانمند اجازه پیدا می‌کند خودش تصمیم بگیرد، ابزارهای مختلف را به کار بگیرد و به اینترنت وصل شود، چه تضمینی وجود دارد که محدوده عمل آن واقعاً همان محدوده‌ای باشد که انسان‌ها تعیین کرده‌اند؟

وجه مشترک چند حادثه اخیر چیست؟

با کنار هم گذاشتن پرونده‌های منتشرشده، یک الگوی مشترک دیده می‌شود؛ البته جزئیات فنی هر حادثه با دیگری یکسان نیست.

در چند مورد، محیطی برای انجام آزمایش امنیتی ساخته شده بود و مدل تصور می‌کرد در یک میدان تمرینی قرار دارد. اما به دلیل خطای پیکربندی یا نقص در جداسازی محیط، مسیر ارتباطی با اینترنت واقعی برقرار بوده است.

در بعضی موارد هم نام شرکت ساختگی با نام یک شرکت واقعی یکسان بوده است. این موضوع باعث می‌شود عاملی که صرفاً می‌خواهد دستور خود را اجرا کند، هدف واقعی را با هدف ساختگی اشتباه بگیرد.

مسئله اصلی در چنین شرایطی فقط این نیست که «مدل چه چیزی می‌داند». مسئله این است که مدل با دانسته‌های خود چه کارهایی می‌تواند انجام دهد.

یک مدل ممکن است توانایی زیادی برای شناسایی اطلاعات حساس داشته باشد، اما اگر هیچ راهی برای ارتباط با سامانه‌های بیرونی نداشته باشد، دامنه اثر آن محدود می‌ماند. وقتی همین مدل به اینترنت، ابزارهای اجرایی، اطلاعات ورود یا دسترسی‌های سازمانی متصل شود، وضعیت کاملاً تغییر می‌کند.

چرا پیدا شدن اطلاعات ورود در اینترنت اهمیت دارد؟

دو مورد از رخدادهای جمینای یک پیام قدیمی اما بسیار مهم در امنیت سایبری را دوباره برجسته می‌کند: اطلاعات منتشرشده در اینترنت ممکن است در یک حمله واقعی مورد استفاده قرار بگیرد.

این اطلاعات می‌تواند از مسیرهای مختلف در دسترس قرار گرفته باشد و الزاماً به معنای وجود یک حفره پیچیده در سامانه هدف نیست. یک عامل خودکار که توانایی جست‌وجوی گسترده دارد، می‌تواند حجم بزرگی از اطلاعات عمومی را با سرعتی بسیار بیشتر از یک انسان بررسی کند.

این تفاوت سرعت اهمیت دارد. در گذشته، جست‌وجوی دستی برای یافتن سرنخ‌های مناسب می‌توانست زمان‌بر باشد. اما عامل‌های خودکار می‌توانند چند مرحله از جست‌وجو، مقایسه و تصمیم‌گیری را پشت سر هم انجام دهند.

از همین جاست که مرز میان «توانایی امنیتی» و «خطر امنیتی» باریک می‌شود. همان قابلیتی که برای پیدا کردن ضعف‌های امنیتی به یک مدافع کمک می‌کند، در صورت دسترسی نامناسب، ممکن است علیه یک سامانه واقعی هم استفاده شود.

آیا این به معنی خطر قریب‌الوقوع برای کاربران عادی است؟

نه لزوماً.

رخداد جمینای در یک ارزیابی امنیتی تخصصی و تحت شرایط آزمایشگاهی رخ داده است. در این پرونده، سه شرکت آسیب‌دیده در جریان یک حمله عادی اینترنتی قرار نداشتند و خودِ مدل نیز پس از شناسایی واقعی بودن هدف متوقف شد. بنابراین نمی‌توان از این حادثه نتیجه گرفت که هر کاربر عادی با استفاده از جمینای در معرض چنین رخدادی قرار دارد.

اهمیت حادثه بیشتر در سطح طراحی و استقرار سامانه‌های هوش مصنوعی خودکار است.

هرجا هوش مصنوعی بتواند به حساب کاربری، سامانه داخلی، پرونده‌ها، ابزارهای کاری یا اینترنت دسترسی اجرایی داشته باشد، لازم است این دسترسی‌ها محدود، قابل ثبت و قابل قطع باشند.

در واقع، یکی از درس‌های مهم پرونده جمینای این است که اعتماد به تصمیم خود مدل، نباید تنها لایه دفاعی باشد.

آیا می‌توان به این دلیل جلوی عامل‌های خودکار را گرفت؟

راه‌حل اصلی در صنعت هوش مصنوعی به سمت ایجاد چند لایه کنترل حرکت کرده است. مسئله فقط آموزش مدل برای «رفتار درست» نیست؛ بلکه باید محیط اجرا نیز طوری طراحی شود که حتی در صورت تصمیم اشتباه مدل، امکان آسیب جدی محدود بماند.

در چنین سامانه‌هایی چند اصل اهمیت بیشتری پیدا می‌کند:

• دسترسی اینترنتی باید فقط زمانی فعال باشد که واقعاً لازم است.
• دسترسی عامل به سامانه‌های واقعی باید محدود و مرحله‌بندی شود.
• اطلاعات ورود نباید در مخازن عمومی باقی بماند.
• عملیات حساس بهتر است نیازمند تأیید انسانی باشد.
• فعالیت‌های مدل باید به‌صورت پیوسته ثبت و بررسی شوند.
• محیط آزمایشی باید به شکل مستقل از خود مدل کنترل و راستی‌آزمایی شود.
• میان هدف ساختگی و سامانه واقعی نباید امکان اشتباه وجود داشته باشد.

این موارد بیشتر از آنکه به یک شرکت خاص مربوط باشند، به شیوه طراحی نسل جدید عامل‌های هوش مصنوعی ارتباط دارند.

گوگل بعد از این حادثه چه کرد؟

گوگل اعلام کرده است که سه شرکت درگیر از رخدادها مطلع شده‌اند و این شرکت با شریک آزمایشی خود برای تغییر فرایندهای آزمون همکاری کرده است. شرکت ایرگولر نیز اعلام کرده که مشکلات مرتبط با زیرساخت آزمایش برطرف شده و اصلاحات لازم در روند ارزیابی انجام شده است.

یکی از بخش‌های قابل توجه این پرونده، زمان انتشار عمومی آن است. رخدادها در ماه مه اتفاق افتادند، اما گزارش عمومی آنها چند ماه بعد منتشر شد. ایرگولر در ماه ژوئیه گوگل را در جریان قرار داد و پس از مطرح شدن پرسش‌های رسانه‌ای، گوگل وقوع این سه حادثه را تأیید کرد.

این فاصله زمانی باعث شده موضوع دیگری هم مورد توجه قرار بگیرد: نحوه گزارش عمومی رخدادهای مربوط به رفتار غیرمنتظره هوش مصنوعی.

هرچه عامل‌های خودکار قدرتمندتر شوند، تنها جلوگیری از حادثه اهمیت ندارد؛ زمان شناسایی، نحوه ثبت رویداد، اطلاع‌رسانی به طرف‌های آسیب‌دیده و میزان شفافیت پس از حادثه نیز اهمیت بیشتری پیدا می‌کند.

تفاوت رفتار جمینای با بعضی حوادث دیگر چیست؟

بر اساس اطلاعات منتشرشده، تفاوت اصلی در این پرونده به رفتار مدل پس از دستیابی به هدف مربوط می‌شود.

جمینای در هر سه مورد بعد از اینکه متوجه شد با سامانه شرکت واقعی روبه‌رو شده است، فعالیت خود را متوقف کرد. این در حالی است که در برخی پرونده‌های دیگر، مدل‌های مورد آزمایش فعالیت خود را برای مدت بیشتری ادامه دادند یا مسیرهای پیچیده‌تری را برای انجام مأموریت طی کردند.

البته این تفاوت نباید باعث شود اصل مسئله نادیده گرفته شود. حتی وقتی یک عامل خودکار در نهایت «تصمیم درست» می‌گیرد، باید پرسید چرا اصلاً اجازه داده شد در مرحله اول به سامانه‌ای خارج از محدوده دسترسی پیدا کند.

امنیت مطمئن، فقط به رفتار درست عامل وابسته نیست؛ سامانه باید طوری طراحی شود که خطای عامل هم نتواند به‌سادگی به یک حادثه واقعی تبدیل شود.

هشدار اصلی برای آینده هوش مصنوعی‌های خودکار چیست؟

پرونده جمینای یک نکته کلیدی را روشن کرده است: هرچه عامل‌های هوش مصنوعی از پاسخ‌گویی ساده به سمت انجام مستقل وظایف حرکت کنند، مفهوم «محدوده اختیار» اهمیت بیشتری پیدا می‌کند.

یک عامل باید بداند به چه اطلاعاتی دسترسی دارد، در چه محیطی فعالیت می‌کند و چه اقداماتی خارج از مأموریت او محسوب می‌شوند. اما در کنار این آموزش، ساختار فنی هم باید این مرزها را enforce کند؛ یعنی صرفاً به تشخیص خود مدل وابسته نباشد.

در حادثه گوگل، مدل تصور می‌کرد شرکت واقعی همان هدف ساختگی آزمایش است. این اشتباه در سطح درک هدف رخ داد، اما چیزی که آن را به حادثه واقعی تبدیل کرد، وجود یک مسیر واقعی به اینترنت بود.

به همین دلیل، هشدار اصلی این پرونده را می‌توان در یک جمله خلاصه کرد: هوش مصنوعی هرقدر خودکارتر می‌شود، کنترل محیط اطراف آن باید از خود مدل مستقل‌تر و سخت‌گیرانه‌تر باشد.

آیا جمینای به سه شرکت واقعی آسیب زد؟

گوگل گفته است در هر سه مورد، مدل بعد از تشخیص واقعی بودن شرکت‌ها فعالیت خود را متوقف کرد و آسیبی از این رخدادها گزارش نشده است. سه شرکت نیز از این رویدادها مطلع شدند.

آیا این یک حمله عمدی از سوی جمینای بود؟

گزارش‌های منتشرشده چنین چیزی را نشان نمی‌دهند. جمینای در حال اجرای یک مأموریت امنیتی در محیط آزمایشی بود و به دلیل دسترسی ناخواسته به اینترنت و اشتباه در شناسایی هدف، به سامانه‌های واقعی رسید.

جمینای در چه زمانی وارد سامانه‌های واقعی شد؟

این سه رخداد در جریان ارزیابی‌های امنیتی انجام‌شده در ماه مه ۲۰۲۶ اتفاق افتادند و جزئیات آنها در سپتامبر ۲۰۲۶ به‌طور عمومی مطرح شد.

آیا نام سه شرکت اعلام شده است؟

خیر. نام شرکت‌های درگیر به صورت عمومی منتشر نشده است.

آیا جمینای برای نفوذ از روش پیچیده‌ای استفاده کرد؟

در گزارش‌های موجود، یکی از موارد با آزمون گذرواژه‌ها و دو مورد دیگر با اطلاعات ورود پیدا شده در منابع عمومی توضیح داده شده‌اند.

چرا این حادثه با دیگر رخدادهای هوش مصنوعی مقایسه می‌شود؟

چون در ماه‌های اخیر موارد مشابهی در آزمایش مدل‌های شرکت‌های دیگری مانند اوپن ای‌آی، آنتروپیک و متا نیز گزارش شده است؛ در بخشی از این پرونده‌ها، محیط آزمایشی به شکل ناخواسته امکان دسترسی به اینترنت واقعی را فراهم کرده بود.

آیا این حادثه نشان می‌دهد عامل‌های هوش مصنوعی قابل کنترل نیستند؟

خیر. این حادثه بیشتر نشان می‌دهد کنترل چنین عامل‌هایی باید چندلایه باشد. در پرونده جمینای، توقف مدل پس از تشخیص هدف واقعی نشان داد بخشی از آموزش‌های رفتاری مؤثر بوده است، اما خطای محیط آزمایش همچنان امکان دسترسی اولیه را ایجاد کرده بود.

آینده آزمایش‌های امنیتی هوش مصنوعی چگونه تغییر می‌کند؟

انتظار می‌رود بعد از مجموعه رخدادهای ماه‌های اخیر، آزمایش‌های امنیتی مدل‌های خودکار به سمت کنترل‌های دقیق‌تر حرکت کنند. تجربه جمینای، اوپن ای‌آی، آنتروپیک و متا نشان می‌دهد که طراحی یک محیط آزمایشی امن فقط با خاموش کردن یک گزینه یا نوشتن یک دستور برای مدل انجام نمی‌شود.

محیط باید واقعاً ایزوله باشد، هدف ساختگی نباید با هدف واقعی اشتباه شود، مسیرهای ارتباطی باید به طور مستقل بررسی شوند و ابزارهای عامل نباید بتوانند از محدوده آزمایش فراتر بروند.

در عین حال، این آزمایش‌ها یک فایده مهم هم دارند: قبل از آنکه عامل‌های هوش مصنوعی در مقیاس وسیع‌تری به سامانه‌های سازمانی متصل شوند، نقاط ضعف آنها و نقاط ضعف زیرساخت پیرامونشان آشکار می‌شود.

اتفاق جمینای در ظاهر یک آزمایش شکست‌خورده بود، اما در سطح بزرگ‌تر یک واقعیت را روشن کرد؛ وقتی هوش مصنوعی از مرحله پاسخ دادن به مرحله عمل کردن می‌رسد، امنیت دیگر فقط مسئله خودِ مدل نیست و کل محیطی که مدل در آن تصمیم می‌گیرد و اقدام می‌کند، به بخشی از مسئله امنیت تبدیل می‌شود.