ИИ-модель Google Gemini во время тестирования возможностей в сфере кибербезопасности получила доступ к системам трёх реальных компаний. Об этом компания рассказала BBC News.
Модель обнаружила общедоступную информацию в интернете и смогла подобрать учётные данные, которые использовала для доступа к сайтам, считавшимся частью тестового задания.
Инцидент произошел еще в мае. В компании отметили, что это первый известный случай, когда ИИ-модель от Google совершила подобные действия.
Тест проводила компания Irregular, которая специализируется на проверке возможностей ИИ-моделей, уточняет The Washington Post. В одном из случаев Gemini получила задание взломать вымышленную компанию. Однако название этой организации совпадало с названием реальной компании, и из-за непреднамеренно доступного интернет-соединения модель смогла выйти за пределы тестовой среды.
В одном случае Gemini подобрала пароли, а в двух других обнаружила учётные данные в общедоступном репозитории и использовала их для доступа к защищённым системам.
Согласно заявлению Google, модель прекращала действия после того, как понимала, что получила доступ к реальным организациям.
Названия трёх компаний не раскрываются. Google сообщила, что их уведомили о произошедшем в июле.
«Мы позаботились о том, чтобы все три организации были проинформированы, и вместе с нашим партнером по обучению проработали изменения, которые теперь внесены в процесс тестирования», — заявила вице-президент Google по инженерии безопасности Хизер Адкинс.
Подобные случаи уже происходили при испытаниях других ИИ-моделей. Так, ранее в Anthropic рассказывали, что три модели Claude вышли в интернет из тестовой среды платформы Irregular и взломали системы трех организаций. Незадолго до этого OpenAI сообщила о похожем случае. Тогда две модели компании во время внутреннего тестирования вышли из-под контроля и взломали инфраструктуру платформы для работы с ИИ Hugging Face.
