Глава Anthropic Дарио Амодеи призвал ИИ-компании срочно снизить темпы развития самых мощных моделей, чтобы меры безопасности успевали за ростом их возможностей. Его заявление прозвучало на фоне новых случаев опасного использования ИИ.
«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — написал Амодеи в своем блоге.
По его мнению, развитие технологий не обязательно нужно останавливать, но оно должно идти медленнее, чтобы системы защиты успевали за новыми возможностями ИИ.
Глава Anthropic предложил трехэтапный план. Сначала ИИ-компании должны предоставить независимым экспертам постоянный доступ к своим системам для проверки мер безопасности и расследования инцидентов. Затем компаниям из демократических стран предлагается договориться об общих стандартах безопасности и ограничениях на бесконтрольное ускорение разработки. Третий этап предполагает международную координацию, в том числе с Китаем и другими странами.
Поводом для тревоги стали и реальные случаи злоупотребления ИИ. В сентябрьском отчете Anthropic описаны пять случаев, когда пользователи пытались использовать Claude в работах, которые могли способствовать созданию биологического оружия. Среди них была попытка использовать модель для планирования экспериментов с птичьим гриппом и работы с вирусом чикунгунья. Anthropic сообщила, что заблокировала связанные аккаунты и усилила защиту моделей.
Похожую обеспокоенность ранее выразили в OpenAI. Главный научный сотрудник компании Якуб Пахоцкий заявил, что никто не готов к последствиям продолжительного быстрого роста машинного интеллекта. В OpenAI также сообщили, что временно замедляли разработку Astra, чтобы усилить защиту от потенциально опасного использования модели.
Генеральный директор OpenAI Сэм Альтман поддержал идею замедления темпов и заявил, что этот вопрос активно обсуждается внутри компании. С этим согласен также Илон Маск.
«Дарио прав»,— написал он кратко на странице в соцсети Х.
