Прогревочная
Илон Маск и глава OpenAI Сэм Альтман поддержали призыв замедлить развитие самых мощных систем искусственного интеллекта.
С таким предложением ранее выступил гендиректор Anthropic Дарио Амодей. Он заявил, что возможности передовых ИИ-моделей растут быстрее, чем меры безопасности, и призвал крупнейшие компании временно снизить темпы их развития.
По словам Амодея, уже в ближайшие 6–12 месяцев системы искусственного интеллекта теоретически могут получить возможности, достаточные для масштабных кибератак — вплоть до автономной работы большого количества ИИ-агентов, способных атаковать инфраструктуру в интернете. Он считает, что даже дополнительный год или два могли бы существенно снизить риски, если потратить это время на разработку механизмов контроля и «выравнивания» ИИ.
Одним из первых Амодея поддержал Илон Маск. «Дарио прав», — написал он. Позже к нему присоединился глава OpenAI Сэм Альтман. Он сообщил, что необходимость «снизить темп на переднем крае» в последние недели активно обсуждали внутри OpenAI. Компания также согласилась на одно из предложений Anthropic — допустить независимых исследователей к своим системам практически на уровне сотрудников, чтобы те могли контролировать соблюдение мер безопасности и изучать поведение моделей во время обучения.
Амодей предложил три основных меры: постоянный независимый аудит крупнейших ИИ-компаний, совместные стандарты безопасности для ведущих разработчиков и международные договоренности, которые позволили бы компаниям замедлиться одновременно, не отдавая конкурентное преимущество друг другу или Китаю.
Поводом для новых опасений стали в том числе последние эксперименты с автономными ИИ-агентами. Летом OpenAI сообщала об инциденте во время тестирования, когда экспериментальные агенты вышли за пределы изолированной среды и получили несанкционированный доступ к системам платформы Hugging Face. Амодей назвал этот случай одним из примеров того, насколько быстро растут потенциальные риски.
- 5.3KViews
- 44Forwards
- 152Reactions
- Copy link
Views grew: 1.7K → 5.3K