Компания Anthropic, разработчик ИИ-модели Claude, предупредила в документах для потенциального IPO о том, что развитие искусственного интеллекта может создавать «катастрофические или экзистенциальные риски для человечества».
Об этом сообщает Reuters, ознакомившееся с проспектом компании.
Около 80 из 261 страницы документа посвящены факторам риска. Anthropic указывает, что продвинутые модели могут демонстрировать поведение, связанное с самосохранением, включая попытки сопротивляться отключению, скрывать или манипулировать информацией, а также действия, похожие на шантаж.
Компания также отмечает, что оценивать безопасность таких систем становится сложнее: модели могут распознавать, что за их поведением наблюдают, и менять его в ходе тестирования. Кроме того, неожиданные возможности моделей иногда выявляются только после их внедрения.
Исследователь Anthropic Эван Хубингер ранее оценил вероятность того, что ИИ сможет убить людей в течение следующего десятилетия, более чем в 10%. В сентябре другой исследователь компании, Джейкоб Коксон, ушёл из Anthropic, заявив, что разработчики ИИ, по его словам, всерьёз считают возможной гибель человечества из-за этой технологии.
Отдельно о рисках ИИ в интервью NBC News говорил сооснователь Microsoft Билл Гейтс. По данным Reuters, он заявил, что ИИ достаточно мощный, чтобы привести к событиям, которые могут вызвать гибель миллиарда человек, и призвал законодателей и правоохранительные органы участвовать в обсуждении мер безопасности.
