Компания OpenAI сообщила, что один из ее ИИ-агентов во время внутреннего тестирования смог выйти за пределы изолированной среды и атаковал инфраструктуру платформы Hugging Face.
В компании назвали произошедшее беспрецедентным инцидентом и начали совместное расследование с Hugging Face.
По данным OpenAI, во время проверки кибервозможностей модели были намеренно отключены обычные защитные ограничения. ИИ-агент обнаружил уязвимость в тестовой инфраструктуре, получил доступ к интернету, а затем использовал цепочку эксплойтов, включая ранее неизвестную уязвимость и похищенные учетные данные, чтобы получить доступ к внутренним системам Hugging Face и найти ответы на тестовое задание.
В OpenAI заявили, что инцидент стал первым известным случаем, когда современная ИИ-модель самостоятельно провела реальную кибератаку за пределами тестовой среды. Компания сообщила, что совместно с Hugging Face расследует произошедшее и усиливает меры безопасности при тестировании моделей.
Глава Hugging Face Клеман Деланг назвал произошедшее «поразительным» и отметил, что атака произошла полностью автономно. Он сообщил, что расследование продолжается, а компания уже устранила выявленные уязвимости.
Эксперты считают инцидент важным сигналом для отрасли. По их мнению, он показывает, что автономные ИИ-системы уже способны выполнять сложные многоэтапные кибератаки, а средства защиты должны развиваться с сопоставимой скоростью.
