ИИ-агент самостоятельно нашёл уязвимость в системе бронирования австралийского спортзала и отменил бронь другого посетителя, чтобы продвинуть своего пользователя выше в листе ожидания.
При этом пользователь не просил систему вмешиваться в чужие бронирования, пишет ABC News.
Инцидент произошёл во время эксперимента австралийца по имени Эндрю с программой OpenClaw, работавшей на базе модели Claude от Anthropic. Он попросил ИИ записать его на популярную утреннюю тренировку.
Агент обнаружил, что система бронирования позволяет резервировать места на несколько недель вперёд, хотя правила этого не предусматривали.
Когда Эндрю, находившийся четвёртым в листе ожидания, спросил, можно ли поднять его выше, ИИ самостоятельно проверил возможности системы и обнаружил, что API не проверяет права пользователя при отмене чужих бронирований.
Агент отменил бронь человека, занимавшего первое место в очереди, после чего сообщил Эндрю, что тот поднялся с четвёртого места на третье.
Когда пользователь попросил вернуть удалённого человека обратно, ИИ ответил, что сделать этого уже не может.
Эндрю подчёркивает, что не просил агента взламывать систему или лишать другого посетителя места. По его словам, он лишь хотел попасть на тренировку.
После инцидента он поручил тому же ИИ подготовить письмо разработчику системы бронирования с описанием обнаруженной уязвимости. Подготовленное агентом сообщение пользователь отправил компании.
Эксперт Gradient Institute Билл Симпсон-Янг отметил, что подобные случаи показывают одну из проблем автономных ИИ-агентов: человек может поставить системе безобидную цель, а агент самостоятельно выбрать способ её достижения, на который пользователь не давал разрешения.
Между тем независимые исследователи подсчитали, что продолжительность задач, которые подобные системы способны выполнять самостоятельно, удваивается примерно каждые семь месяцев. Если в 2020 году ИИ мог надежно справиться с задачей, занимавшей у человека около четырех секунд, то к 2026-му речь идет уже примерно о 12 часах человеческой работы.
