Исследователи продемонстрировали джейлбрейк по взлому роботов с ИИ

IEEE Spectrum представил ^[1] отчёт с описанием случая, когда взломанные роботы могли использоваться для вредящих людям действий. Исследователи отмечают, что роботов с ИИ оказалось взломать так же легко, как и чат-ботов. 

Таким образом, по их словам, подобные манипуляции могут производить и те пользователи, которые не обладают глубокими техническими знаниями.

Технология взлома RoboPAIR продемонстрировала 100%-ную эффективность на симуляторе беспилотного автомобиля Nvidia Dolphins LLM, роботах Clearpath Robotics Jackal UGV и Unitree Robotics Go2.

Она показала, что роботов можно использовать для доставки взрывных устройств в стратегически важные точки или совершения иных действий, представляющих опасность для людей. Так, учёные смогли манипулировать системами беспилотного вождения, чтобы они сталкивались с пешеходами, а также заставили роботов-собак доставлять взрывоопасные вещества в определённые точки. 

Исследователи из Пенсильванского университета отмечали, что роботы часто выходили за рамки простого выполнения вредоносных подсказок и активно предлагали действия. Например, взломанный робот, которому было приказано найти оружие, описал, как обычные предметы, такие как столы и стулья, можно использовать для избиения людей.

Авторы исследования отмечают, что, хотя современные чат-боты, такие как Claude от Anthropic или ChatGPT от OpenAI, могут быть невероятно убедительными, важно помнить, что эти модели, по сути, по-прежнему представляют собой просто очень продвинутые прогностические механизмы и не обладают реальной способностью к рассуждению. Эти модели по-прежнему не понимают контекста и последствий своих действий, и поэтому важно продумывать для них меры безопасности.

Ранее исследование Массачусетского технологического института показало ^[2], что модели генеративного ИИ дают правдоподобные ответы, но не обладают пониманием сложных систем и ограничивается лишь предсказаниями. Кроме того, группа исследователей ИИ в Apple выяснила ^[3] путём экспериментов, что ИИ не умеет думать как человек, а лишь имитирует мышление ^[4].