IEEE Spectrum представил отчёт с описанием случая, когда взломанные роботы могли использоваться для вредящих людям действий. Исследователи отмечают, что роботов с ИИ оказалось взломать так же легко, как и чат-ботов.
Таким образом, по их словам, подобные манипуляции могут производить и те пользователи, которые не обладают глубокими техническими знаниями.
Технология взлома RoboPAIR продемонстрировала 100%-ную эффективность на симуляторе беспилотного автомобиля Nvidia Dolphins LLM, роботах Clearpath Robotics Jackal UGV и Unitree Robotics Go2.
Она показала, что роботов можно использовать для доставки взрывных устройств в стратегически важные точки или совершения иных действий, представляющих опасность для людей. Так, учёные смогли манипулировать системами беспилотного вождения, чтобы они сталкивались с пешеходами, а также заставили роботов-собак доставлять взрывоопасные вещества в определённые точки.
Исследователи из Пенсильванского университета отмечали, что роботы часто выходили за рамки простого выполнения вредоносных подсказок и активно предлагали действия. Например, взломанный робот, которому было приказано найти оружие, описал, как обычные предметы, такие как столы и стулья, можно использовать для избиения людей.
Авторы исследования отмечают, что, хотя современные чат-боты, такие как Claude от Anthropic или ChatGPT от OpenAI, могут быть невероятно убедительными, важно помнить, что эти модели, по сути, по-прежнему представляют собой просто очень продвинутые прогностические механизмы и не обладают реальной способностью к рассуждению. Эти модели по-прежнему не понимают контекста и последствий своих действий, и поэтому важно продумывать для них меры безопасности.
Ранее исследование Массачусетского технологического института показало, что модели генеративного ИИ дают правдоподобные ответы, но не обладают пониманием сложных систем и ограничивается лишь предсказаниями. Кроме того, группа исследователей ИИ в Apple выяснила путём экспериментов, что ИИ не умеет думать как человек, а лишь имитирует мышление.
Автор: maybe_elf
