OpenAI обновила свою систему обеспечения готовности — внутреннюю систему, которую она использует для оценки безопасности моделей ИИ и определения необходимых мер защиты во время разработки и внедрения. В обновлении OpenAI заявила, что может «скорректировать» свои требования к безопасности, если конкурирующая лаборатория ИИ выпустит систему «высокого риска» без аналогичных мер защиты.
Это изменение отражает растущее конкурентное давление на разработчиков коммерческого ИИ, вынуждающее их быстро внедрять модели. OpenAI обвиняли в снижении стандартов безопасности в пользу более быстрого выпуска обновлений, а также в несвоевременном предоставлении отчётов с подробным описанием тестирования безопасности. На прошлой неделе 12 бывших сотрудников OpenAI подали ходатайство в деле Илона Маска против OpenAI, утверждая, что компания будет вынуждена ещё больше экономить на безопасности, если завершит запланированную корпоративную реструктуризацию.
Возможно, предвидя критику, OpenAI заявляет, что не будет вносить эти изменения в политику бездумно и что сохранит свои меры безопасности на «более высоком уровне».
«Если конкуренты в сфере ИИ выпустят систему с высоким уровнем риска без сопоставимых мер безопасности, мы можем скорректировать наши требования, — написал OpenAI в блоге, опубликованном во вторник днём. — Однако сначала мы тщательно проверим, действительно ли изменилась ситуация с рисками, публично признаем, что вносим изменения, оценим, не приведёт ли это к значительному увеличению общего риска серьёзного ущерба, и сохраним меры безопасности на более высоком уровне».
Обновленная система обеспечения готовности также ясно показывает, что OpenAI в большей степени полагается на автоматизированные оценки для ускорения разработки продукта. Компания заявляет, что, хотя она и не отказалась полностью от тестирования под руководством человека, она создала “растущий набор автоматизированных оценок”, который предположительно может “соответствовать более быстрой релизной частоте”.
Некоторые отчёты противоречат этому. По данным Financial Times, OpenAI предоставила тестировщикам менее недели на проверку безопасности будущей крупной модели — сжатые сроки по сравнению с предыдущими релизами. Источники издания также утверждают, что многие тесты безопасности OpenAI теперь проводятся на более ранних версиях моделей, а не на версиях, выпущенных для широкой публики.
В своих заявлениях OpenAI опровергает мнение о том, что компания ставит безопасность под угрозу.
Другие изменения в системе OpenAI касаются того, как компания классифицирует модели в зависимости от риска, в том числе модели, которые могут скрывать свои возможности, обходить защитные меры, предотвращать их отключение и даже самовоспроизводиться. OpenAI заявляет, что теперь будет уделять внимание тому, соответствуют ли модели одному из двух пороговых значений: «высокая» или «критическая» способность.
По определению OpenAI, первая категория — это модель, которая может «усиливать существующие риски причинения серьёзного вреда». Вторая категория — это модели, которые, по мнению компании, «создают беспрецедентные новые риски причинения серьёзного вреда».
«Защищённые системы, достигающие высокой производительности, должны иметь меры предосторожности, которые в достаточной степени минимизируют связанный с ними риск серьёзного ущерба до их внедрения, — написала OpenAI в своём блоге. — Системы, достигающие критической производительности, также требуют мер предосторожности, которые в достаточной мере минимизируют связанные с ними риски во время разработки».
Эти обновления — первые, которые OpenAI внесла в систему обеспечения готовности с 2023 года.
Автор: mefdayy
