Исследование: как скоро ИИ будет работать полный рабочий день

Недавний анализ METR Evaluations показывает ^[1], что способность систем искусственного интеллекта ^[2] поддерживать выполнение задач улучшается быстрыми темпами. Продолжительность автономной работы ИИ удваивается каждые семь месяцев, а к 2027 году системы смогут работать восьмичасовой рабочий день ​​с 50%-ным показателем успешности.

Аналитики METR установили чёткие границы для тестирования успешности длительной работы ИИ. Инструкции для каждой задачи однозначные и предлагают минимальный дополнительный контекст, необходимый для понимания. Каждая задача поставляется с простой для описания алгоритмической функцией оценки. 

В то же время большинство задач, выполняемых инженерами-программистами или машинным обучением ^[3], как правило, требуют объёмные ссылки на предшествующий контекст, а также не формулируются однозначно. Таким образом, тесты METR сосредоточены на условиях, которые не всегда применимы в реальных сценариях.

Кроме того, 50%-ный показатель успеха вряд ли можно назвать высоким, если сопоставить его с человеческой работой.

Тем не менее, когда пользователь X визуализировал данные METR, отобразив показатели точности 80%, 95% и 99% на логарифмической шкале, результаты подтвердили выводы аналитиков. Шкала показывает, что пороги точности ИИ быстро повышаются, в то время как достижение почти идеальной производительности (99%) следует по гораздо более плавной кривой. Это подчёркивает проблему достижения высокой надёжности выходных данных ИИ. Если достичь показателя в 80% для четырёхчасовых задач можно уже к 2028 году, то показатель в 99% потребует экспоненциально больше усилий.

Даже быстрая, дешёвая и точная на 50% система может изменить правила игры — при условии, что человек сможет быстро проверить её работу. Однако подобный мониторинг может сделать внедрение ИИ нерентабельным.

С другой стороны, показатель в 80% кажется более реальным для практического внедрения. Например, для каждой задачи требуется 1 млн токенов стоимостью примерно по $10, а затем человеческая проверка в течение 15 минут. Если задача выполнена неправильно, то живой специалист переделает работу примерно за четыре часа. При этом средняя оплата человеческого труда будет составлять $100 в час. Если же выполнять тысячу таких задач вручную, то это потребует 4000 человеко-часов и будет стоить $400 000. Таким образом, делегирование работы ИИ с последующей проверкой будет экономически выгоднее.

Главы компаний из сферы ИИ уже указывают на то, что программистам придётся приобретать новые навыки. Так, генеральный директор OpenAI Сэм Альтман уверен ^[4], что ключевым навыком для начинающих программистов становится умение эффективно применять инструменты искусственного интеллекта. Ранее генеральный директор Anthropic Дарио Амодеи заявил ^[5], что ИИ будет писать весь код для программистов в течение года. В январе генеральный директор Meta* Марк Цукерберг рассказал  ^[6]Джо Рогану, что компания разрабатывает новый ИИ, который сможет писать «большую часть кода» в приложениях компании.

_{*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена}