Собрались как-то на Conversations ребята из Яндекс Райдтех, Звука, Альфа-Банка и MTS AI, чтобы вместе с Just AI прийти к выводу: генеративный AI в разработке это супер или пока не очень? Дискуссия получилась суперинтересная, так что мы сделали для вас расшифровку!
Как можно использовать AI на разных этапах разработки – поддержки, дизайна, аналитики, солюшн-архитектуры, тестирования? Как разработчикам Copilot-сервисов учесть реальные интересны разработчиков-юзеров? Как замерять эффективность использования генеративок? А как бороться со скепсисом и саботажем (и нужно ли)? Как генеративный AI изменит культуру разработки и роль разработчика в целом?
Об этом и многом другом:
-
Антон Сипачев — CTO, Just AI
-
Артем Арюткин — руководитель проектного и продуктового офиса платформы dev to dev, Yandex Ridetech & Ecom
«Руковожу проектным и продуктовым офисами, отвечающим за развитие платформы для разработчиков. Отвечаю за скорость, эффективность работы и в целом отвечаю за так называемое счастье разработчиков». -
Дэвид Найк — CTPO платформы GenAI — AlfaGen, Альфа-Банк
«Я являюсь техническим и продуктовым владельцем платформенных решений на базе генеративного и искусственного интеллекта в Альфа-Банке. Мы строим решения для внутренних и внешних сотрудников». -
Валентин Малых — руководитель группы Kodify, направления фундаментальных исследований, MTS AI
«Я возглавляю команду разработки Kodify, где мы как раз занимаемся именно технологической частью». -
Кирилл Евсеенко — СТО, Звук
«Я СТО компании Звук. Это музыкальный хай-фай аудиостриминг. Я тоже отвечаю за счастье разработчиков, но скептически отношусь к Gen AI. Мы за счастье с другой стороны».
Ну что, поехали?
О замене джунов GPT и некачественном коде
Антон Сипачев,Just AI (модератор): Какое отношение у разработчиков к активному внедрению genAI в рабочие процессы?
Артем Арюткин, Yandex Ridetech & Ecom:
Когда мы только начинали внедрять AI непосредственно в разработку, доля его использования была равна примерно 5%. Был базовый хейт из серии: «Он работает как IDE. В чем разница?» Людям нужно было объяснять, что в моменте инструмент работает как IDE, но чем больше мы им пользуемся, тем больше данных появляется и тем лучше становится понятно, что пользователям надо. В какой-то момент AI стали пользоваться уже 45% разработчиков.
У AI может быть много сценариев использования, людей просто надо направлять им пользоваться. Многие разработчики, которые относят себя к уровню senior и выше считают, что ИИ им не помогает. А вот специалисты более низкого уровня более активно используют AI-инструменты, поскольку считают, что им нужна помощь. Ждем момент, когда разработчики начнут специально писать код хуже, для того, чтобы GPT-шкам не на чем было обучаться.
Валентин Малых, MTS AI:
Современные открытые модели уже плюс-минус видели весь код. Конечно, мы не знаем, как с этим дела у GPT — может у них есть свой параллельный GitHub или что-то другое. Но вот откуда брать новый код?
Антон Сипачев, Just AI (модератор): Код видели все, но они видели как хорошее, так и плохое. И какие вообще есть риски, когда мы используем языковые модели: она нам занесет вредонос, напишет просто некачественный код?
Валентин Малых, MTS AI:
Код из интернета может быть произвольного качества. Думаю, все видели новости, как кто-то специально заложил в Node.Js неисправный код. Подобные ситуации могут стать причинами многих проблем.
Как нам с этим справиться? Думаю, появится дополнительный инструмент — агент, который будет тестировать код на безопасность. Его, кстати, потом можно и нужно будет применять к коду, написанному человеком. Люди порой тоже, к сожалению, неосознанно могут писать что-то неудачное.
Кирилл Евсеенко, Звук:
Мы говорим, что пока нет агентов, которые позволяют проверять код, но есть же безопасная разработка — отдельное направление, которое ответственно за предотвращение ошибок.
Вот только в безопасной разработке важно, чтобы уровень ответственного за проверку человека был соответствующим: мы не отдадим эту задачу джунам, да и мидлам, наверное, тоже. Это дело можно доверить только сеньорам.
Антон Сипачев, Just AI (модератор): Ты имеешь в виду, что скоро у нас не будет джунов, потому что их, условно говоря, заменит ChatGPT?
Кирилл Евсеенко, Звук:
Увы, пропасть между навыками джунов и сеньоров все больше разрастается. Джуны принимают на веру все, что генерирует система, и берут это в работу. За этим нужно внимательно следить, проверять и подправлять.
У нас будут джуны, но они будут низкоквалифицированные. Они навсегда будут джунами.
Артем Арюткин, Yandex Ridetech & Ecom:
Произойдет некий естественный отбор. Часть джунов, которая будет готова обучаться, пойдёт дальше и из них вырастут новые сеньоры. «Ctrl+C, Ctrl+V» не прокатит.
Валентин Малых, MTS AI:
Думаю, в этой ситуации нам, как старшим разработчикам, нужно изменить отношение к джунам. Прежде всего, требовать от них понимания дела, а уже потом умения кодировать. Навык кодирования — это как чистописание в школе.
Кирилл Евсеенко, Звук:
Соглашусь, одно из возможных решений — это изменение культуры. Правильная мысль, что от джунов нужно требовать дополнительно разбираться в коде.
Возможно, это потребует введения каких-то обучающих программ, которые позволят растить экспертизу. Вот только на это тоже потребуются затраты и время. Это изменение процессов. Любой руководитель понимает, что процессы — это всё. Правильное их выстраивание — залог успеха любой компании и любой команды.
Кстати, летняя конференция по разговорному и генеративному AI Conversations состоится летом 26 и 27 июня! 2 дня, 4 трека, 40+ докладов — такое нельзя пропустить! Все подробности на сайте.
Антон Сипачев, Just AI (модератор): Мы коснулись темы рисков, связанных с вредоносами. Например, LLM может сгенерировать что-то не то. А какие ещё есть риски при использовании языковых моделей?
Дэвид Найк, Альфа-Банк:
Во-первых, сейчас многие относятся к LLM как к венчурному капиталу. Здесь изначально есть определенные риски. Вопрос в том, насколько динамично мы начинаем использовать эти технологии.
Вторая история, которой мы уже коснулись, это культурные риски. Лет 15 назад все говорили, что с помощью IDE кодить нельзя — сейчас это воспринимается как норма.
Еще один риск, про который мы уже немного сказали, связан с людьми — качество разработчиков будет ниже, поскольку уровень погружения в сферу будет уменьшаться. Скоро мы столкнёмся с появлением вечного джуна. С этим придётся жить. Когда в больших компаниях с большим количеством вечных джуниоров будут появляться сложные задачи, есть вероятность с ними не справиться. А ведь подобные вызовы в наше время появляются на ежедневной основе.
Антон Сипачев, Just AI (модератор): Еще есть риск, что вы сделали огромный проект, который написали вот такие джуны. Дальше нужно его во что-то трансформировать, а качество кода не соответствует требованиям — с нуля всё надо писать.
Артем Арюткин, Yandex Ridetech & Ecom:
Здесь мы говорим в том числе и про эффективность. За счет AI мы можем быстрее делать проекты. Возможно у нас даже внезапно сократится количество рабочих мест, поскольку потребность в специалистах начнет падать. Условно, если в компании нужда в разработчиках растет клюшкой вверх, то, возможно, она начнет сильно замедляться.
Также начнут падать зарплаты, поскольку рабочий процесс станет похож на конвейерное производство, где много джунов. Сеньоров не трогаем, они станут уникальными людьми, их зарплата, наоборот, улетит в космос.
Думаю, случится некая нормализация внутри индустрии. Изначально, когда начинаешь что-то новое делать, это дорого. Потом все это постепенно переходит на конвейерное производство: процессы упрощаются, появляются помощники, в том числе роботы.
Валентин Малых, MTS AI:
Звучит красиво, наверное, на самом деле так и есть. Но это будет работать в том случае, если действует систематизированный подход. В противном случае получится не самая удачная история. Например, Индия создала конвейерное производство очень большого количества приложений. Да, они закрывают многие потребности, но качество их работы страдает. И здесь тоже работает естественный отбор. Какое приложение смогло выжить, с тем и живём дальше. Хотя, не только качество кода определяет долготу жизни приложения. Хороший маркетинг тоже важен.
Дэвид Найк, Альфа-Банк:
Возможно это некая нормализация в рамках индустрии. Мы сильно растём по зарплатам, по запросам, по потребностям, обучаем людей и платим им зарплаты. Вот только в какой-то момент это будет очень сложно покрыть и рынок самостоятельно попытается это разрешить.
О метриках эффективности от внедрения genAI и решении творческих задач
Антон Сипачев, Just AI (модератор): Как нам замерять эффективность от внедрения genAI? Вот мы что-то внедряем, все начинают пользоваться, но как понять, что это дает свои плоды?
Артем Арюткин, Yandex Ridetech & Ecom:
У меня есть клевый пример, который хочется адаптировать у себя. Ребята внедрили AI-помощника в call-центр. Ничего специфичного там нет, просто на звонок отвечал робот. Как они оценили эффект? AI-помощника наравне с работой других сотрудников анализировал менеджер. У него не было доступа к информации, кто из работников робот, он просто выдавал оценку. В это время кто-то под капотом оценивал затраты на AI-помощника исходя из затрат GPU-шек, стоимости разработки или использования чата GPT. Понятно, что там есть эффект масштаба, что заменяется не один человек, а сразу несколько в разных командах.
Дэвид Найк, Альфа-Банк:
Это интересная мысль. Компании, которые заранее задумались о грамотном отслеживании метрик, не столкнутся с проблемами замеров эффективности инструментов на базе ИИ. Для них это будет просто рутиной.
Антон Сипачев, Just AI (модератор): Нам сейчас нужно оценивать какие-то метрики, но при этом ни у кого их нет, никто их не показывает. Не означает ли это, что на самом деле нет такого прироста в качестве?
Артем Арюткин, Yandex Ridetech & Ecom:
У меня сидит 3500 инженеров. Они разные: кто-то фронтом занимается, кто-то бэком, кто-то SRE. И есть базовые метрики, за которыми я должен следить — такой классический lead time. Я смотрю, сколько времени уходит на выполнение задачи: от начала работы до момента, когда она выкатилась. За какими-то метриками качества я также могу следить. Например, за количеством дефектов на различных этапах. И в целом, следя за этими метриками, я могу сказать, что, например, внедрение копайлота в работу повысило эффективность на 5%. Но цель же не в том, чтобы дать на 5% больше задач. Представьте, что у вас появилось 5% дополнительного рабочего времени. Ну что это? Это ни о чем. Но эти 5% дополнительного времени как раз высвобождают то самое время на креативность. Оно позволяет чуть больше подумать, углубиться в задачу.
Решить больше задач за это время не поможет. Но как раз как копайлот, который помогает тебе чуть качественнее сделать твою базовую работу, наверное, да.
Кирилл Евсеенко, Звук:
Артем, помочь людям у меня в голове — это CSA, NPS в первую очередь. Обычно внедрение AI-инструментов и вообще любые изменения — это супер негативная история, какими бы классными и хорошими они не были.
Вот только на самом деле это одна из основных задач. В некоторых случаях это работает суперэффективно, например, в колл-центрах или работе с документами. Но когда мы говорим про какую-то творческую составляющую, в том числе работу инженеров, которые должны что-то придумывать, возникает серьезная проблема. Она может очень сильно влиять на поток. Из-за этого люди часто люди переходят работать в другие компании, экспертиза внутри одной команды не сохраняется. Это серьезный вызов.
Артем Арюткин, Yandex Ridetech & Ecom:
Ты прав. Именно поэтому я всегда позиционирую внутри, перед бизнесом и перед руководством, что мы не ставим себе задачу заменить сотрудников на ИИ. Его задача — помочь убрать рутинные операции и позволить сотрудникам заниматься тем, что им интересно.
Кирилл Евсеенко, Звук:
А вы считаете у себя удовлетворенность от внедрения инструментов?
Артем Арюткин, Yandex Ridetech & Ecom:
Считаем. У меня есть набор инструментов, порядка 40 штук. 20 из них, условно, имеют достаточно высокий уровень удовлетворенности, 20 из них — отвратительный. Часть из них нужно просто убить, потому что они не нужны объективно. Другие мы просто улучшаем.
Кирилл Евсеенко, Звук:
Есть еще история с саботажем. Когда руководители решают внедрить классный инструмент, но команда сопротивляется. Та оценка, о которой ты говоришь, может объективную картину не показать.
Артем Арюткин, Yandex Ridetech & Ecom:
Да, ты прав. Здесь мы используем разные продуктовые подходы: проводим глубинные интервью и опросы, собираем метрики.
Например, Google и GitHub создали хороший подход к опросам по Developer Experience, которые мы адаптировали под свой случай. Лучше ничего не придумать. Вот у нас сейчас проходит повторный опрос за год. И есть инструменты, с которыми мы ничего не сделали, абсолютно их не трогали, вот только показатели по некоторым из них понизились, а по другим повысились.
Есть гипотеза, что либо разные люди проходили этот опрос, либо поменялось окружение, которые мы не улавливаем со своей стороны. Любые такие истории искажены очень сильно. Поэтому нужно использовать другие инструменты, например, глубинное интервью.
Антон Сипачев, Just AI (модератор): Творческие задачи останутся, а рутинные уйдут. А где граница между творческими и рутинными задачами? Что, если окажется, что 90% задач были рутиной, которая решается типовыми инструментами и с ними легко справится LLM?
Кирилл Евсеенко, Звук:
Я так не считаю, потому что многие продуктовые компании — это бизнес, а бизнес по своей сути должен быть уникальный. Все борются за то, чтобы код нигде не переиспользовался, подписывают соглашения с сотрудниками и т.д. Крупные компании по типу Apple блокируют попытки переиспользования кода.
Мы приходим к тому, что нужно отдавать модели уникальный код, для того чтобы она на нем обучалась и выдавала новый. Вот только тут возникает проблема — наш код становится общедоступным и безопасность страдает.
Я не считаю, что сложных задач меньше, чем простых. Да, мы начинаем с простых вещей, но потом всё это обрастает бизнес-логикой, которая уникальна. Ни одна из моделей не выдаст вещи, какие разрабатывает продуктовая компания. Модели просто не в силах найти такие подходы, которые позволят реализовать крутые идеи, поскольку они все должны быть уникальными. Не думаю, что простые задачи перевесят.
Об адаптации команды к AI-инструментам и потере базовых навыков
Вопрос из зала: Как вы преодолеваете барьер восприятия командами разработки AI-инструментов? Может быть у вас есть фреймворки готовые?
Артем Арюткин, Yandex Ridetech & Ecom:
Могу рассказать, как я это сделал в Сбере. Собственно говоря, там была стандартная история с тем, что нужно было искать early adopters.
Ребята говорят, что они пробовали работать с AI, им не нравится, они не будут использовать. И что делать с этим? Ты просто находишь людей, которые активно используют AI. Звонишь им, они делятся опытом. Берешь их за руку, делаешь митап или воркшоп, где эти люди приходят и рассказывают другим, почему им это нравится. Через, условно, неделю замечаешь, что пользователей стало больше. Было три, стало пять. И вот так, итерация за итерацией, доля использования растёт.
По сути, ты просто ходишь и постоянно продаёшь. Для инструмента важен маркетинг. Ты его должен продавать, показывая его эффективность и настоящих пользователей.
Дэвид Найк, Альфа-Банк:
У нас абсолютно такая же история в этом плане. Для инженеров очень важно авторитетное мнение коллег, которые делают те же самые задачи.
Антон Сипачев, Just AI (модератор): Итак, мы уберем простые задачи, оставим только творческие. Но чтобы любой разработчик пришел к способности решать сложные творческие задачи, ему нужно решить пару десятков простых. Не придем ли мы к ситуации, когда уже никто не будет способен писать сложный код просто потому, что не была опыта решения простых задач?
Дэвид Найк, Альфа-Банк:
Мне кажется, что даже если мы придем к тому, что AI-технологии станут за нас делать общий объем того, что происходит в коде, все равно останутся люди, которые будут понимать, что происходит внутри, даже если эти инструменты будут стремительно развиваться.
Кирилл Евсеенко, Звук:
Здесь возникает очень большой риск — потеря экспертизы. Ценность людей, которые досконально разбираются в инструментах, сейчас очень высока.
Валентин Малых, MTS AI:
Я бы тут сказал, что в настоящее время очень сложно найти человека, который бы писал на ассемблере. Людей, которые пишут на C, побольше, но тоже не очень много. На Java пишут значительно чаще, и эффективность такого кода, относительно того, который мог бы быть написан на ассемблере, выигрывает где-то на 20%. Может, и бог с ними с этими 20%?
Кирилл Евсеенко, Звук:
А кто будет ответственен за ошибки в крупных системах, которые заточены на финансы, банковские системы, биллинг-системы и т.д. Если мы говорим, что доверяем машине и алгоритмам создавать и писать код, то что будет в случае, если транзакция пойдет не туда или 5 битков переведется не тому контракту?
Человек, который написал этот инструмент, может сказать, что он вообще не виноват. Он будет утверждать, что все было проверено, а ошибка все равно появилась. И это довольно серьезный вопрос, который препятствует внедрению подобных инструментов, особенно в суперкритичные истории.
Я уверен, что это AI-инструменты классные, и их нужно развивать. Они однозначно будут помогать, но следует всё же рассматривать их не как заменителей, а как помощников, которые ускоряют процессы.
Артем Арюткин, Yandex Ridetech & Ecom:
Ответственный в таком случае CTO. Как бы если все упало, то что тут думать, то CTO и виноват.
Дэвид Найк, Альфа-Банк:
Если посмотреть на наших товарищей из производства, где уже подобные инструменты внедрены, ответственность как раз-таки лежит на CTO и командах, которые эту автоматику создают.
Кирилл Евсеенко, Звук:
Но на производстве как правило рутинные операции, где работа осуществляется в рамках одного паттерна. Там нет рамок, за которые можно выйти. Стандартизация в рамках таких процессов работает отлично и способствует эффективности.
Дэвид Найк, Альфа-Банк:
Кажется, современные инструменты, связанные с генеративкой, как раз направлены на то, чтобы забрать рутину. На решение творческих задач пока они не могут претендовать.
Валентин Малых, MTS AI:
Тут все упирается в управление рисками. Думаю, что все сведется к их страхованию.
Антон Сипачев, Just AI (модератор): Все наши обсуждения строятся вокруг того, что модели сейчас есть, они генерируют код, не всегда хорошо, но мы надеемся на прогресс, и через два-три года они будут совершенны. Но вопрос здесь в том, не приближаемся ли мы к пику прогресса, когда у всех есть надежда, что еще будет расти, а на самом деле уже плато?
Валентин Малых, MTS AI:
Написание кода автоматизировать не так сложно. А вот как эти инструменты помогают строить абстракции, то есть само по себе программирование, я, честно говоря, не знаю. У меня нет ощущения, что мы зашли в эту область. Кодить мы будем все лучше и лучше, но вот с творческими задачами AI пока не справляется. Машина не спроектирует что-то именно так, как тебе нужно.
Может быть мы придем к тому, что AI по словам будет составлять UML-ку и сразу по ней выдавать код на Java. Условно, конечно. Но пока я не вижу, чтобы это работало достаточно хорошо. Через пару лет поговорим на эту тему.
А о чем мы поговорим на грядущей Conversations, которая состоится 26-27 июня в Санкт-Петербурге? О челленджах разработки решений на базе LLM и генеративного AI, AI-агенты и мультиагентные системы, подходы к работе с reasoning models, AI Safety, эффективный fine-tuning, обратная сторона бенчмарков, проблемы и возможности селф-хостинга моделей. И это только технотрек!
Заходите на сайт Conversations, чтобы узнать подробности или заявить свой доклад.
Автор: just_ai
