Ведущий разработчик ChatGPT и его новый проект — Безопасный Сверхинтеллект

Многие знают об Илье Суцкевере только то, что он выдающийся учёный и программист, родился в СССР, соосновал OpenAI и входит в число тех, кто в 2023 году изгнал из компании менеджера Сэма Альтмана. А когда того вернули, Суцкевер уволился по собственному желанию в новый стартап Safe Superintelligence («Безопасный Сверхинтеллект»).

Илья Суцкевер действительно организовал OpenAI вместе с Маском, Брокманом, Альтманом и другими единомышленниками, причём был главным техническим гением в компании. Ведущий учёный OpenAI сыграл ключевую роль в разработке ChatGPT и других продуктов. Сейчас Илье всего 38 лет — совсем немного для звезды мировой величины.

Биография и карьера

Илья Ефимович Суцкевер родился 8 декабря 1986 года в городе Горький (СССР). В возрасте пяти лет семья перевезла его в Израиль, а в возрасте 16-ти — в Канаду. С 2000 по 2002 гг. дистанционно учился в Открытом университете Израиля, а после переезда — в университете Торонто, где получил докторскую степень (Ph.D). В 2012 году провёл двухмесячную стажировку как постдок в Стэнфорде под руководством признанного авторитета в сфере ИИ — Эндрю Ына. Чуть ранее познакомился с будущими соавторами нейросети AlexNet — Алексом Крижевски и заслуженным профессором университета Торонто Джеффри Хинтоном, их научным руководителем.

Создание AlexNet (о ней чуть ниже) произвело мировой фурор и мгновенно сделала авторов известными специалистами в области машинного обучения. Кстати, Джеффри Хинтон в 2024 году получил Нобелевскую премию по физике за вклад в машинное обучение с помощью нейросетей, в частности — за изобретение машины Больцмана.

Слева направо: Илья Суцкевер, Алекс Крижевски и Джеффри Хинтон в 2013 году после перехода в Google, источник

После фурора AlexNet Илья Суцкевер вместе с Алексом Крижевским и Джеффри Хинтоном основали стартап DNNResearch, причём студенты отдали наставнику долю 40%, несмотря на его протесты.

Стартапу не исполнилось и года, как его купила корпорация Google, а Илья, Алекс и Джеффри Хинтон стали научными сотрудниками подразделения Google Brain. Впоследствии все они оттуда уволились. Последним весной 2024 года ушёл профессор Хинтон, чтобы свободнее говорить об опасности ИИ для человечества.

Суцкевер ушёл из Google в конце 2015 года, чтобы стать сооснователем нового некоммерческого стартапа OpenAI, который обещал опенсорсную разработку модели ИИ, открытой для всех. Организация планировалась как некоммерческая, но в итоге вышла иначе.

Сэм Альтман и Илья Суцкевер, 2023 год

Илью Суцкевера приводят в пример «программиста 10х», который трудится за десятерых обычных разработчиков, как другие легендарные программисты, такие как Фабрис Беллар и Джефф Дин.

Хотя здесь не совсем чистый пример, потому что Илья в первую очередь учёный, а не программист.

Разработки

• Архитектура свёрточной нейросети AlexNet, соавтор с Алексом Крижевским и Джеффри Хинтоном. Выпущена 28 июня 2011 года, а в следующем году команда из трёх разработчиков SuperVision заняла первое место на конкурсе ImageNet.
  

  Архитектура и возможная модификация AlexNet. Вверху — половина оригинальной сети (поскольку в память одного ускорителя Nvidia GTX 580 3GB GPU она не помещалась, её разделили надвое). Внизу — та же архитектура, но последний «проекционный» слой заменён другим на меньший выход, так за счёт дообучения (файнтюнинга) можно получить модель зрения со значительно меньшими затратами, чем при обучении с нуля

  Блочная диаграмма AlexNet:

  

  Нейросеть обучали 90 эпох (шесть суток) на 1,2 млн изображений, на двух GPU.

  Эта архитектура из восьми слоёв повлияла на большое количество последующих работ в области глубокого обучения, особенно в применении нейронных сетей к компьютерному зрению. У научной статьи более 174 тыс. цитирований по Google Scholar.

  Вообще, изобретение свёрточных нейросетей (CNN) датируется 1979 годом (неокогнитрон), но первая реальная программа появилась в 1989 году (LeNet), а широкое распространение нейросети получили в 21 веке благодаря научно-техническому прогрессу в области GPU и выходу CUDA в 2006 году. Изобретение AlexNet стало одним из ключевых открытий.

• Алгоритмы машинного обучения Seq2seq, соавтор в коллективе Google Brain. Это инновационный подход к обработке информации (в более общем смысле — трансдукции последовательностей), уходящий корнями в теорию информации, где коммуникация понимается как процесс кодирования-передачи-декодирования, а машинный перевод представляет частный случай коммуникации.
  

  Анимация seq2seq с RNN и механизмом внимания

  На практике seq2seq преобразует входную последовательность в вещественно-числовой вектор с помощью нейросети (кодера), а затем — в выходную последовательность с помощью другой нейросети (декодера).

  Чаще всего в качестве инициаторов создания seq2seq упоминается научная статья 2014 года Ильи Суцкевера с соавторами (arXiv: 1409.3215v3).

  С помощью этой технологии компания Google превратила Google Translate в систему нейронного машинного перевода Google Neural Machine Translation (GNMT) в 2016 году.

  Любопытный факт: один из коллег по Google Brain Томаш Миколов (создатель Word2vec) обиделся на авторов seq2seq за то, что якобы рассказал им об этой своей идее, но они не упомянули его в научной статье.

  

  Томаш Миколов

• Библиотека машинного обучения TensorFlow, в коллективе Google Brain.
• Система AlphaGo из нейросетей, обученных для игры в го, соавтор в коллективе Google Brain.
• Ведущий разработчик чатбота ChatGPT (как его называли в первое время, «опасный текстовый генератор», который нуждается в тщательной настройке для благопристойного поведения) и других продуктов OpenAI.

Список научных работ на Google Scholar содержит 179 статей и патентов. Вот некоторые статьи по максимальному количеству цитирований, кроме описания упомянутых выше Imagenet, GNMT, TensorFlow, Seq2seq и AlphaGo:

• «Dropout: простой способ предотвратить переобучение нейронных сетей» (Dropout: a simple way to prevent neural networks from overfitting), «Журнал исследований машинного обучения», 2014 год, 55 795 цитирований
• «Few-shot learning. Обучение языковых моделей на небольшом количестве примеров» (Language models are few-shot learners), «Достижения в области нейронных систем обработки информации», 2020, 42 190
• «Обучение переносимых визуальных моделей на основе наблюдения за естественным языком» (Learning transferable visual models from natural language supervision), Международная конференция по машинному обучению, 2021, 30 906
• «Интригующие свойства нейронных сетей» (Intriguing properties of neural networks), arXiv, 2013, 18 999
• «Языковые модели обучаются без учителя в многозадачном режиме» (Language models are unsupervised multitask learners), блог OpenAI, 2019, 15 350

В 2023−2024 годы научные статьи Ильи посвящены последним моделям OpenAI: GPT-4 (2023 год), GPT-4o, o1 (все — 2024 год), распознавание речи с широкомасштабным слабоуправляемым обучением (weak supervision), плюс десяток патентов: на многозадачное автоматическое распознавание речи, метод распараллеливания свёрточных нейросетей, метод противодействия переобучению нейросети и др.

Безопасный Cверхинтеллект

Дэниел Гросс, Илья Суцкевер и Дэниел Леви, соучредители компании Safe Superintelligence, август 2024

Говорят, что бывшему главному учёному OpenAI свойственна некоторая мистичность, иногда доходящая до крайности: в 2022 году он вызвал небольшую шумиху в прессе, заявив, что современные модели ИИ могут быть «слегка сознательными»:

Позже он свободно говорил об опасности ИИ для человечества, не стесняясь шокировать публику. В одном из интервью он сказал, что в уровне интеллекта человека нет ничего особенного, так что превзойти его не является сверхсложной задачей. Уже сейчас есть сущности, которые превосходят по уровню интеллекта отдельных людей: они называются «корпорации».

Ещё будучи в OpenAI в 2023 году Илья объявил проект «Суперконтроль» (Superalignment) для корректировки/контроля будущего сверх-ИИ общего назначения, возможности которого будут значительно превосходить человеческие, что может случиться «в течение десятилетия»:

В традиционном машинном обучении (ML) люди руководят системами ИИ, которые глупее их (слева). Для корректировки сверхинтеллекта придётся руководить системами ИИ, которые умнее нас (в центре). Сегодня мы не можем напрямую изучить эту проблему, но можем изучить простую аналогию: могут ли маленькие модели руководить более крупными, источник.

17 ноября 2023 года состоялся конфликт совета директоров OpenAI с Сэмом Альтманом. Последнего уволили, вместе с ним ушли три ведущих учёных OpenAI, после чего Илья выразил сожаление по поводу произошедшего и уволился по собственному желанию.

В июне 2024 года он с коллегами анонсировали стартап Safe Superintelligence (SSI). В отличие от OpenAI, новая компания не планирует выпускать никаких коммерческих продуктов в ближайшее время: «Первым продуктом будет Безопасный Сверхинтеллект, а до тех пор не выйдет ничего другого», — сказал Илья.

Из твиттера Ильи

Вот некоторые цитаты Ильи из документального фильма iHuman (2019):

Я считаю, что технология — это сила природы. Мне кажется, что между технологиями и биологической эволюцией много общего. Игра в Бога. Учёных давно обвиняют в том, что они играют в Бога, но есть реальное ощущение, что мы создаём нечто совершенно новое. Я заинтересовался концепцией ИИ в относительно раннем возрасте. В какой-то момент меня особенно заинтересовало машинное обучение. Что такое опыт? Что такое обучение? Что такое мышление? Как работает мозг? Эти вопросы философские, но, похоже, мы можем придумать алгоритмы, которые и делают полезные вещи, и помогают нам ответить на эти вопросы. Это почти как прикладная философия. Искусственный интеллект общего назначения, AGI. Компьютерная система, которая может выполнять любую работу или задачу, которую выполняет человек, но только лучше. Да, я имею в виду, что мы определённо сможем создать полностью автономные существа с собственными целями. И будет очень важно, особенно когда эти существа станут намного умнее людей, чтобы их цели совпадали с нашими целями… ИИ — великая вещь, потому что он решит все проблемы, которые у нас есть сегодня. Он решит проблемы занятости, болезней, бедности, но также создаст новые проблемы… У вас будет полностью автоматизированное оружие, созданное ИИ. Я думаю, что ИИ способен создать бесконечно стабильные диктатуры. Через 10 или 15 лет вы увидите значительно более интеллектуальные системы, и я думаю, что весьма вероятно, что эти системы окажут совершенно астрономическое влияние на общество. Выиграют ли от этого люди? И кто от этого выиграет, а кто нет?

То, что мы имеем сейчас, даже более захватывающе, чем квантовая физика начала 20 века. Они открыли ядерную энергию. Я считаю, что мне очень повезло, что я принимаю в этом участие. Многие специалисты по машинному обучению, очень знающие и опытные, относятся к AGI с большим скепсисом. О том, когда это произойдёт, и о том, может ли это произойти вообще. Но сейчас это то, что ещё не многие осознали. Что скорость компьютеров, нейронных сетей, искусственного интеллекта станет, возможно, в 100 000 раз быстрее за небольшое количество лет. Вся индустрия аппаратного обеспечения долгое время не знала, что делать дальше, но теперь, когда искусственные нейронные сети действительно работают, у вас есть причина строить огромные компьютеры. Вы можете создать мозг из кремния, это возможно. Самые первые AGI будут, по сути, очень, очень большими центрами обработки данных, заполненными специализированными процессорами нейронных сетей, работающими параллельно. Компактные, горячие, энергоёмкие, потребляющие энергию, как 10 миллионов домов… Даже самые первые AGI будут значительно превосходить человека по своим возможностям… AGI станет, без сомнения, самой важной технологией в истории планеты с огромным отрывом. Это будет больше, чем электричество, атомная энергия и Интернет вместе взятые. Фактически, можно сказать, что конечная цель всей человеческой науки, цель компьютерной науки — построить это. И оно будет построено. Это будет новая форма жизни. Это будет… Она сделает нас устаревшими.

Убеждения и желания первых AGI будут чрезвычайно важны. Поэтому важно правильно их запрограммировать. Я думаю, что если этого не сделать, то природа эволюции естественного отбора будет благоприятствовать этим системам, ставящим собственное выживание выше всего остального. Не то чтобы она будет активно ненавидеть людей и желать им зла, просто она будет слишком сильна, и я думаю, что хорошей аналогией будет то, как люди относятся к животным. Дело не в том, что мы ненавидим животных. Я думаю, что люди любят животных и испытывают к ним большую привязанность, но когда приходит время строить шоссе между двумя городами, мы не спрашиваем разрешения у животных. Мы просто делаем это, потому что это важно для нас. И я думаю, что по умолчанию именно такие отношения будут между нами и AGI, которые действительно автономны и действуют от своего собственного имени… Скорее всего, вся поверхность Земли будет покрыта солнечными батареями и центрами обработки данных.

В сентябре 2024 года компания SSI получила венчурное финансирование $1 млрд, а в марте 2025 года её оценка достигла $30 млрд, в основном, благодаря репутации Суцкевера.

С общим количеством более 400 тыс. цитирований Илья остаётся одним из самых цитируемых учёных в области компьютерных наук, машинного обучения, нейросетей и искусственного интеллекта.

© 2025 ООО «МТ ФИНАНС»

Telegram-канал со скидками, розыгрышами призов и новостями IT