В 2012 году трое энтузиастов и ныне мэтров ИИ — Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон — создали модель, глобально изменившую мир компьютерного зрения и положившую начало новой эпохе Deep Learning’а. Ее обучили на двух видеокартах прямо в спальне Крижевского, и в честь него она получила имя AlexNet.
В последствие архитектура AlexNet стала настолько значимой, что оригинальная статья о ней – «ImageNet Classification with Deep Convolutional Neural Networks» – входит в список самых цитируемых работ за всю историю науки. За эти годы невероятное количество исследователей воссоздавали код AlexNet по тексту работы, но исходный код самих авторов так и не был опубликован. До этого дня.
Сегодня, спустя почти 13 лет, Google, которые на данный момент владеют правами на AlexNet, наконец открыли миру оригинальный код нейросети. И не просто открыли, а отдали его прямиком в музей в качестве настоящего исторического экспоната.
Computer History Museum, в который “отправился” AlexNet, пишет, что публикация исходного кода была далеко не самой легкой задачей: над ней сотрудники музея вместе с командой инженеров Google трудились (внимание!) 5 лет.
“Еще в 2020 году мы обратились к Алексу Крижевскому с предложением передать исходный код AlexNet музею CHM, учитывая его историческую значимость. Алекс связал меня с Джеффри Хинтоном, работавшим тогда в Google (поскольку права на AlexNet перешли к компании после покупки DNNresearch). Совместно с командой Google мы пять лет готовили релиз, тщательно собирая по кусочкам именно ту оригинальную версию кода 2012 года”
Сейчас все скрипты лежат в открытом доступе на GitHub здесь.
Если хотите разобраться с этим кодом подробнее и, вообще, лучше понимать, как работают современные ChatGPT, роботы, рассуждающие модели и вот это все, то приглашаем вас к нам в тг-канал Data Secrets.
Там мы (а мы – это команда действующих ML-инженеров) ежедневно делимся своими прикладными конспектами по ML, разборами ключевых свежих статей и вот такими интересными новостями. Так что заглядывайте: нас уже 55 тысяч и наше сообщество всегда радо новым специалистам и энтузиастам :)
Смотря на этот код, действительно можно почувствовать, что прикосаешься к чему-то очень исторически важному. И не зря: ведь это тот самый код, который прошел через руки Нобелевского лауреата Джеффри Хинтона, основателя OpenAI Ильи Суцкевера и известного ученого Алекса Крижевского.
Однако причина, почему AlexNet оказалась настолько важной, что ее исходники передали в музей, не только в именах легендарных создателей. Давайте вспомним, что в 2012 году нейросети все еще считались малоперспективной экзотикой. И именно AlexNet впервые убедительно доказала, что глубокое обучение — это будущее искусственного интеллекта. Дело в том, что именно эта нейросеть впервые объединила два ключевых на данный момент фактора, благодаря которым глубокое обучение стало таким прорывом.
Первый – использование огромных наборов данных, которые как раз в 2012 году начинали появляться за счет распространения интернета. В частности, в 2009 году вышел датасет ImageNet, созданный известной Фей-Фей Ли и её командой, которые собрали миллионы изображений и вручную разметили их силами краудсорсеров.
Второй – обучение нейронных сетей на видеокартах. До этого почти всегда их обучали на CPU, но в начале десятых NVIDIA выпустила платформу CUDA, и началась эра доступного GPU-программирования.
Все эти события сошлись вместе в 2012 году, и аспиранты Джеффри Хинтона, Алекс Крижевский и Илья Суцкевер, решили впервые объединить нейронные сети, огромный объём данных и GPU в одном проекте. Суцкевер был убеждён, что производительность нейросетей будет расти с количеством доступных данных (пророк!), и появление ImageNet дало возможность проверить гипотезу. Он предложил Крижевскому, уже имевшему опыт оптимизации сетей под GPU, взяться за проект под руководством Хинтона, и тот согласился.
Работа шла прямо в спальне Крижевского, где на двух видеокартах NVIDIA целый год происходила непрерывная тренировка и настройка гиперпараметров сети. Итоговый результат был ошеломляющим: AlexNet с огромным отрывом обошла конкурентов в соревновании ImageNet 2012, навсевгда изменив направление развития искусственного интеллекта.
Известный ученый и один из крестных отцов ИИ Янн ЛеКун уже тогда назвал этот момент переломным. И оказался абсолютно прав: если до AlexNet нейронные сети практически не появлялись в ведущих научных работах, то после неё они стали абсолютным стандартом индустрии, и это положило начало всем знакомым нам нейросетям, обыгрывающих чемпионов мира по шахматам, чатботам и системам компьютерного зрения.
Автор: DataSecrets
