Маск заявил, что объём доступных знаний для обучения ИИ исчерпан

Илон Маск заявил, что для обучения ^[1] моделей искусственного интеллекта ^[2] осталось мало реальных данных. Ранее подобную точку зрения ^[3] высказывал бывший главный научный ^[4] сотрудник OpenAI Илья Суцкевер.

«Мы уже практически исчерпали совокупный объём человеческих знаний, подходящих для обучения ИИ. Это произошло в прошлом году», — цитирует ^[5]Маска TechCrunch. 

В декабре Илья Суцкевер на NeurIPS отметил, что индустрия ИИ достигла «пика использования данных», и предсказал, что нехватка данных для обучения заставит компании отойти от привычного формата разработки моделей.

По мнению Маска, решением проблемы могут стать синтетические данные, которые генерируют сами модели. 

«Единственный способ дополнить [реальные данные] — это использовать синтетические данные, которые создаёт сам ИИ. С синтетическими данными ИИ будет как бы оценивать себя и проходить процесс самообучения», — заявил он.

Некоторые компании уже используют синтетические данные для обучения моделей ИИ. По оценкам Gartner, 60% данных, которые использовались для ИИ-проектов в 2024 году, были синтетическими. Среди моделей, которые обучались на синтетических данных наряду с реальными, TechCrunch перечисляет Microsoft Phi-4, Gemma от Google, Claude 3.5 Sonnet от Anthropic. 

Отмечается, что обучение на синтетических данных экономит средства. ИИ-стартап Writer утверждает, что разработка его модели Palmyra X 004, для которой почти полностью использовались синтетические источники, обошлась всего в $700 000 (для сравнения, сопоставимая по размеру модель OpenAI стоит $4,6 млн).

Тем не менее, синтетические данные могут привести к коллапсу модели, когда она становится менее «креативной» и более предвзятой, что в конечном итоге ставит под угрозу её функциональность.