Системы искусственного интеллекта сталкиваются с серьезной проблемой: как хранить и обрабатывать огромные объемы данных, необходимые для обучения и работы моделей. Традиционные решения уже не справляются с требованиями скорости, масштабируемости и экономичности.
Решением могут стать жесткие диски с интерфейсом NVMe. Они сочетают в себе экономичность HDD с производительностью NVMe, устраняя узкие места в системах хранения данных для ИИ.
Seagate впервые представила прототип таких накопителей в 2021 году на саммите Open Compute Project, а в марте 2025 года на конференции GTC компания продемонстрировала уже полноценное решение, интегрирующее NVMe HDD с современной платформой Mozaic 3+ и процессорами обработки данных NVIDIA BlueField-3.
Разбираемся, как NVMe HDD могут изменить подход к хранению данных для ИИ и стать ключевым элементом будущих инфраструктур.
Почему ИИ не хватает места для хранения данных
Требования к хранению данных искусственного интеллекта стремительно растут. Это не просто техническая проблема, а фундаментальное ограничение, которое может замедлить развитие всей отрасли.
Для обучения ИИ требуется огромное количество данных — часто терабайты. Хранить такие объемы информации на традиционных накопителях становится всё сложнее и дороже.
Твердотельные накопители (SSD). На современных SSD с интерфейсом PCIe 5.0 уже достигаются впечатляющие скорости. Например, представленный в марте 2025 года Samsung 9100 PRO обеспечивает последовательную скорость чтения до 14 800 МБ/с и записи до 13,4 ГБ/с, по IOPS тоже все хорошо, хоть диски и не для сегмента дата-центров.
Однако их основной недостаток — высокая стоимость за терабайт по сравнению с другими типами накопителей. Хранение 1 ТБ данных на SSD обходится примерно в 5–10 раз дороже, чем на HDD.
Вторая проблема — интенсивные рабочие нагрузки. Обучение ИИ ускоряет износ SSD, сокращает их срок службы и увеличивает TCO (общую стоимость владения). Например, в средах с интенсивной записью данных, таких как Redis on Flash, SSD могут потребовать замены уже через 18 месяцев, что в 2–3 раза быстрее, чем при стандартных нагрузках.
Традиционные HDD (SAS/SATA). Жесткие диски остаются самым доступным вариантом для хранения больших объемов данных, но их архитектура затрудняет работу с ИИ.
В серверных средах и центрах обработки данных HDD подключаются через специальные контроллеры: HBA (Host Bus Adapter) или RAID-контроллеры. Эти контроллеры работают как мост между дисками и шиной PCIe компьютера для передачи данных.
Однако если использовать SAS-экспандер или порт-мультипликатор SATA и подключать через них большое количество дисков, то общая пропускная способность канала распределяется между всеми устройствами. Это ограничивает скорость доступа к данным.
Интерфейс SATA III ограничен теоретической пропускной способностью около 600 МБ/с как для чтения, так и для записи. SAS-4 ограничен около 2800–3000 МБ/с как для чтения, так и для записи. Всё это ниже, чем у современных интерфейсов PCIe/NVMe.
Для сравнения: современные NVMe SSD на базе PCIe Gen5 обеспечивают скорость последовательного чтения до 14 500 МБ/с и записи до 12 700 МБ/с, что делает их идеальными для высокопроизводительных задач ИИ.
Облачные хранилища. Облачные решения предлагают теоретически неограниченные ресурсы для хранения данных. Так современные платформы машинного обучения обычно развертываются прямо в облаке, где модели обучаются на том, что хранится в том же облачном окружении. Это устраняет необходимость передачи больших объемов данных через интернет.
Например, мы в mClouds в декабре представили новую GPU-платформу для работы с ИИ. Там мы используем исключительно локальные NVMe накопители и видеокарты NVIDIA L40S. Такая архитектура дает необходимую пропускную способность для работы с нейросетями и для обучения LLM-моделей, ускоряя процессы в 1,5–2 раза по сравнению с традиционными решениями на базе систем хранения, подключенных по iSCSI или FC.
Однако для быстрой работы ИИ важно правильно хранить данные. Плохая организация замедляет доступ к ним. Например, разбросанные по разным папкам файлы или неудобные форматы данных увеличивают время загрузки. При обучении распознаванию изображений на миллионах фотографий нужно использовать подходящие форматы и правильно сортировать данные.
Многие облачные сервисы предлагают специальные инструменты для ускорения доступа к данным. Например, технология GPU Direct Storage позволяет передавать информацию напрямую из хранилища в графический процессор.
Однако даже с такими инструментами облачные решения сталкиваются с проблемами: ограничениями в виртуализированных средах, сложностями с прямым доступом к памяти через IOMMU и VFIO, зависимостью от конкретной облачной инфраструктуры, а также задержкой при соединениях между GPU и системами хранения. В результате производительность часто оказывается ниже ожидаемой, особенно при масштабных задачах ИИ.
Все три решения не идеальны. Хотя современные технологии хранения данных помогают работать с ИИ, у каждой из них есть свои ограничения. SSD очень быстрые, но дорогие для хранения больших объемов данных. Жесткие диски доступны по цене, но медленные. А облачные хранилища зависят от того, как в них организовано хранение данных.
Seagate предлагает новый подход — NVMe для HDD. Компания впервые продемонстрировала эту технологию еще в 2021 году на Open Compute Project Global Summit, а в марте 2025 года представила новое решение — жесткие диски с быстрым интерфейсом NVMe, интегрированные с современной платформой Mozaic 3+. Теперь быстрый интерфейс NVMe, ранее используемый только в SSD, стал доступен и для традиционных жестких дисков.
Как NVMe делает обычные HDD быстрее
Протокол NVMe (Non-Volatile Memory Express) изначально был создан для твердотельных накопителей. Сейчас эту технологию адаптируют для жестких дисков.
Вместо использования специализированных контроллеров и адаптеров жесткие диски NVMe подключаются напрямую к шине PCIe, точно так же как высокопроизводительные SSD. Это устраняет несколько промежуточных звеньев в цепочке передачи данных, снижает задержки и увеличивает пропускную способность.
У жестких дисков NVMe есть три больших преимущества в работе с ИИ:
Прямой доступ GPU к данным. В традиционных системах графические процессоры, которые выполняют вычисления для моделей ИИ, не могут напрямую обращаться к данным на жестких дисках. Вместо этого данные проходят через центральный процессор, что создает дополнительные задержки и нагрузку на систему.
В будущем NVMe HDD в сочетании с блоками обработки данных (DPU, Data Processing Units) позволят графическим процессорам получать данные напрямую из хранилища.
Интеграция с Mozaic 3+. В новейших NVMe HDD Seagate использует платформу Mozaic 3+ — технологию, которая увеличивает плотность записи данных до 3 ТБ на пластину благодаря тепловой магнитной записи (HAMR). Это позволяет утроить емкость хранилища в том же физическом пространстве и снизить энергопотребление на терабайт на 40% по сравнению с традиционными HDD.
Единый программный стек для всех типов накопителей. При использовании комбинированных систем SSD и HDD нужны разные драйверы и программные интерфейсы для каждого типа накопителей.
В новом решении NVMe HDD за счет единого стека жесткие диски и твердотельные накопители могут работать вместе более согласованно. Можно будет создавать многоуровневые системы хранения, где «горячие» данные, к которым часто обращаются, размещаются на быстрых SSD, а большие объемы «холодных» данных — на более емких и доступных по цене HDD.
Преимущества NVMe HDD уже проверяются на практике. Seagate тестирует работу NVMe HDD на своих производственных линиях, где создаются компоненты для новых жестких дисков.
На этих производствах системы с искусственным интеллектом проверяют качество деталей, анализируя множество снимков в поисках дефектов. Для такой работы нужно быстро обрабатывать и хранить большие объемы изображений. Именно здесь пригождаются NVMe HDD: они позволяют хранить все эти данные без потери качества и обеспечивают быстрый доступ к ним для постоянного обучения ИИ-моделей.
Ограничения и альтернативы NVMe: что нужно учитывать
Добавление интерфейса NVMe к жестким дискам не устраняет их ограничений:
Время поиска и вращательная задержка сдерживают скорость доступа к данным. Диски с частотой 7200 RPM, которые наиболее распространены в настольных компьютерах, имеют среднюю вращательную задержку 4,17 мс. Для сравнения: у NVMe SSD Kingston DC1000M задержка чтения составляет 0,3 мс. Это примерно в 10–14 раз быстрее, чем у HDD. Даже с интерфейсом NVMe жесткий диск не может превысить физические ограничения, связанные со скоростью вращения пластин и перемещением головок.
Операции произвольного доступа выполняются медленнее, чем на SSD. В то время как NVMe SSD могут обрабатывать сотни тысяч операций ввода-вывода в секунду (IOPS), NVMe HDD дают лишь незначительное улучшение — примерно на 10–15% по сравнению с традиционными SAS / SATA HDD, которые в среднем дают от 200 до 400 IOPS.
Чувствительность к вибрациям и физическим воздействиям остается проблемой для любых HDD. В том числе и для моделей с NVMe. В средах с высокой плотностью размещения оборудования это может снижать производительность и повышать риск отказов.
Высокая стоимость оборудования. Seagate отметила, что она использовала специализированное оборудование, в том числе NVIDIA BlueField DPU. Это процессор обработки данных, который сочетает в себе многоядерный ARM-процессор и высокопроизводительный сетевой интерфейс до 400 ГБ/с. BlueField-3 DPU стоит около 3600–4000 долларов США за единицу, что делает его недоступным для небольших организаций.
Для организаций с ограниченным бюджетом альтернативой остаются гибридные системы хранения, где сочетают обычные HDD с SSD-кешированием. Такой подход дает разумный баланс между производительностью и стоимостью, при этом позволяет получить часть преимуществ высокоскоростных хранилищ без полной модернизации инфраструктуры.
Итак, что нужно знать о NVMe HDD
Seagate представила первые NVMe HDD в 2021 году на OCP Global Summit. Технологию показали на примере 2U JBOD-системы с 12 жесткими дисками, подключенными через PCIe 3.0. JBOD — это компактная система хранения, обычно размещаемая в стандартном серверном корпусе высотой 2U (около 8–9 см), предназначенная для расширения емкости хранилища.
Хотя эта система уже позволяла подключать HDD напрямую к шине PCIe, у нее были ограничения. Прототип использовал специальный контроллер, который поддерживал все основные протоколы (SAS, SATA и NVMe), но сама архитектура представляла собой лишь базовое решение без интеграции с другими компонентами экосистемы хранения данных. Такая конфигурация не обеспечивала прямой доступ GPU к данным и не решала проблему задержек при обработке ИИ-нагрузок.
К 2025 году Seagate усовершенствовала технологию. На конференции GTC 2025 компания показала полноценное решение, которое объединяло восемь NVMe HDD с современной платформой Mozaic 3+, четыре NVMe SSD для кеширования и процессор обработки данных NVIDIA BlueField-3.
Ключевое улучшение в новой демонстрации — интеграция с DPU (Data Processing Units), которая позволила создать прямой путь данных между GPU и хранилищем. Это снизило задержки в рабочих процессах ИИ, поскольку графические процессоры теперь могут получать данные напрямую из хранилища, что особенно важно для обучения моделей ИИ.
Компания разрабатывает комплексную дорожную карту для создания следующего поколения систем хранения данных для ИИ, которая включает в себя несколько ключевых направлений:
-
Увеличение емкости хранилищ. Дальнейшее масштабирование платформы Mozaic для разработки NVMe HDD еще большей емкости. Сейчас поставляют накопители объемом 36 ТБ.
-
Развитие технологии NVMe-oF. Она позволяет подключать жесткие диски NVMe через сетевые структуры. Задержка — менее 20 микросекунд, пропускная способность — до 31,5 ГБ/с для PCIe 4.0. Это делает возможным доступ к централизованным массивам хранения с производительностью, сопоставимой с локальным подключением.
-
Создание эталонных архитектур. Разработка детальных технических схем и рекомендаций, которые помогут компаниям быстро развернуть оптимизированные системы хранения для задач ИИ без необходимости разрабатывать архитектуру с нуля. Такие решения включают оптимальные конфигурации оборудования, схемы подключения и настройки программного обеспечения.
Точные сроки выхода коммерческих NVMe HDD на массовый рынок пока не объявлены, но Seagate продолжает активно развивать эту технологию. Ожидается, что NVMe HDD займут нишу между высокопроизводительными, но дорогими SSD и традиционными, более медленными HDD, предлагая оптимальное сочетание скорости, объема и стоимости для растущих потребностей ИИ-систем.
А как вы оцениваете перспективы NVMe HDD? Внедрили бы в свою инфраструктуру?
Автор: mClouds_editor
