Искусственный интеллект создает кризис систем хранения данных. Что будет после HDD и NAND?

К середине 2026 года нехватка хранилища перестала быть теоретической. В июле компания Seagate заявила, что большая часть емкости жестких дисков nearline уже распределена на 2028 год, а на центры обработки данных приходится около 90% объема поставок экзабайт. Облачные операторы эффективно резервировали ресурсы массового хранилища на годы вперед.

В совокупности эти разработки выявляют несоответствие современной архитектуры хранения. Индустрия стремится увеличить традиционную емкость, одновременно разрабатывая носители, предназначенные для хранения данных на протяжении тысячелетий. Возможно, потребуется сохранять все большую долю данных ИИ, не прибегая к использованию инфраструктуры, созданной для немедленного доступа.

ИИ сталкивается с проблемой хранения данных

Рост ИИ не означает, что каждый байт, генерируемый системой ИИ, должен храниться вечно. Многое из этого может быть временным или воспроизводимым.

Но есть несколько факторов, которые подталкивают к обратному.

• Обучение и точная настройка все больше зависят от больших наборов данных, которые, возможно, потребуется сохранить для обеспечения воспроизводимости.
• У предприятий могут быть юридические основания для сохранения данных, используемых системами искусственного интеллекта. Генерируемые видео, изображения и другие носители информации могут быть большими, даже если их непосредственная ценность неопределенна.
• Наборы исторических данных могут снова стать полезными при появлении новых моделей или методов анализа.

В результате растет объем данных, которые необходимо хранить, но к которым редко требуется быстрый доступ.

Это не узкоспециализированная категория. По оценкам SPhotonix, 60-80% всех сохраненных данных уже являются "холодными" или архивными — информацией, время поиска которой может измеряться секундами, а не миллисекундами.

Эта проблема особенно актуальна для архивных хранилищ, поскольку срок службы обычных носителей ограничен. Системы на базе жестких дисков требуют мощной инфраструктуры и замены аппаратного обеспечения, в то время как магнитные архивы также требуют миграции по мере старения носителей и накопителей.

Ленточные носители уже частично решают эту проблему. Текущая спецификация LTO-10 поддерживает встроенную емкость 40 ТБАЙТ на картридж, и лента может оставаться в автономном режиме, когда к ней нет доступа.

Это приводит к очевидному компромиссу: доступ замедляется. Но для данных, которые могут извлекаться раз в несколько лет, задержка может быть менее важна, чем плотность, долговечность и стоимость сохранения байта в целости.

В течение многих лет это различие имело меньшее значение, поскольку жесткие диски и SSD-накопители выигрывали от огромных масштабов производства и неуклонного снижения затрат. Они стали носителями по умолчанию не только для активных данных, но и для "холодных" и архивных данных. В результате системы хранения часто платят за производительность, которая не требуется для большей части их данных. Поскольку емкость жестких дисков и SSD-накопителей становится ограниченной, резервирование их для рабочих нагрузок, которые действительно требуют доступа за секунды, может привести к переносу "холодных" и замороженных данных на носители, оптимизированные по плотности, долговечности и стоимости.

The archive does not have to behave like a disk

Igor Konopliastyi, an executive at SPhotonix with more than a decade of experience building and running technology companies, sees this as a problem of storage architecture rather than capacity alone. "We have spent decades designing storage around the assumption that data should be available quickly," he says. "But if you are going to keep something for 50 or 100 years and access it perhaps once, optimizing that data for milliseconds makes very little sense."

The bottleneck is not only capacity. It is also how storage tiers are designed. AI infrastructure could make a clearer distinction between hot data used continuously, warm data accessed occasionally, and cold data retained primarily because deleting it would be undesirable or impossible. Moving data into an archive would then mean accepting slower retrieval in exchange for lower storage overhead.

But the choice does not necessarily have to be between millisecond disk access and a traditional deep archive. SPhotonix argues that there is room for another tier in between: storage with a time-to-first-byte of roughly 15 seconds. That would still be far too slow for transactional workloads, but potentially fast enough for large volumes of cold data that are accessed only occasionally.

Once retrieval speed matters less, the priorities change. Random-access performance becomes less important, while longevity, density, energy consumption and the ability to preserve data without regular migration become more important.

That makes technologies such as glass, DNA and ceramic storage more plausible for archival use.

Tape, glass, DNA and ceramic storage solve different problems

Tape is the obvious baseline because it is already deployed at data-center scale. LTO has been developed for 25 years, and the current roadmap extends through LTO-14. It offers high capacity and the ability to physically disconnect archived data, although organizations still have to manage drives, libraries, media generations and migration.

Longevity is only part of the appeal. The objective is a medium that can remain in place rather than being periodically rewritten onto a new generation of storage hardware.

For Konopliastyi, the more important characteristic of archival media is not simply how long the material itself can survive. "The real advantage is avoiding the migration cycle," he says. "If data has to be copied to a new generation of hardware every five or ten years, you are not just paying for storage. You are paying to keep the archive alive. A medium that can remain readable for decades or centuries changes that economics completely."

SPhotonix is developing its 5D Memory Crystal around that idea. The company targets 250 TB on a single piece of fused silica, a media lifetime of more than 1,000 years and a sub-15-second time to first byte. It also claims that, at archival scale, the medium could reduce cost per terabyte by an order of magnitude compared with HDD. Once written, the medium itself requires no energy to retain the data.

DNA storage pushes density much further. Research describes information densities potentially many orders of magnitude above magnetic media. But DNA remains constrained by practical problems including writing, sequencing, error correction, random access and scalability.

Ceramic storage pursues another version of persistent physical media, using data encoded into durable ceramic layers. The attraction is similar to glass: very long retention without continuously powering the storage medium. But current implementations remain much less mature than tape, and published performance and capacity targets are still largely roadmaps rather than established hyperscale deployments. These technologies are unlikely to compete for a single role. Each targets a different part of the archival-storage problem.

Tape already provides an established archive tier. Glass and ceramic approaches attempt to extend physical longevity and reduce migration requirements. DNA offers extraordinary theoretical density but requires a fundamentally different write-and-read pipeline.

The hardest problem may be getting data into the archive

New storage media have to fit into infrastructure built around established filesystems, object stores, storage APIs, backup software, data lifecycle policies and compliance procedures.

Data has to move between tiers without applications having to understand the hardware underneath them. Organizations also need to know that archived information can still be found, verified and retrieved years later.

That is also why Konopliastyi does not expect a new medium to succeed on durability alone. "You can invent storage that lasts for a thousand years, but that does not make it useful to a data center," he says. "The difficult part is making it fit into the infrastructure companies already have: how the data gets there, how you catalogue it, how you verify it, and how you retrieve it when somebody eventually needs it."

That makes migration and compatibility potentially as important as storage density. Compliance adds another constraint. Some archives require immutability; others require guaranteed deletion after a retention period. Organizations may need auditability, encryption, geographic controls or predictable recovery times.

A medium designed to preserve data for centuries is not automatically useful if an organization cannot prove what was stored, control who can retrieve it, or reliably destroy it when regulation requires deletion.

Featured image credit

>