Современный мир сталкивается с беспрецедентным ростом объемов информации. Инженерные решения позволяют увеличивать емкость дисков и создавать более эффективные системы хранения, что помогает решать текущие задачи. Однако с появлением машинных источников данных — таких как беспилотный транспорт, умные фабрики и IoT-устройства — темпы генерации информации ускоряются экспоненциально. Возникает ключевой вопрос: сможем ли мы физически создать достаточно хранилищ для данных следующего десятилетия, или нам придется пересмотреть саму философию хранения и научиться жестко фильтровать информацию, решая, что действительно стоит сохранять?
Автор: Рейнер Кесе, старший менеджер по развитию бизнеса систем хранения данных, Toshiba Electronics Europe
Баланс между HDD и SSD в эпоху data-взрыва
Объем глобально хранимых данных растет даже быстрее, чем предполагали самые смелые прогнозы. Изначально ожидалось, что доля флэш-памяти (SSD) будет увеличиваться, вытесняя традиционные жесткие диски (HDD) и магнитные ленты. Однако реальность оказалась иной: все три технологии продолжают сосуществовать и развиваться, поскольку общая потребность в емкости стала колоссальной. Эксперты прогнозируют, что в 2019 году примерно 90% емкости для типичных облачных приложений будут обеспечивать HDD, возможно, в комбинации с магнитными лентами для архивов. На долю SSD придется лишь около 10% от общего объема.
При этом корпоративные SSD стоят в пересчете на гигабайт в разы дороже HDD. Поэтому с финансовой точки зрения инвестиции распределятся примерно поровну: половина средств будет направлена на жесткие диски, половина — на твердотельные накопители. На рынке сформируется три основных типа систем: всецело построенные на флэш-памяти; гибридные, где SSD отвечают за кэш и «горячие» данные, а HDD — за «теплые» и «холодные»; и системы, полностью основанные на жестких дисках.
Эволюция HDD: гелий и рост емкости до 20 ТБ
Ведущие производители уже выпустили гелиевые жесткие диски емкостью до 16 ТБ. Тренд на увеличение емкости примерно на 2 ТБ в год сохранится, что позволит выйти на рубеж в 20 ТБ уже в начале 2020-х годов. Стоимость хранения на таких дисках будет снижаться, но значительных прорывов в других технических характеристиках, кроме емкости, ждать не стоит.
Ключевым преимуществом гелиевых HDD станет энергоэффективность. Если классические 3,5-дюймовые диски на 7200 об/мин потребляют около 11 Вт под нагрузкой, то их гелиевые аналоги — всего 6-7 Вт. Это достигается за счет меньшего сопротивления внутри гермозоны. Таким образом, переход на гелиевые диски напрямую повлияет на снижение энергопотребления и тепловыделения в дата-центрах, упростит и удешевит их охлащение. Более того, работа при пониженных температурах повышает общую надежность накопителей и увеличивает их срок службы. Дальнейший рост плотности записи обеспечат новые технологии, такие как микроволновая магнитная запись (MAMR), которая будет интегрирована в конструкцию пишущих головок.
Архитектурные сдвиги: от аппаратного RAID к программно-определяемым системам
Сектор стоечных систем хранения с высокой плотностью размещения (top-loading) продолжит рост в ответ на запросы к емкости. Если сегодня стандартом являются корпуса 4U с 60 отсеками, то уже появляются решения, поддерживающие от 78 до 110 слотов для 3,5-дюймовых HDD. Управление такими массивами дисков все чаще переходит от традиционного аппаратного RAID к гибким программным решениям.
Будущее за программно-определяемыми системами хранения (Software-Defined Storage, SDS) и масштабируемыми архитектурами, такими как кластеры на базе Ceph. В них несколько серверов хранения объединяются в единый пул ресурсов. Избыточность и защита данных обеспечиваются уже не на уровне дисков внутри одного сервера, а распределенно — через резервирование узлов в рамках всей серверной сети.
Data-цунами: вызовы машинной генерации данных
Объем данных, генерируемых человечеством, и так огромен, а их резервное копирование и репликация в облаках многократно умножают необходимые емкости. Однако до сих пор доля машинных данных была относительно невелика. С 2019 года ситуация кардинально изменится: автономные автомобили, интеллектуальное производство, интернет вещей и системы умного дома начнут генерировать новые, непрерывные потоки информации, которые также потребуется где-то размещать.
Ожидаемые объемы настолько велики, что текущая парадигма «сохранить все» становится несостоятельной. Жесткая реальность заставит внедрять интеллектуальный предварительный анализ данных еще на этапе их поступления. Необходимо будет автоматически определять ценность информации, отделяя критически важные данные от тех, которые можно безопасно удалить или агрегировать.
Влияние новых технологий: ИИ, глубокое обучение и блокчейн
Прорывные вычислительные парадигмы — искусственный интеллект, глубокое обучение и блокчейн — предъявляют экстремальные требования к производительности систем обработки. Эти технологии не только потребляют данные для работы, но и сами становятся мощными генераторами новой информации, создавая дополнительную нагрузку на системы хранения.
Пока сложно точно оценить масштаб их влияния на инфраструктуру, поскольку многие приложения находятся в стадии становления. Однако по мере развития и коммерциализации этих технологий в 2019 году и в следующем десятилетии картина прояснится. Уже сейчас очевидно одно: их распространение станет одним из главных драйверов дальнейшего взрывного роста объемов данных, требующих хранения.