Где мы собираемся хранить столько данных? Благодаря инженерам и программистам, емкость дисковых носителей становится все больше, а объединение их в эффективные системы хранения – проще. Таким образом, проблемы, с которыми мы сталкиваемся сегодня, решать стало легче. Но с учетом прогнозов по стремительному ускорению объемов генерации данных машинами, такими, как автономные транспортные средства и интеллектуальные фабрики, а также принимая во внимание, что люди уже создали огромные массивы данных, включая резервные копии, сможем ли мы произвести достаточно хранилищ для потребностей следующего десятилетия? Или нам придется подумать о более безжалостном подходе и принимать решение относительно того, что можно не хранить?
Автор: Рейнер Кесе, старший менеджер по развитию бизнеса систем хранения данных, Toshiba Electronics Europe
Баланс HDD и SSD в мире растущего количества данных
Объем хранимых в мире данных не только продолжает расти, но и растет быстрее, чем прогнозировалось. Ожидалось, что доля данных, хранящихся на флэш- и твердотельных накопителях, увеличится, а количество данных, хранящихся на жестких дисках и магнитной ленте, уменьшится. Однако сегодня очевидно, что все три технологии продолжают развиваться просто потому, что требуется очень много емкостей для хранения данных. Можно предположить, что в 2019 году 90% емкости для типичных приложений, использующих облачные вычисления, будет обеспечиваться жесткими дисками, возможно, частично, на магнитной ленте. И лишь 10% будут обеспечены SSD. Но поскольку
корпоративные твердотельные накопители стоят на единицу емкости до десяти раз дороже, чем жесткие диски, финансовые инвестиции сравняются: около 50% средств будет потрачено на жесткие диски и столько же – на твердотельные накопители. Подобные системы хранения охватывают весь спектр приложений. Часть из них будут использовать исключительно флэш-память, часть – гибридные модели, где на флэш-памяти хранится кэш или «горячие» данные, а на жестких дисках – «холодные» и «теплые» данные, остальные – серверы на основе исключительно жестких дисков.
Емкость гелиевых HDD вырастет до ~20 ТБ
Все три основных производителя уже представили модели жестких дисков, наполненные гелием, емкостью до 16 ТБ. Ожидается, что в ближайшие годы емкость будет увеличиваться примерно на 2 ТБ в год, а это означает, что жесткие диски объемом 20 ТБ должны появиться в начале следующего десятилетия. Эти диски, вероятно, потеряют в стоимости при росте емкости, но заметных улучшений по другим техническим параметрам ожидать не стоит.
Единственным исключением станет энергопотребление, которое сократится в результате использования гелия. В то время как заполненные воздухом 3,5-дюймовые жесткие диски, работающие на скорости 7200 об/мин, потребляют, независимо от емкости, относительно постоянную мощность 11 Вт под нагрузкой, потребляемая мощность заполненных гелием жестких дисков составляет примерно 6-7 Вт. Это стало результатом более низкого трения благодаря легкости гелия. Таким образом, распространение жестких дисков с гелием поможет решить проблему роста энергопотребления центров обработки данных.
Каждый ватт энергии, сэкономленный такими накопителями, приводит к уменьшению количества энергии, необходимого для работы центра обработки данных, а также к сокращению рассеиваемого тепла, что делает охлаждение более экономичным. Еще один эффект от снижения температуры: гелиевые приводы обладают более высокой надежностью по сравнению с наполненными воздухом приводами при непрерывной работе. Это приводит к гораздо меньшему количеству отказов и увеличению срока службы. Планируется также дальнейшее повышение плотности хранения, благодаря таким технологиям, как микроволновая магнитная запись (MAMR), которая будет интегрирована в пишущие головки жесткого диска.
Архитектура хранилищ
Мы можем рассчитывать на продолжение роста сектора стоечных хранилищ с верхней загрузкой из-за требований к увеличению емкости. Хотя 60 отсеков в формате 4U сегодня стали стандартом, появились корпусы, поддерживающие от 78 до 110 отсеков для 3,5-дюймовых жестких дисков. Вместо аппаратного RAID, такое количество дисков настраивается с помощью программных решений. Современные программно-определяемые системы хранения будут продолжать преобладать, наряду с масштабируемыми проектами, такими как кластеры Ceph, где несколько серверов хранения объединяются в более крупные блоки. Здесь защита данных больше не обеспечивается за счет избытка жестких дисков на сервере. Вместо этого избыток реализуется через узлы серверов хранения, доступные в серверной сети.
Взрывной рост количества данных
Уже сегодня люди генерируют огромное количество данных. Если учесть, что эти данные затем копируются в центрах обработки и в облаке, это только увеличивает объем памяти, необходимый для их хранения. На сегодняшний день количество сгенерированных машинами данных сравнительно невелико. Однако с 2019 года это изменится, поскольку такие решения и технологии, как автономные автомобили, интеллектуальные фабрики, интернет вещей (IoT) и домашняя автоматизация, будут генерировать дополнительные
потоки данных, которые придется хранить. Ожидаемый их объем настолько велик, что нынешняя философия хранения данных требует серьезного пересмотра. Суровая реальность заключается в том, что нам необходимо проанализировать данные перед их сохранением, чтобы определить, какие из них действительно важны и не могут быть удалены.
Искусственный интеллект, глубокое обучение и блокчейн
Новые вычислительные приложения, такие как искусственный интеллект, глубокое обучение и блокчейн, значительно повысили требования к производительности систем обработки данных. Мы можем ожидать, что эти технологии будут генерировать гораздо больше данных и им потребуются решения по их хранению. В настоящее время неясно, какое именно влияние они окажут на требования к хранилищам, поскольку недостаточно известно о самих приложениях и о том, как они будут реализованы. Однако, по мере приближения 2019 года и нового десятилетия ситуация будет проясняться. Уже сегодня понятно, что эти технологии еще больше увеличат объем хранимых данных.