Часть 18: Программно определяемые системы хранения данных (SDS) - github2wiki/SPBSUT_KURS GitHub Wiki

Система хранения данны

Система хранения данных это комплексное программно-аппаратное решение по организации надёжного хранения информационных ресурсов и предоставления гарантированного доступа к ним.

Классифицировать СХД можно по разному

По типу организации хранения данных

Существует несколько видов СХД, вот некоторые из них Виды СХД

Direct-attached storage (DAS)
Network-attached storage (NAS)
Storage area network (SAN)

По способу хранения данных

Block storage

Файлы разбиваются на «кусочки» одинакового размера, каждый с собственным адресом, но без метаданных. Хранение на уровне блоков лежит в основе работы традиционного жесткого диска.Пример — ситуация, когда драйвер HDD пишет и считывает блоки по адресам на отформатированном диске. Такие СХД используются многими приложениями, например, большинством реляционных СУБД. В сетях доступ к блочным хостам организуется за счет SAN с помощью протоколов Fibre Channel и iSCSI.

Плюсы

Блочные хранилища обладают набором инструментов, которые обеспечивают повышенную производительность: хост-адаптер шины разгружает процессор и освобождает его ресурсы для выполнения других задач. Поэтому блочные системы хранения часто используются для виртуализации. Также хорошо подходят для работы с базами данных.

Минусы

Недостатками блочного хранилища являются высокая стоимость и сложность в управлении. Еще один минус блочных хранилищ (который относится и к файловым, о которых далее) — ограниченный объем метаданных. Любую дополнительную информацию приходится обрабатывать на уровне приложений и баз данных.

File storage

Здесь, данные хранятся как файлы и папки, собранные в иерархическую структуру, и доступны через клиентские интерфейсы по имени, названию каталога и др.

Плюсы

Среди плюсов файловых хранилищ выделяют простоту. Файлу присваивается имя, он получает метаданные, а затем «находит» себе место в каталогах и подкаталогах. Файловые хранилища обычно дешевле по сравнению с блочными системами, а иерархическая топология удобна при обработке небольших объемов данных. Поэтому с их помощью организуются системы совместного использования файлов и системы локального архивирования.

Минусы

Основной недостаток файлового хранилища — отсутсвие масштабируемости.По мере накопления большого количества данных — находить нужную информацию в куче папок и вложений начинает занимать всё больше и больше времени. По этой причине файловые системы хранения не используются в дата-центрах, где важна скорость.

Object storage

Отличаются от файловых и блочных отсутствием файловой системы. Древовидную структуру файлового хранилища здесь заменяет плоское адресное пространство. Никакой иерархии — просто объекты с уникальными идентификаторами, позволяющими пользователю или клиенту извлекать данные

Плюсы

Масштабируемость, расширяемость метаданных, высокая скорость доступа к информации

Software-defined storage (SDS)

SDS — это архитектура хранения, которая использует уровень программного обеспечения для выделения ресурсов и управления ею на серверах. Главный принцип таких систем — полный перенос организации хранения с аппаратных контроллеров на программный уровень. Программно-определяемое хранилище, по сути, является программным обеспечением для хранения орагнизации хранения данных ,обеспечения безопасности на основе политик и управления хранением данных независимо от аппаратных средств. Программное обеспечение, позволяющее создать среду хранения, может также обеспечивать управление для таких функций, как дедупликация данных, репликация,моментальные снимки и резервное копирование.

Причины появления

Главная причина воявления SDS — желание избавиться от зависимости, связанной с использованием оборудования одного вендора, гибко наращивать (или сокращать) применяемые ресурсы, решать новые функциональные задачи, а в итоге добиться сокращения эксплуатационных затрат при росте эффективности использования вычислительных мощностей.

SDS-системы, архитектурно повторяющие классические массивы, имеют аналогичные технические ограничения: фиксированное количество контроллеров (нод), интерфейсных портов взаимодействия и накопителей (жестких дисков, SSD).

Но переход на программно-определяемую реализацию функционала сделал возможным использование технологий, которые ранее были недоступны(например, виртуализация внешних дисковых массивов). Включение продуктов на основе SDS в наборы решений позволило производителям значительно увеличить функционал в этих сегментах.

Наибольшие популярность и распространение на данный момент имеют SDS-продукты с объектным принципом хранения данных. Их основные потребители – средние и крупные сервисные провайдеры услуг по облачному хранению: Dropbox, Amazon, Google, Apple и др.

В случае частных облаков применение объектного подхода гарантирует унификацию вычислительных компонентов и динамическое расширение инфраструктуры за счет добавления универсальных новых нод (серверов), которые могут обеспечивать сервис хранения одновременно с другими ролями.

В отличие от классических решений, которые отвечают за гарантированное хранение всего массива данных (в рамках одного ресурса), объектный принцип предусматривает хранение множества копий частей массива данных – так называемых объектов.

Сохранность данных обеспечивается при доступности хотя бы одного экземпляра из множества. За счет применения объектного хранения стала возможна организация резервирования данных в зависимости от места расположения элементов SDS. Например, можно дублировать объекты на ресурсах разных узлов (серверов – участников SDS), размещенных в разных стойках ЦОД. Исходя из этого, допускается потеря части компонентов при условии сохранения одной или более копий каждого из объектов.

Основные преимущества

Экономичность

Программно-определяемые хранилища дают возможность отказаться как от проприетарных решений в пользу стандартизированного оборудования, так и от традиционной сети хранения данных (SAN) Fibre Channel в пользу более универсального стандарта Ethernet.

Гибкость

Программно-определяемые хранилища могут быть построены на оборудовании любого производителя или даже различных производителей в рамках одной системы. SDS легко масштабируются, поскольку программный уровень организации предоставляет очень широкие возможности по управлению ресурсами.

Отказоустойчивость

При возникновении проблем на основной SDS с помощью средств репликации данные легко переносятся резервную систему.

Производительность

Программно-определяемые хранилища поддерживают подключение PCIe NVMe-карт, существенно увеличивающих возможности систем.

SDS решения

Ceph

Универсальная SDS, позволяющая реализовать блочный, файловый и объектный доступ к данным в пределах одной системы. Благодаря поддержке асинхронной репликации имеет сравнительно более низкие требования к скорости передачи данных. Еще одним преимуществом Ceph является отсутствие ограничений на масштабирование узлов.

GlusterFS

Среди программно-определяемых хранилищ GlusterFS выделяется более простой настройкой и поддержкой. Многоуровневый подход к хранению данных предполагает использование уже испытанных файловых систем на реальных дисках. GlusterFS может легко масштабироваться до петабайт дискового пространства, которое доступно пользователю под одной точкой монтирования. В отличие от других распределённых файловых систем, GlusterFS не требует отдельный сервер для хранения метаданных.

VMmware Virtual San

SDS от VMware встроена в лидирующий на корпоративном рынке гипервизор vSphere, что облегчает первичную настройку и последующее управление. Решение предлагает отличную производительность, возможность построения «растянутых» кластеров серверов виртуализации или развертывания в филиалах всего на двух серверах.

SANsymphony

Система от DataCore позволяет виртуализовать существующие СХД, увеличить их производительность за счет кэширования в оперативной памяти или на твердотельных дисках, создавать распределенные программные хранилища на базе дисков, установленных локально в серверы.