Облачные системы. Новый шаг в хранении видеоданных

23 Январь 2013

Рынок систем видеонаблюдения сегодня предъявляет уникальные требования для построения систем хранения видеоданных - объем архивов увеличивается, а трафик данных растет. Обычные системы хранения становятся уже не так эффективны, им на смену должны прийти более современные и удобные в использовании аналоги

Сергей Трапани

Генеральный директор ООО "Смарт-Рэк"

Все больше и чаще сегодняшний рынок СБ сотрясается словосочетанием "облачное хранение данных". Вот уже появились первые сервисы облачного видеонаблюдения в Интернете и корпоративные облака, а мы все решаем "надо - не надо". Вспоминаю начало 2000-х, когда спорили о необходимости вложения "бешеных денег" в новые тогда DVR - все боялись переходить с кассет на цифровую запись. Потом никак не верили в IP-камеры.

У меня нет сомнений, что рынок видеонаблюдения, да и систем безопасности в целом, идет к облачному хранению. Во-первых, больше трети общего бюджета на объекте - это инфраструктура хранения; во-вторых, рост объема данных и его трафик. Облачные системы позволяют оптимизировать расходы и упрощают использование данных.

"Обычный порошок", или Отличия ИТ-облаков от СБ-облаков

Обычные системы хранения ИТ-данных рассчитаны на обычные рабочие нагрузки систем Однако в случае работы с видеоданными рабочие нагрузки отличаются почти во всех отношениях от допущений, принятых для случая систем хранения ИТ-данных. Подобное несоответствие предоставляет возможность для создания новых систем хранения, более подходящих для решения задач на современном этапе потребностей рынка.

Целью проектирования обычной системы хранения данных является оптимизация работы с малым временем ожидания и с небольшими произвольными блоками данных. Когда 80% работы приходится на чтение, а 20% - на запись. Эффективность выражается в оптимизации произвольного ввода/вывода небольших блоков данных в секунду, и все характеристики вытекают из следующих начальных предпосылок:

Используется центральная система управления с двумя фиксированными контроллерами RAID и фиксированными соединениями SAN.
Многопроходные соединения используются преимущественно для перехвата управления при отказе.
Звенья системы хранения данных эффективны, поскольку затраты мощности небольшие.
Первичные данные никогда не переписываются, и легко поддерживается резервное копирование на диск или ленту.
Надежность системы измеряется в компонентных понятиях, таких как "пять 9".
Данные дублируются и воспроизводятся в другом месте для их восстановления в случае каких-либо катаклизмов.
Требования к хранению данных второстепенны по отношению к потребностям сервера.

Система хранения данных видеонаблюдения

Система хранения данных видеонаблюдения оптимизируется на прием данных с высокой пропускной способностью при работе 99% на запись больших блоков произвольных данных. Суммарная пропускная способность является ключевым показателем, и набор характеристик существенно отличается:
Используется принцип расширяемости с применением параллельных, расширяемых контроллеров и соединений SAN.
Многопроходные соединения используются преимущественно для наращивания пропускной способности.
Необходимы параллельные кэш-структуры, для того чтобы поддерживать почти последовательный потокданных.
Огромная потребность в емкости и пропускной способности делает бесполезными технологии копирования экрана, дублирования и воспроизведения.
Требования по надежности подразумевают, что не должно быть ни одного случая сбоя на системном уровне.
Данные слишком обширны для дублирования и требуют слишком большой пропускной способности для того, чтобы можно было воспроизводить их в другом месте на случай каких-либо катаклизмов.
Требования к хранению данных доминируют над потребностями сервера.

Основные тезисы этой статьи будут основаны на опыте зарубежных коллег, ставших абсолютными рекордсменами в области построения облачных систем хранения видеоданных.

Архитектура СХД

По своей архитектуре СХД - это сеть с выделенной зоной хранения данных (SAN - Storage Area Network), которая одновременно управляет серверными приложениями на совместно используемом аппаратном обеспечении. Комбинированная платформа типа "сервер/устройство хранения", с одной стороны, выступает как устройство хранения высокой готовности типа SAN, без одиночной критической точки. С другой - как высокопроизводительный сервер высокой готовности.

Отказоустойчивость

Отказоустойчивость - важная составляющая системы. Система хранения должна обеспечивать дополнительную защиту серверных приложений для массивов из трех или более устройств при помощи функции программного восстановления. В ситуации незапланированного аппаратного отключения электричества на сервере это приложение автоматически запускается на другом доступном устройстве массива. Виртуальная машина восстановит виртуальную сеть и использующиеся для хранения данных соединения, после чего начнет работать в нормальном режиме через 1-2 минуты.

Система защищает любые серверные приложения, включая контроль доступа и аналитические программы. Она позволяет построить решение на единой инфраструктуре: архивированная информация будет защищена в рамках массива, а активные приложения - с помощью автоматического перемещения на доступное устройство в массиве.

На стандартном оборудовании (читай "обычном порошке") для каждого дополнительного серверного приложения (не VMS) потребуется дополнительное оборудование, которое будет являться единичной точкой сбоя. И для резервирования системы там также предложено дополнительное оборудование. В современной облачной архитектуре использование дополнительного оборудования не является необходимым.

Защита RAID6x

Защита RAID6x - улучшенный распределенный двойной контроль четности, который защищает от отказа либо три диска, либо одно устройство хранения и два диска в массиве. Таким образом, по сравнению с масштабируемыми решениями, предлагающими простое зеркалирование, система защищена от большего количества отказов дисков.

Стандартные решения используют RAID5 или 6, который сводится к защите от потери одного или двух дисков и не защищает сервер целиком, что увеличивает риск потери информации.

Новые облачные решения виртуализируют физические диски и устройства хранения в массив так, чтобы пространством можно было управлять логически, без ограничений, связанных с физическими объемами дисков. Пропускные способности гигабитных портов и возможности CPU также суммируются. А архивируемые данные распределяются равномерно по всему массиву.

Таким образом, чем больше массив, тем больше пропускная способность и эффективность защиты данных RAID.

Это обратно тому, что происходит в стандартных системах, где скорость и пропускная способность определяются каждой машиной отдельно.

Обслуживание и установка

Стандартная работа по обслуживанию СХД сисадмином сводится к выравниванию динамической нагрузки по пропускной способности и емкости, по инициаторам, сетевым портам, контроллерам устройства хранения и жестким дискам. Человеческий фактор здесь может сыграть роковую роль, так как при перегрузке может упасть скорость записи и произойти потеря самой информации.

В современных решениях вышеуказанные действия осуществляются без оперативного вмешательства. Поскольку данные равномерно распределены по массиву, нагрузка может быть быстро приведена в соответствие с любыми изменениями физической инфраструктуры.

Установка и запуск облачных массивов просты. С помощью утилиты управления возможна наладка одного массива в течение одного часа. При любом другом стандартном оборудовании на это уйдет намного больше времени.

Динамическое расширение массива в режиме реального времени и автоматическая балансировка нагрузки на устройство хранения

Емкость к существующему массиву может быть добавлена физически Делается это путем присоединения к сети SAN новых физических устройств хранения и дальнейшего конфигурирования их в массив. В результате данные повторно перераспределяются между устройствами хранения, и производительность балансируется по всем контроллерам и iSCSI-соединениям без прерывания работы.

В стандартных решениях этого не происходит.

Количество машин, объединяющихся в одну систему, не ограничено Можно начинать работать с одной машины (4, 8, 1 2, 24 или 36 ТБ) и добавлять новые по мере необходимости. Кстати, этот фактор удобен для расчета инвестиций в проект. Начав работать с небольшим архивом, затратив минимум бюджета, можно расширять его в дальнейшем по мере надобности. При этом настройка системы - после присоединения очередного юнита к массиву - займет у вас всего несколько минут и не потребует дополнительных знаний и высокооплачиваемых специалистов.

Суммируя вышесказанное, хочу сказать, что рынок систем видеонаблюдения сегодня предъявляет уникальные требования для построения систем хранения видеоданных. Так или иначе объем архивов будет только увеличиваться, а трафик данных - расти. Пользователям, которые изначально заложат правильную инфраструктуру, в дальнейшем будет гораздо проще апгрейдить свою систему.

Источник: Каталог "Системы цифровой видеорегистрации (DVR)" #2, 2012