Системы хранения медиаданных

Московский государственный университет печати имени Ивана Федорова

Факультет Информационных технологий и медиасистем

Кафедра Информационных систем

 

 

 

 

 

 

 

 

Реферат

по дисциплине:

«Системы управления медиаданными»

На тему:

«Системы хранения медиаданных»

 

 

 

 

 

 

 

Студент: Кузьмина Л.С.

Группа: ДЦис-5-1

Преподаватель:

 

Содержание

 

Введение………………………………………………………………………….3

Скорости и интерфейсы………………………………………………………...5

Надежность хранения…………………………………………………………….8

 

1. Введение

 

Компьютерные технологии для работы с цифровыми медиаданными становятся так же популярны в различных производствах, как, например, ставшие привычными технологии электронного документооборота, управления финансами, издательства и автоматизации проектирования.

Информационный мир вокруг нас стал всеобще цифровым. Теперь именно в цифровом виде мы слушаем музыку, делаем фотоснимки и снимаем домашнее видео, скачиваем и смотрим фильмы, читаем электронные книги и просматриваем новости в интернете. Создание, распространение и даже потребление различной информации необратимо перешло в цифровой формат. А поскольку к этому процессу через интернет подключилось почти все человечество, то соответствующие объемы цифровых данных растут с невероятной скоростью, намного перекрывая наши потребности и возможности. И все это надо где-то надежно хранить и оперативно выдавать в ответ на поступающие запросы. Одним словом, сегодня роль специализированных систем хранения данных (СХД) неуклонно растет.

Простейший способ организации хранения данных на встроенных отдельных жестких дисках, очевидно, является самым доступным и распространенным. При максимальной емкости до 3ТБ и средней производительности в 80-100 МБ/сек такое устройство отлично подходит для хранения сотен и даже тысяч персональных файлов с различными текущими данными. Но даже для домашнего пользователя этого часто оказывается недостаточно. В первую очередь с точки зрения обеспечения надежности, да и недостаточной емкости. А при профессиональном применении, в частности, для различных задач производства видео высокого разрешения, требующее совместного использования сотен терабайт информации и обеспечения скоростей записи/чтения в сотни МБ/сек (а порой уже и в ГБ/сек), организация хранения данных на отдельных дисках даже не рассматривается. Именно потому уже более 10 лет активно разрабатываются и все шире применяются различные внешние RAID массивы жестких дисков.

Впервые идея объединения нескольких независимых дисков в одно логическое устройство с целью повышения общей емкости, быстродействия и надежности была высказана еще в конце 80-х годов прошлого века в ставшей классической статье университета Беркли под названием «A Case for Redundant Arrays of Inexpensive Disks (RAID)». С тех пор понятие RAID массивов прочно вошло в компьютерную терминологию. Конструктивно они представляют самостоятельные системы на 4-48 дисков в отдельном корпусе со своим процессором и оперативной памятью, надежным (избыточным) питанием и охлаждением, встроенной интеллектуальной системой управления и самодиагностики. Несмотря на сложную внутреннюю организацию такой массив «видится» как единое устройство со стандартным компьютерным интерфейсом для подключения и передачи данных. При этом возможно его прямое подключение к персональному компьютеру – и тогда говорят о DAS (Direct Attached Storage – непосредственно подключенное хранилище). В более сложном варианте, например при работе над общим видеоматериалом в рамках рабочей группы, из одного или нескольких устройств хранения создается единая высокоскоростная СХД с организацией и разделением (контролем) одновременного совместного доступа к данным между многими пользователями – в этом случае говорят о SAN (Storage Area Network – сеть хранения данных). Особняком стоят сетевые хранилища – NAS (Network Attached Storage – сетевая система хранения), включаемые в обычную локальную сеть предприятия и, как правило, выполняющие функцию по хранению данных общего назначения, а также для хранения архивных данных. В отличие от SAN основное назначение NAS – это хранение, копирование и архивирование готовых данных, в том числе созданных на рабочих станциях.

 

2. Скорости и интерфейсы

 

Рассмотрим некоторые важные характеристики RAID систем более подробно. Начнем с быстродействия. Как уже отмечалось, средняя скорость записи/чтения повседневных 3,5” SATA дисков со скоростью вращения 7200 оборотов/сек составляет около 100 МБ/сек (у дорогих SAS дисков на 15 тысяч оборотов она соответственно может достигать 150 МБ/сек). Объединяя несколько дисков в пакет и организуя простое распараллеливание, так называемую веерную запись-чтение блоками на все установленные диски, можно ожидать пропорционального увеличения быстродействия - для 12-дисковой системы теоретически до 1 ГБ/сек. На практике реальное быстродействие заметно ниже, поскольку существует ряд дополнительных ограничивающих факторов. Главными из них являются пропускная способность интерфейса и производительность используемого RAID процессора.

В таблице 1 сведены базовые характеристики наиболее распространенных интерфейсов СХД. Для простоты понимания она разбита на 2 части, в верхней собраны интерфейсы предыдущего поколения, а в нижней – приходящие им на смену, более производительные.

 

Тип интерфейса	Теоретическая пропускная способность (в одну сторону)	Реальное быстродействие (средний поток на запись/чтение)	Максимальная длина  кабеля / Число устройств в цепочке
USB 2.0	480 Мбит/сек	35 Мбайт/сек	5м / 127
FireWire 800 (FWB)	800 Мбит/сек	80 Мбайт/сек	100м / 63
eSATA	2,4 Гбит/сек	250 Мбайт/сек	2м / 1
FC 4Gb	4 Гбит/сек	380 Мбайт/сек	До 10 км / 127
SCSI U320	2560 Мбит/сек	300 Мбайт/сек	12м / 16
SAS 3Gb	3 Гбит/сек	280 Мбайт/сек	8м / 127
iSCSI 1Gb	1 Гбит/сек	50 Мбайт/сек	Не ограничено
PCIe х4	10 Гбит/сек	800 Мбайт/сек	100м / 1
USB 3.0	5 Гбит/сек	300 Мбайт/сек	3м /127
ThunderBolt	10 Гбит/сек	800 Мбайт/сек	3м/6
SAS 6Gb	6 Гбит/сек	550 Мбайт/сек	8м / 127
FC 8Gb	8 Гбит/сек	800 Мбайт/сек	До 10 км / 127
iSCSI 10Gb	10 Гбит/сек	500 Мбайт/сек	Не ограничено

 

Таблица 1. Характеристики интерфейсов.

 

До недавнего времени для домашнего использования предлагались простые настольные массивы на 2-4 диска с внешними интерфейсами USB 2.0 и eSATA - для РС компьютеров, или USB 2.0 и FW800 (IEEE1394/b) – для МАС. В этих устройствах, как правило, применялись RAID процессоры небольшой производительности, так что общая результирующая скорость обычно ограничивалась 30-80 Мбайт/сек. Затем на смену USB 2.0 пришел стандарт USB 3.0 с более чем 10-кратной повышением теоретической пропускной способности. К сожалению, разработчики недорогих RAID чипов для домашних систем не спешат, и пока для PC рынка доступны устройства лишь на 200-250 МБ/сек. А вот для MAC сторонников картина меняется более кардинально. Apple отказался от поддержки USB 3.0, но приобрел у Intel технологию Light Peak, присвоив соответствующему интерфейсу громкое название Thunderbolt (в переводе – удар молнии). У него есть ряд очевидных преимуществ – действительно высокая скорость (10Гб/сек в одну сторону), возможность подключения в цепочку до 6 устройств, идентичность разъема с DisplayPort и одновременная передача по одному кабелю как Thunderbolt так и DisplayPort сигналов.

Что касается корпоративных СХД, то в прошлые годы для DAS устройств в основном применялся SCSI интерфейс (его последняя модификация U320). И только сравнительно недавно на смену параллельному SCSI U320 пришел последовательный SAS (Serial Attached SCSI), сначала с максимальной полосой в 3 Гб/сек, а сегодня уже в 6 Гб/сек. SAS сочетает преимущества протокола SCSI (глубокая сортировка очереди команд, хорошая масштабируемость, высокая помехозащищённость) и Serial ATA(тонкие, гибкие недорогие кабели, возможность горячего подключения, топология типа «точка-точка», позволяющая достигать большей производительности в сложных конфигурациях). Также SAS обладает такими новыми уникальными возможностями как продвинутая топология подключения с использованием узлов, именуемых SAS-расширителями, подключение к одному диску двух SAS-каналов (как для повышения надёжности, так и производительности), работа на одном контроллере дисков как с SAS, так и с SATA-интерфейсом. В сочетании с новой системой адресации это позволяет подключать до 128 устройств на один порт и иметь до 16256 устройств на контроллере, при этом не требуются какие-либо манипуляции с перемычками и т.п. Кроме того, снято ограничение в 2 ТБ на объём логического устройства. Что касается эффективной скорости, то с использованием современных процессоров она приблизилась к теоретическому пределу в 600 МБ/сек.

 

3. Надежность хранения

 

Большинство СХД предназначено для работы в режиме 24/7. И обеспечение бесперебойности их функционирования, надежности хранения и постоянной доступности данных является первостепенной задачей. В современных RAID массивах эта задача решается многопланово, на нескольких уровнях, как аппаратно (избыточность записи, дублирующие блоки питания и вентиляторы охлаждения, выделение нескольких дисков для «горячего» резервирования, установка специальных модулей сохранения данных кэш-памяти при аварийном отключении питания), так и программно (интеллектуальная система самодиагностики дисков, контроля напряжения и температуры).

Самым слабым местом любой дисковой системы хранения являются сами диски. Поэтому борьбу за надежность хранения начинать надо с использования изначально более качественных дисков. На первый взгляд задача выбора дисков тривиальна – ценой поменьше, объемом побольше. И нередко в RAID-массивы без всякой задней мысли устанавливают стандартные диски, изначально предназначенные для обычных компьютеров. Они обладают большой емкостью, обещанной высокой надежностью и сравнительно низкой стоимостью. Но на самом деле для дисковых массивов, работающих под управлением аппаратного RAID контроллера, рекомендуются специальные диски серий RE (RAID Edition). При их использовании обеспечивается более корректная обработка ошибок чтения. Кроме того, такие диски отличает более высокая надежность (увеличенное вдвое время наработки на отказ).

 Следующим шагом является  правильное конфигурирование массива, т.е. выбор правильного RAID уровня, обеспечивающего  необходимый компромисс между  эффективностью работы массива (доступный  объем и быстродействие) и его надежностью хранения (допустимым числом отказавших дисков). В теории допускается 8 основных уровней. Но на практике основной интерес представляют следующие уровни, аппаратно поддерживаемые специализированными RAID контроллерами.

RAID 0 – простое распараллеливание, веерная запись/чтение блоками на все установленные диски. Самая высокая производительность, минимальная цена на гигабайт хранения, но отсутствие защиты от сбоя. Поскольку RAID 0 определяет простейший вариант построения массива - без избыточности дисков, то, строго говоря, он даже не является RAID. Тем не менее, этот уровень официально утвержден консорциумом по стандартизации RAID (RAID Advisory Board, RAB) и широко используется на практике.

RAID 1- зеркалирование, т.е. дублирование  всех записей на две идентичные группы дисков. Обеспечивается самая высокая степень защиты критически важных данных, но как следствие - вдвое меньший доступный объем хранения. На практике в основном используется в 2-х дисковом варианте для хранения небольших объемов критически важных данных.

RAID 3 – входной поток  данных разбивается на блоки, по всем битам которых вычисляются  контрольные значения четности. Запись/чтение осуществляется параллельно  на все диски, но при этом  для контрольных данных выделяется  отдельный диск. При сохранении высокого быстродействия (сравнимого с RAID 0) данные не теряются при выходе из строя одного (любого) из дисков.

RAID 5 – аналогичен RAID 3, но  запись значений четности распределена  между всеми дисками. Кроме того, уменьшен размер блоков записываемых данных, что увеличивает быстродействие системы при большом количестве запросов на запись/чтение небольших файлов. Этот уровень является одним из самых популярных, обеспечивая оптимальное сочетание быстродействия и надежности.

RAID 6 – здесь параллельно рассчитываются 2 независимых значения четности, которые распределяются между всеми дисками. Сохранность данных обеспечивается при выходе из строя даже 2-х дисков. Однако этот уровень требует очень большого объема вычислений. Особенно это заметно при восстановлении данных при замене неисправных дисков на новые (оно может длиться несколько дней).

Все это позволяет сохранить данные даже при физическом повреждении работающего в системе диска (одного или нескольких). Однако доводить систему до такого критического состояния не стоит. Более благоразумно и грамотно предвидеть угрозу, заранее «вычислить» потенциально плохой диск (еще лучше еще до установки в систему) и принять превентивные меры к его замене. Именно для этого в современных дисковых массивов предлагаются различные способы оперативной диагностики состояния дисков, что создает дополнительный «эшелон» защиты данных. Соответствующие утилиты рекомендуется запускать регулярно, лучше всего в автоматическом режиме по заранее заданному расписанию. В этом случае система будет выявлять потенциально плохой диск с пороговым значением плохих блоков. Весьма важно при этом его оперативно заменить, а для этого надо всегда иметь под рукой запасной диск. Лучше всего еще при конфигурировании массива один из установленных дисков сразу определить как Hot Spare (т.е. как запасной в режиме горячей замены). В этом случае система при обнаружении и исключении из работы плохого диска автоматически подключит данный запасной диск и перенесет на него необходимую информацию.