Архитектура платформы IBM Virtualization Engine

Объем времени, в течение  которого работает виртуальный процессор  до окончания кванта, основывается на правах раздела, определяемых системным  администратором. Права разделов равномерно распределяются между работающими виртуальными процессорами, поэтому число виртуальных процессоров влияет на продолжительность рабочего цикла каждого процессора.

Гипервизор использует архитектурный принцип "колеса распределения" с фиксированным периодом вращения, равным X миллисекунд, в течение которого каждый процессор своевременно получает свою долю ресурсов. Время виртуальных процессоров распределяется с помощью аппаратного вычитателя, подобно тому, как операционная система разделяет время между процессами.

Задержка (dispatch latency) –  это время, в течение которого виртуальный процессор становится работоспособным и реально диспетчеризируется. Счетчики и внешние прерывания также имеют задержку

Виртуальные процессоры имеют задержку диспетчеризации. Когда виртуальные процессор становится готовым к работе, он помещается в очередь гипервизора, где он и находится до момента диспетчеризации. Время, проходящее между двумя этими событиями, называется задержкой диспетчеризации.

Внешние прерывания также вызывают задержки. Внешние прерывания передаются напрямую в раздел. Когда операционная система вызывает гипервизор с запросом на ожидающее прерывание ( accept-pending-interrupt hypervisor ), гипервизор, при необходимости, выделяет виртуальный процессор на целевом разделе для обработки прерывания. Гипервизор предоставляет механизм организации очереди внешних прерываний, также связанных с виртуальными процессорами. При использовании механизма организации очереди возникают задержки.¹¹

Задержки не должны вызывать функциональных проблем, но могут негативно влиять на производительность приложений реального времени. Для оценки, в худшем случае задержка диспетчеризации составляет 18 миллисекунд, так как минимальный поддерживаемый цикл диспетчеризации на уровне виртуального процессора составляет одну миллисекунду. Эти цифры основаны на минимальной мощности раздела, составляющей 1/10 физического процессора и периоде вращения колеса распределения гипервизора в 10 миллисекунд. Их легко понять, если представить, что работа виртуального процессора распределена на первую и последнюю часть двух десятимиллисекундных интервалов. В общем случае, если эти задержки слишком велики, клиент может увеличить назначенную мощность, уменьшить число работающих виртуальных процессоров, не снижая мощности, или использовать разделы с выделенными процессорами.

IBM Virtualization Engine использует общий процессорный пул. В нем находятся процессоры, не связанные с разделами, работающими на выделенных процессорах. Нет фиксированной связи между виртуальными и физическими процессорами.

Для виртуализации процессоров  необходима новая модель организации  разделов, в корне отличная от модели, используемой в серверах с процессорами POWER4, где разделу назначается  процессор целиком. В системах POWER4 разделы полностью владеют процессорами, и совместное их использование другими разделами невозможно. Такие разделы называются выделенными. В новой модели микроразделов физические процессоры абстрагируются в виртуальные, которые и выделяются разделам. Получившиеся виртуальные процессоры не могут использоваться совместно, однако физические процессоры оказываются в совместном пользовании, поскольку они преобразуются в виртуальные на уровне платформы. Такой принцип разделения является основной особенностью новой модели и реализуется автоматически. Подобные разделы называются совместно использующими процессор.¹²

При диспетчеризации  виртуального процессора гипервизор пытается сохранить привязку (affinity) к ресурсам, используя

• Тот-же физический процессор, что и раньше или
• Тот-же чип, или
• Тот-же МСМ

При простое физического  процессора гипервизор ищет рабочий  виртуальный процессор, который

• Имеет привязку к нему
• Не имеет привязки к какому-либо процессору
• Неограничен (uncapped)

В разделах с процессорами общего пользования нет четких взаимоотношений между виртуальными и актуализирующими их физическими процессорами. При выделении ресурсов виртуальному процессору гипервизор может использовать любой процессор из общего пула, к которому прикреплен виртуальный процессор. По умолчанию он пытается использовать один и тот же физический процессор, гарантировать это можно не всегда. В гипервизоре употребляется понятие "домашнего узла" виртуальных процессоров, которое позволяет выбрать наиболее подходящий с точки зрения близости памяти физический процессор.

Планирование по близости (affinity scheduling) разработано для сохранения содержимого кэшей памяти, что  позволяет быстрее читать и записывать рабочие наборы данных задания.

Механизмом близости активно управляет гипервизор, так  как у каждого раздела существует свой, полностью отличный от других контекст.

На сегодняшний день поддерживается только один пул процессоров  общего пользования, поэтому подразумевается, что все виртуальные процессоры пользуются одним и тем же пулом.

ОС, работающие в микроразделах, должны быть модифицированы для освобождения виртуального процессора, если у них нет исполняемых нитей. Результат – лучшее использование процессорного пула

В противном случае, процессорные такты используются зря (Например, раздел тратит свою емкость (CE), ожидая результат операции ввода-вывода (IO wait)). Можно передать окончание своего кванта времени другому виртуальному процессору. Можно редеспетчеризировать обратно, если появляется работа в тот-же интервал диспетчеризации

В общем случае операционные системы и разделы не обязаны знать о том, что они работают на процессорах общего пользования. Однако путем минимальных изменений в операционной системе можно значительно улучшить общую производительность. В AIX 5L версии 5.3 реализована оптимизация производительности системы разделов с процессорами общего пользования. Применение процессоров общего пользования также влияет на отчетный коэффициент использования процессора, средства контроля производительности, инструменты планирования мощности и менеджеры лицензий.

Рис. 2.5. Пример диспетчеризации

Операции гипервизора  для обеспечения виртуального ввода-вывода (virtual I/O):

• Контроль и служебные структуры для образов виртуальных адаптеров, необходимых разделам
• Контролируемый безопасный доступ к физическим адаптерам, расположенным в другом разделе
• Гипервизор не владеет физическими устройствами ввода-вывода – они принадлежат специальному разделу

Поддерживаемые типы ввода-вывода

• SCSI
• Ethernet
• Serial console
• Virtual I/O Server

Virtual I/O сервер – рабочая среда для администрирования виртуального ввода-вывода. Администрирование происходит через ограниченный командный интерфейс.

Минимальные аппаратные требования для использования Virtual I/O сервера следующие:

• Система POWER5
• Hardware management console
• Дисковый адаптер
• Физический диск
• Ethernet адаптер
• 128 Мб оперативной памяти

Возможности Virtual I/O сервера:

• Разделяемый Ethernet адаптер (Ethernet Adapter Sharing)
• Виртуальный SCSI диск (Virtual SCSI disk)
• Взаимодействиями с разделами AIX и Linux

Технология виртуализации ввода-вывода состоит из четырех отдельных функций:

• Virtual Ethernet (виртуальные соединения Ethernet),
• совместное использование адаптеров Ethernet,
• совместное использование адаптеров Fibre Channel, а также
• виртуализация дисков.

Совместное использование адаптеров и дисков снимает необходимость установки отдельного адаптера на каждый логический раздел, что делает модель ввода-вывода более экономичной.¹³

Адаптеры Ethernet и Fibre Channel общего пользования, а также виртуальные  диски реализуются с помощью механизма ведущих логических разделов (Hosting LPARs). Ведущие логические разделы, основаны на операционной системе AIX 5L, инкапсулируются для облегчения администрирования системны. Они владеют физическими ресурсами и распределяют их между несколькими ведомыми разделами. Связь между ведущими и ведомыми разделами осуществляется посредством набора интерфейсов Hypervisor. Совместное использование физических адаптеров Ethernet осуществляется с помощью механизма передачи пакетов второго уровня (Layer 2 Packet Forwarder), который пересылает пакеты между физическими сетевыми адаптерами и логическими разделами. Совместное использование физических адаптеров Fibre Channel осуществляется путем выделения логических номеров LUN сети SAN и отображения их на клиентские логические разделы. ПО ввода-вывода ведущего логического раздела поддерживает связь по нескольким каналам, что позволяет защититься от сбоев каналов Fibre Channel между ведущим разделом и контроллерами устройств хранения SAN. Виртуальные тома организуются средствами менеджера логических томов AIX 5L LVM в ведущем разделе; в ведомых разделах эти тома становятся виртуальными дисками. Фактически ведущий раздел реализует target mode SCSI.

Компонент Virtual SCSI обеспечивает совместное использование устройств хранения данных.

Преимущество для микроразделов (SPLPAR):

• Устраняет лимит количества аппаратных адаптеров (слотов)
• Дает возможность создания разделов без выделения аппаратных ресурсов (слотов)

Рис. 2.6. Архитектура VSCSI сервера и клиента

Virtual SCSI основывается на клиент/серверной архитектуре. Виртуальные ресурсы присваиваются через HMC. Virtual SCSI позволяет совместно использовать адаптеры и диски. Возможно использование динамических операций

Динамическое преобразование между физическими и виртуальными ресурсами происходит на VIO сервере.

Рис. 2.7. Виртуальные устройства

Виртуальные устройства имеют следующие характеристики:¹⁴

• Определяются как логические тома (LV) в разделе VIO сервера
• Представляются как реальные устройства (hdisk) в клиентском разделе
• Управляются через LVM как обычные диски
• Могут быть загрузочными
• Могут совместно использоваться несколькими клиентами
• SCSI RDMA и Logical Remote Direct Memory Access

Использование Virtual SCSI подразумевает, что Virtual I/O Server выступает как хранилище, предоставляющее данные. Вместо кабеля SCSI или Fiber, соединение производится гипервизором. Драйверы Virtual SCSI обеспечивают то, что только раздел-хозяин данных имеет к ним доступ. Никакой другой раздел, даже сам VIO сервер не может получить доступ к этим данным. Через VIO сервер проходит только контрольная информация, а сами данные передаются непосредственно из PCI адаптера в клиентскую память.

Ограничения:

• Раздел VIO сервера должен быть стартован до загрузки клиентов
• Virtual SCSI поддерживаетFC, parallel SCSI и SCSI RAID.
• Максимум 65535 виртуальных слотов в разделе VIO сервера
• Максимум 256 виртуальных слотов в одном разделе
• Поддерживаются все обязательные SCSI команды
• Опциональные SCSI поддерживаются частично

Рекомендации по использованию:

• Разделы с высокими требованиями по производительности и дисковым операциям не рекомендуются как клиенты VSCSI
• Разделы с небольшими требованиями могут быть реализованы с минимальными затратами – выделение логических томов
• Загрузочные диски для ОС
• Web серверы, кэширующие большинство данных

Разделы с высокими требованиями по производительности и дисковым операциям  не рекомендуются как клиенты VSCSI. Разделы с небольшими требованиями могут быть реализованы с минимальными затратами им можно выделить логический том. Это обозначает, что количество разделов больше не ограничено аппаратным обеспечением. Однако, некоторые разделы могут иметь недостаточно производительные диски.

Наиболее подходящими  для VSCSI являются загрузочные диски  для ОС или Web серверы, кэширующие большинство данных.

Рассмотрим компонент LVM mirroring. Его конфигурация защищает виртуальные диски в клиентском разделе от сбоев

• Одного физического диска
• Одного физического адаптера
• Одного VIO сервера

Рис. 2.8. Конфигурация VIO серверов, зеркалирующая клиентские данные.

Клиентский раздел использует LVM mirroring своих логических томов, используя  два виртуальных SCSI адаптера. Каждый из этих адаптеров связан с отдельным VIO сервером. Два физических диска  подключены к разным VIO серверам и  доступны клиентскому разделу через серверный виртуальный SCSI адаптер.

Дадим характеристику последнему рассматриваемому компоненту - Multipath I/O. Его конфигурация защищает виртуальные диски в клиентском разделе от сбоев