Побудувати кластер який складається з двох комп'ютерів об'єднаних інтерфейсом Ethernet

Бажано оновити версію і налаштувати кожну систему BIOS. Потрібно підвести годинник BIOS, щоб вони показували один і той же час (похибку в 5 хвилин можна вважати нормальною). Більшість кластерних систем підтримують синхронний хід внутрішнього годинника автоматично, але для цього необхідно, щоб на самому початку вони йшли більш-менш однаково

На кожному  комп'ютері необхідно провести низькорівневе налаштування мережі за допомогою програми BIOS. Для того, що б включити інтегрований мережний контролер необхідно при запуску комп'ютера увійти в систему BIOS, на більшості комп'ютерів для цього необхідно натиснути кнопку Delete або F2. В BIOS-і необхідно перейти на вкладку «Onboard», у пункті «Onboard LAN» треба поставити значення «Enabled» - включено. (рисунок 3.3) Після потрібно зберегти внесені зміни (F10).

Апаратна частина  комп'ютерів налаштована і готова до подальшого налаштування кластеру.

Рисунок 3.3 - BIOS / Onboard

Підготовка  до встановлення ОС і ПЗ

Налаштувати мережу і безпеку кластеру можливо і  вручну, однак є більш прості способи  які дають результати швидше і вимагають менших витрат часу та знань, один з них - це скористатися якою-небудь системою установки й настроювання кластера. На даний момент однією з найбільш популярних систем подібного роду є пакет Rocks.

Як вже було зазначено Rocks визначається – пакет розгортання, управління та підтримки кластера. З його допомогою можна встановити кластер на місці, маючи в наявності одно лише апаратне забезпечення. Пакет містить засоби для запуску паралельних програм і програми для підтримки і розширення кластера після його первісної установки.

Пакет розповсюджується абсолютно  безкоштовно у вигляді набору ISO-образів, які потрібно записати на кілька CD або один DVD диск. Потім необхідно  запустити DVD чи CD на комп'ютері, який стане  головним вузлом. Подальші дії схожі зі стандартною установкою Linux [5], майстер установки ні чим не відрізняється. Після відповіді на мінімальну кількість питань, майстер почне встановлювати все необхідне для роботи головного вузла. Останнім кроком перед перезавантаженням буде процедура insert-ethers, яка додає інші

комп'ютери в  якості обчислювальних вузлів. Щоб  додати обчислювальний вузол, потрібно завантажити його з мережі, і він  буде доданий у кластер і налаштований автоматично. Після додавання останнього вузла, вийде функціонуючий кластер, придатний для запуску паралельних програм.

У даному випадки нумерація  ОР не складна і не так важлива  через те, що кластер складається  з двох комп'ютерів, але необхідно  знати, що при підключенні обчислювальних вузлів, система Rocks нумерує їх у вигляді compute-XY, де X - номер стійки, а Y - номер ПК усередині даної стійки. Наприклад, кластер складається з 32 вузла в 4 стійках. Тоді, якщо слідувати угодою іменування Rocks, спочатку піде стійка 0. Вона містить головний вузол, тому нумерація обчислювальних вузлів в стійці буде від compute-0-0 до compute-0-6. Наступна стійка 1 буде містити вузли від compute-1-0 до compute-1-7, стійка 2 - від compute-2-0 до compute-2-7 і так далі.

Але є ще один спосіб - можна вважати, що всі комп’ютери розташовані в одній стійці, тоді нумерація обчислювальних вузлів буде від compute-0-0 і до compute-0-31.

Далі необхідно  завантажити образ дистрибутиву Rocks, який найкращим чином підходить  до комп'ютерів вашого майбутнього  кластеру. Прямуємо на веб-сайт Rocks (www.rocksclusters.org), далі у вкладку Download вгорі сторінки – там зберігаються різні версії дистрибутива. На момент написання цього курсового проекту останньою версією була 5.4. У моєму випадку був обраний образ x86-64 Jumbo DVD. Потім потрібно записати його на чистий DVD. На тому ж сайті можна знайти і документацію.

Покрокове встановлення ОС та налаштування кластеру

Тепер, коли все  готово розглянемо покрокову установку  і настройку кластеру.

Необхідно завантажити  комп'ютер який надалі стане головним вузлом в кластері і вибрати джерело встановлення – оптичний привід, помістіть туди записаний DVD-диск дистрибутив Rocks.

Після того як на екрані з'явиться  фраза «Press any key to from CD ...», натисніть будь-яку клавішу на клавіатурі, після чого на екрані повинно з'явиться початкове меню установки Rocks (рисунок 3.4).

 

Рисунок 3.4 - Вітальний екран Rocks

Для початку  установки необхідно у полі boot: ввести рядок build, тоді запуститься майстер установки ОС. Система почне завантажуватися як звичайний Linux, після чого користувач побачить екран початкового налаштування Rocks (рисунок 3.5).

Рисунок 3.5 - Екран налаштування Rocks

Пакет Rocks складається  з набору "ролів" (rolls). Деякі роли є невід'ємними центральними частинами (Base Roll, OS Roll, Kernel Roll і Web Server Roll). Інші забезпечують кластерні функції (SGE Roll, Java Roll, HPC Roll і Ganglia

Roll). Нарешті,  роли можуть містити прикладні  програми (наприклад, Bio Roll). Кожен такий рол задокументований, і ви самі для себе можете вирішити, чи потрібен він у вашому майбутньому кластері чи ні. Комерційна версія пакету Rocks – Rocks від компанії Clustercorp, містить додатковий інструментарій, в тому числі комерційні компілятори від Absoft, Intel і Portland Group, а також відладчик TotalView.

У дистрибутиві Jumbo DVD всі компоненти вже є на диску, тому потрібно в наступному віконці  натиснути кнопку CD / DVD-Based Roll. Після  цього з'явиться список окремих  компонентів, які можна встановити з DVD (рисунок 3.6).

Рисунок 3.6 - Екран вибору ролів

Для неспеціалізованого кластера необхідно вибрати всі компоненти, крім біологічних програм (Bio) і засобів віртуалізації (Xen). Якщо потрібна мінімальна установка, то необхідно встановити - Base, Web Server, Kernel і OS. Після вибору, потрібно натиснути кнопку Submit.

Ще раз з'явиться  попередній екран, на якому вже буде відображений останній вибір конфігурації. Якщо вибір остаточний, натискайте Next для переходу до перших адміністративних етапів установки. Якщо необхідно внести зміни і до встановити будь-який компонент, натискайте знову CD/DVD-Based Roll і робіть вибір.

У процесі проходження всіх етапів, процедура установки збирає невелику базу даних MySQL, в яку записує всі докладні налаштування вашого кластеру. Багато системні файли (наприклад, / etc / hosts) створюються як результат SQL-запитів з цієї бази даних. Якщо згодом буде потрібно змінити налаштування системи, необхідно буде скористатися спеціальними засобами Rocks, які спочатку змінюють базу даних, а потім виконують процедури оновлення системних файлів. Це значно зменшує ймовірність помилитися при налаштуванні кластеру. Хоча і можна редагувати ці автоматично створені системні файли, але цього робити не рекомендується, тому що під час наступної відпрацюванні засобів настроювання Rocks ваші зміни будуть перезаписані.

На наступному екрані (рисунок 3.7) можна ввести інформацію про свій кластері. Якщо кластер з'єднаний з корпоративною мережею, необхідно ввести повне доменне ім'я головного вузла. Назва кластера, яке потрібно ввести в поле Cluster Name, буде фігурувати на екранах управління кластером в процесі його роботи. Коли ви переконаєтеся, що все запровадили вірно, натисніть Next. Далі йде настройка з'єднання з мережею головного вузла (eth0).

Рисунок 3.7 - Інформація про кластері

На наступному кроці (рисунок 3.8) потрібно налаштувати внутрішню мережу кластеру. У процесі установки інтерфейсу eth0 головного вузла автоматично призначається IP-адреса 10.1.1.1. Ця підмережа належить до діапазону приватних адрес, тому навряд чи доведеться її міняти. Однак якщо в мережі вже є підмережа виду 10.1.XX, то потрібно змінити запропоноване налаштування на що-небудь інше, що не буде конфліктувати з існуючою мережею. Натисніть Next, щоб перейти до екрана налаштування публічної

мережі головного  вузла.

Рисунок 3.8 - Налаштування мережі

На рисунку 3.9 показана настройка "публічного" з'єднання головного вузла - це його з'єднання з іншими комп'ютерами корпоративної мережі. Публічному з'єднанню повинен бути підтверджено статичною IP-адресою. У цьому випадку публічна мережа має вигляд 192.168.0.X з маскою 255.255.255.0. Треба переконатися, що публічна IP-адреса, яка призначається головному вузлу, не буде конфліктувати з іншими серверами і робочими станціями. На наступному екрані (рисунок 3.10) вказані IP-адреси шлюзу за замовчуванням і DNS-сервера для головного вузла.

Рисунок 3.9 - Налаштування публічної мережі головного вузла

Рисунок 3.10 - Шлюз головного вузла і налаштування DNS

На наступному екрані (рисунок 3.11) потрібно буде ввести пароль користувача root, вибрати часову зону (рисунок 3.12) і вказати NTP-сервер, з яким буде синхронізуватися головний вузол.

Рисунок 3.11 - Пароль користувача root

Рисунок 3.12 - Часова зона і NTP-сервер

Годинники всіх комп'ютерів кластеру повинні бути синхронізовані як можна більш точно. Цю проблему повністю вирішує протокол NTP (Network Time Protocol). Головний вузол синхронізує свій час з одним з публічних NTP-серверів, і в той же час служить сервером часу для ПК в локальній мережі кластеру. Якщо час на ПК йде занадто повільно або, навпаки, занадто швидко, демон NTP злегка прискорить або сповільнить хід годинника, таким чином на всіх машинах кластеру забезпечується однаковий системний час.

Останнім екраном  процесу установки буде екран  розбиття диска на розділи. Можна  розбити диск автоматично, або вручну. Якщо вибрати автоматичне розбиття, процедура встановлення розіб'є  диск наступним чином:

Таблиця 3 Розмітка диска

 

Розділ	Розмір
/	16 Гб
/var	4 Гб
swap	Скільки ОЗУ  на головному вузлі
/export (aka /state/partition1)	Весь залишившийся диск

 

Якщо на головному вузлі  декілька дисків, і потрібно перерозбити  диск по-іншому, вибирайте Manual Partitioning. Відкриється стандартний (Red Hat) екран розбиття диска, де можливо розбити диск як необхідно (але як мінімум потрібно 16 Гб на кореневий розділ «/», а також потрібно створити розділ «/ export»). При натисканні Next, розпочнеться автоматична частина установки (рисунок 3.13). По завершенні установки головний вузол перезавантажується, і система відобразить на екрані вітання користувача (рисунок 3.14).

Рисунок 3.13 - Установка Rocks

Рисунок 3.14 - Вхід в систему

Необхідно виконати вхід в систему під обліковим записом root і почекати дві-три хвилини. Цей час потрібний для завершення фонових процедур, доналаштовують кластер. Потім запустіть сесію терміналу (рисунок 3.15), далі потрібно приступити до додавання вузлів у кластер.

Рисунок 3.15 - Термінал користувача root

Тепер все готово до процедури додавання вузлів у  кластер. У Rocks для цього є команда insert-ethers. У неї чимало опцій, але  в даному випадки просто потрібно скористатися основною функцією додавання  вузлів у кластер. Після виклику  команди з'явиться екран, як на рисунку 3.16.

Рисунок 3.16 - Працює програма insert-ethers

Все, що може бути підключено до мережі, Rocks визначає як "пристрій" (appliance). Якщо щось відповідає на мережеву команду, то це пристрій.

У нашому випадку  з пристроїв будуть тільки обчислювальний вузол. На попередньому екрані (рисунок 3.16) вже вибрано Compute, тому вибирайте кнопку OK і натискайте Enter. З'явиться порожній список, заповнений іменами і MAC-адресами вузлів, список буде поповнюватися в міру їх додавання.

Настав час  запустити перший обчислювальний вузол. Після очищення диска, в більшості  випадків система буде виробляти PXE-завантаження з мережі. Якщо у вас є KVM-перемикач, можна зайти на консоль цього вузла і своїми очима побачити процес мережевий завантаження. Коли обчислювальний вузол запитує IP-адресу для свого інтерфейсу eth0, його MAC-адресу відобразиться у списку Inserted Appliances головного вузла (рисунок 3.17).

Рисунок 3.17 – Список встановлених пристроїв (розміщений перший вузол)

Процедура insert-ethers виводить прийняті MAC-адреси і відповідні імена вузлів. Коли вузол почне  викачувати свій образ (рисунок 3.18), пусте місце «()» заповниться зірочкою «(*)».

Рисунок 3.18 - Запуск першого вузла

Аналогічним чином  потрібно запустити всі інші обчислювальні  вузли.

Коли останній вузол кластера перезавантажиться в кінці процесу завантаження, потрібно натиснути клавішу F8 на головному вузлі, і установка буде закінчена.

Тестування кластеру

Тепер кластер  встановлений і готовий до роботи. Далі необхідно швидко перевірити працездатності кластеру. Насамперед потрібно скористатися функції cluster-fork. Вона дозволяє запускати один і той же додаток на всіх вузлах або підмножині вузлів кластера. На рисунку 3.19 показаний результат виконання команди uname з допомогу cluster-fork.

Рисунок 3.19 - Запуск uname через cluster-fork

При першому виклику система  додає вузли кластера в списки дозволених хостів. У наступні рази виклик буде просто виконувати необхідну  програму. Як видно з рисунка, всі вузли кластера «живі» і готові до роботи.