NVIDIA Tesla в blade

IBM анонсировал специальное лезвие с NVIDIA Tesla внутри - BladeCenter GPU Expansion Blade. Вернее это даже не лезвие, а дополнительный модуль, который подключается к стандартному лезвию (на текущий момент поддерживается только HS22). Внутри установлена одна плата NVIDIA Tesla M2070 или M2070Q:

Благодаря возможности стекирования, к одному лезвию HS22 можно подключить до 3х модулей с теслами. Тем самым, в одно шасси можно уставить до 10ти тесл и получить в свое распоряжение почти 4.5 тысячи ядер и 5Tflops. В случае необходимости использовать CFFh карту расширения, она должна быть поставлена в самый “верхний” модуль GPU Extension.

Модули GPU Extension поддерживаются в шасси BC-E (только с блоками 2320W), BC-H и BC-HT. Отгрузки начнутся в середине декабря.

Читать дальше ...

IBM HS22V – лезвие для виртуализации

9го февраля IBM анонсировал новое лезвие HS22V. Название недвусмысленно намекает на то, что прицелом является виртуализация. Действительно, основное отличие от HS22 (которые уже заняли основную нишу в блейдах IBM), состоит в наличии 18 (а не 12ти) слотов под память. А память является, как известно, наиболее востребованным компонентом при внедрении виртуализации серверов – процессорной мощности зачастую бывает много, а памяти почти всегда не хватает.

Вместо двух hot-swap дисков предлагается использовать пару фиксированных 1.8” 50GB SSD дисков (поддерживается RAID-0 и RAID-1). Желающие могут добавить аппаратный RAID с батарейкой (впрочем, не думаю, что для данного лезвия это будет хоть как-то востребовано). Также уже традиционно присутствует разъем для USB накопителя с предустановленной Vmware ESXi (3.5 или 4). Что касается плат расширения, то здесь все осталось без изменений по сравнению с HS22. Базовые модели лезвий используют процессоры X5570 и E5540, можно также заказывать вариант с процессорами E5506 (но массово он поставляться не будет).

Для виртуализации весьма удобно использовать Virtual Fabric Adapter, про который я уже писал. Для тех, кому актуально использование FibreChannel, но уже есть прицел на FCoE и/или 10Гбит также есть хорошее решение - Virtual Fabric Extension Module.

Начало отгрузок HS22V планируются на 16е марта. Кроме того, в интернет просочилось название нового лезвия на процессорах Nehalem EX  - HX5. Предполагается поддержка 4х процессоров на собственном чипсете eX5. Напомню, что текущую серию процессоров Xeon MP в лезвиях IBM не встретить – аргументом было повышенное энергопотребление и тепловыделение. А на Youtube давно уже можно найти совместный рассказ IBM и Intel о готовящемся чипсете и апдейте линейки 3850M2/3950M2.

Читать дальше ...

FCoE удобнее и компактнее

Строить FCoE уже давно можно – все для этого есть: и адаптеры в серверы, и коммутаторы. Наибольший интерес к FCoE можно ожидать при использовании Blade-решений, так как возможности по установке плат расширения зачастую ограничены. Но цена вопроса все еще довольно высока, особенно учитывая то, что для подключения дисковых систем в большинстве случаев требуется использовать не только 10Gbit коммутационные модули в шасси, но и FCoE коммутаторы с FC портами, либо строить отдельную FC инфраструктуру. Для того чтобы упростить ситуацию, IBM анонсировал для шасси BladeCenter H модули Virtual Fabric Extension. Этот модуль подключается через мид-плэйн к коммутатору BNT Virtual Fabric 10 Gb Switch и позволяет использовать FC порты без необходимости установки дополнительных FC HBA плат в сами лезвия:

В лезвия достаточно установить по одному двухпортовому CNA адаптеру Qlogic, а в шасси – различные по количествам вариации из 10Gb коммутаторов BNT и модулей Virtual Fabric Extension. В максимальной конфигурации поддерживается 2+2 модуля (как на рисунке выше); в минимальной - 1+1 (без отказоустойчивости и задействован только один порт на CNA); кроме того, возможен вариант, когда к двум 10Gb коммутаторам подключен только один модуль Virtual Fabric – это обеспечивает максимальное число внешних портов 10Гбит (16шт).

Virtual Fabric Extension Module может работать как в режиме Full Fabric, так и в режиме NPIV, что обеспечивает дополнительную гибкость конфигураций. Дополнительно хочется отметить, что все “высокоскоростные” прелести  доступны только в шасси BladeCenter H (или HT для телекома), поэтому именно это шасси и имеет смысл рассматривать если есть хоть малейшие перспективы для использования 10Gb.

Читать дальше ...

IBM BladeCenter Virtual Fabric

У HP есть замечательные коммутаторы для 7000го и 3000го шасси - HP Virtual Connect Flex-10.  “Замечательность” данного продукта состоит в том, что он позволяет создавать до 4х виртуальных FlexNIC на каждый 10Гбит порт, при этом, пропускная способность каждого FlexNIC может быть выбрана нужная пользователю (с шагом 100Мбит). Такое решение замечательно подходит для виртуальных сред (vSphere, Hyper-V), где крайне желательно иметь больше обычных двух сетевых линка на сервер-лезвие.

До недавного времени IBMу было фактически нечего предложить “в отместку”, но ситуация меняется и для BladeCenter-H/HT анонсировано решение IBM BladeCenter Virtual Fabric, базирующееся на коммутаторах BNT 10-port 10Gb Ethernet Switch Module, картах Emulex Virtual Fabric Adapter (которые могут быть установлены например в лезвия HS22) и BladeCenter Open Fabric Manager (через который осуществляется управление). Коммутатор имеет 10 внешних 10Гбит портов, за счет чего меньший oversubscription нежели у HP – 14:10 у IBM против 16:9 у HP. Каждый 10Гбит канал от сервера к коммутатору также может быть разделен на 4 виртуальных и тоже с шагом 100Мбит. Так как и коммутатор, и адаптер готовы к поддержке FCoE, то немного позднее можно будет наряду с vNIC использовать и FCoE для подключения к СХД.

Указанное решение позволяет получить отличную платформу для развертывания виртуальных сред, а также позволяет подготовится к явно грядущему наступлению FCoE.

Читать дальше ...

Обновление компонент IBM BladeCenter

Лезвия

Я описывал процедуру обновления здесь.

AMM модуль BladeCenter

Все просто, скачивается с нужного раздела сайта IBM и заливается через раздел “MM Control – Firmware update” веб интерфейса собственно AMM. Обновлять стоит, с ростом версии хорошеет IPMI и прочие мелочи.

FC Brocade

Проверялось на p/n 32R1819.

1. Через сайта IBM скачивается необходимая версия прошивки. Там будет редирект на сайт broacde.
2. Перед прошивкой - разархивировать до состояния папки, корневой папкой для прошивки считается самый верхний каталог из архива с большим количеством папок/файлов.
3. Прошивать лучше подключаясь через ssh/telnet
4. Листинг кода
   brocade4Gb:USERID> firmwaredownload
   Do you want to continue [Y]: y
   Server Name or IP Address: 192.168.150.52 // IP сервера FTP сервера где лежит прошивка.
   User Name: user
   File Name: /v5.2.2 /v5.2.2/release.plist
   Password: ****
   Firmwaredownload has started.

Комментарии:

• Файла release.plist в этом каталоге реально нету. т.е. указываем путь к корневому каталогу с прошивкой, и приписываем к нему имя этого файла. Несмотря на реальное отсутствие файла в файловой системе, все нормально перешьется.
• Обновлять прошивки надо в таком порядке: 5.0.5 - 5.2.2 - 5.3.1 -6.0.1a - 6.1.0
• После обновления первичной прошивки и перезагрузки свитча, начинается процесс обновления вторичной прошивки. Это происходит в фоновом режиме и требует какого то времени (10-15 мин). Состояние этого процесса можно отследить командой "firmwaredownloadstatus" в течении этой подгрузки загрузить новую версию не получится, будет выдаваться ошибка.
• От версии к версии может меняться способ заливки прошивки на систему, я всегда пользовался FTP. Если что то меняется, то об этом наглядно пишется в консоли. У меня сложностей не возникало. Наиболее простой с моей точки зрения вариант FTP сервера – FileZilla. 

FC Cisco

Проверялось на p/n 39Y9281.

• Инструкция по обновлению http://www.cisco.com/en/US/docs/storage/san_switches/mds9000/sw/san-os/upgrade/guide/upgrade.html
• Прошивка с сайта IBM перенаправляет на CISCO, оттуда ничего не скачать без платного аккаунта. Прошивку можно вытряхнуть из IBM суппорта если крепко сесть им на шею. Отдают спокойно, но не с первого раза.
• Также можно скачать здесь для авторизации используем:
  login: ibmssg
  pass: storage

Eth BNT (Nortel)

Проверялось на p/n 32R1866.

• Идеология такая: есть 3 банка (1,2 - независимые ОС, 3 - загрузчик). Процесс обновления для разных версий критически различается. Сначала смотрим версию - затем думаем - затем шьем.

Апдейт с версий ранее 1.2.5.1 до 1.2.5.1
Листинг:
1. #/boot/gtimg X TADDR GbESM-AOS-1.2.5.1_OS.img
2. #/boot/image X
3. #/boot/reset
4. (reboot)
5. #/boot/gtimg boot TADDR GbESM-ABoot-1.2.5.1_boot.img
6. #/boot/reset
7. (reboot)

Апдйет версий старше 1.2.5.1
Листинг:
1. #/boot/gtimg X TADDR GbESM-AOS-1.5.1.0_OS.img
2. #/boot/image X
3. #/boot/gtimg boot TADDR GbESM-AOS-1.5.1.0_boot.img
4. #/boot/reset
5. (reboot)

В 2-х абзацах выше
X - имя прошиваемого банка [image1 | image2]
TADDR - ip адрес сервера TFPT
*.img - файлы с прошивками

Комментарии:

• Шить через telnet.
• Несмотря на указанную возможность использования FTP использовать только TFPT.
• Скачать прошивку 1.2.5.1 просто так нельзя. На сайте IBM указателя на неё - нету. Нужна она для апдейта старых версий. http://www.bladenetwork.net/media/ZIPs/GbESM-AOS-1.2.5.1.zip
• Для скачки чего либо с www.bladenetwork.net необходимо зарегится и зарегить свой продукт (иначе доступа не будет). Для этого нужен его серийник который можно посмотреть через #/info/sys/general - в консоли.
• Краткое пояснение команд
  #/boot/gtimg - загрузка прошивки с TFPT в 1-ый или 2-ой банк памяти
  #/boot/image - выбор с какого банка грузится следующий раз
  #/info/sys/general - инфа о системе
  #/boot/cur - просмотр текущих версий прошивок

Eth Cisco

Проверялось на p/n 32R1894.

Листинг:
>enable
#archive download-sw tftp://<xxx.yyy.zzz.aaa>/<image>
#reload

Комментарии:

• Полное название CIGESM
• Наименование прошивки - cigesm-i6q4l2-tar.121-22.ea12.tar
• Разархивировать – не надо.
• В текущей версии прошивки (show version) должно быть четко указано название железки (от начала файла до первого тире).

• На сайте IBM к блэйду можно найти не только cigesm но и 3*** серию. причем, что это 3*** говорится далеко не сразу можно не заметить. определяем по названию файла. прошивка сливается с сайта IBM из суппорта раздел Networking по BladeCenter.
• Прошивка делается с TFTP.
• Подключаться к свитчу обязательно через COM порт.

Читать дальше ...

ПО для обновления прошивок х86 систем от IBM

Для х86 систем IBM (сервера xSeries стоечные и лезвия) существует огромное количество разных прошивок для внутренних компонент: BIOS, bmc, diagnostics, SAS, FC, network. Некоторые прошивки могут быть нужны в одних системах и не нужны в других, в зависимости от комплектации сервера. В итоге получается что на какое-нибудь лезвие сервер HS21 потенциально существует около 15 актуальных прошивок для разных компонент.

Сложность обновления вырастает достаточно сильно, поскольку зачастую чтобы обновить отдельную компоненту сервера нужно загрузиться со специального iso образа для обновления конкретно этой компоненты. В итоге обновление обычного сервера требует 8-10 разных образов с прошивками и соответственно 8-10 перезагрузок. Получается что нужно потратить минут 30 постоянно меняя образа и перегружая сервера. Удовольствие серьезно ниже среднего.

Специально для того чтобы не тратить такое дикое количество времени на рутинную работы, в IBM сделали утилиту которая умеет собирать один образ содержащий все нужные обновления сразу.

Сначала несколько слов как он работает. Сначала Вы скачиваете эту самую волшебную утилиту, которая называется “UpdateXpress System Packs Installer”, есть версии под windows, linux. Затем запускаете её на машине где будут собираться все образа с обновлениями. Утилита как таковая не устанавливается, а просто запускается скачанный с интернета файл. Если нужно не просто скачать обновления, а сделать из них загрузочный образ выбираем на стартовом экране “ToolsCenter Bootable Media Creator”. После запуска пойдет пошаговый мастер. На шаге “Acquire Location” имеет смысл выбрать “Latest available individual updates” этот пункт позволит апдейтить не полными паками (UpdateXpress System Packs), а собирать последние версии прошивок, это актуально поскольку отдельные прошивки обновляются чаще. Дальнейшие шаги достаточно ясны и интуитивно понятны, нужно выбрать тип машины.

После работы утилиты на выходе получается iso образ, его можно подмонтировать через IPMI либо записать на диск и использовать локально. После загрузки сервера с этого диска - дальнейшее понятно. Можно выбирать отдельные обновления для установки или выбрать все записанные на диск обновления. Процесс займет какое то время, но не требует вмешательства администратора. После окончания процесса будет выведен список произведенных обновлений и их статус.

Ссылки по теме:
PDF с описанием
Ссылка на страничку откуда скачивается утилита
Страница на IBM со ссылками по теме

Читать дальше ...

BladeCenter L2-L3 Ethernet Switch

В шасси можно включить три типа (по большому счету) 1GB свитчей:

1. BNT 2L/7L, BNT 2L/3L бывшие Nortel, после банкротства называются BNT (Blade Network Technology). Лист-прайс на сегодня 12 000 USD и 2 350 USD соответственно. Как можно догадаться из названия – один свитч умеет управлять до 7-го уровня, второй до 3-го.
2. Cisco Catalyst 3012 / 3110G / 3110X – стоят 5 625 / 9 713 / 14 680 соответственно.
3. IBM Connectivity module – стоят около 1700 USD.

Управляемыми являются только представители 1 и 2-ой групп, поэтому, как нетрудно догадаться, в ситуации когда хочется денег сэкономить, но при этом какую-то конфигурацию на свитчах нужно настроить, покупается свитч BNT 2/3L. Он получается самым дешевым управляемым свитчем 2-го, 3-его уровня.

Надо сказать, что в BladeCenter очень любопытная система внутренней сетевой коммутации и свитч  BNT 2/3L в неё включается путем ввода в него определенных ограничений. Про принцип работы этой внутренней сети я постараюсь написать позже.

Особенности же работы Nortel 2/3 связанные с наличием внутренней сети Bladecenter’а и I/O модулей следующие:

1. Есть 2 внутренних порта MGT1 и MGT2 оба порта имеют скорость – 100 Мбит, в отличие от остальных у которых скорость 1000 Мбит.
2. Имеется VLAN 4095 в который включены эти 2 порта.
3. Имеется IP интерфейс который находится в VLAN 4095, причем его адрес задается через AMM Bladecenter’а.
4. Если посмотреть снаружи MAC адреса всех IO модулей и AMM Bladecenter’а то он у них будет одинаковый и будет совпадать. А если сделать туже самую процедуру изнутри одного из BNT Switch, то он свой MAC будет видеть нормально, а MAC адреса других I/O модулей – видеть одинаковыми.

полезные ссылки про NBT 2/3 (ранее Nortel 2/3L):
http://www.bladenetwork.net/ibm-bladecenter-1.html - собственно сайт BNT (Blade Network Technology) именем которых и называется теперь Nortel 2/3, ссылка на раздел про IBM.
http://www.bladeswitching.com/modules.php?name=Forums&file=viewforum&f=13 – форум по поддержке на BNT.com
http://www.redbooks.ibm.com/redpapers/pdfs/redp3586.pdf – RedBook Nortel Networks L2/3 Ethernet Switch Module for IBMEserver BladeCenter
https://www.ibm.com/developerworks/forums/forum.jspa?forumID=819&start=0 – IBM BladeCenter Forum
http://www.thetollygroupinc.com/TVDetail.aspx?ProductID=296 – сторонняя сертификация функций Nortel 2/3
http://www.redbooks.ibm.com/redbooks/pdfs/sg247523.pdf - RedBook IBM BladeCenter Products and Technology
http://www.redbooks.ibm.com/abstracts/tips0689.html?Open - BNT Layer 2/3 Copper and Fiber Gigabit Ethernet Switch Modules for IBM BladeCenter
http://www.redbooks.ibm.com/abstracts/tips0597.html?Open - Nortel Networks L2/3 GbESM Layer 2 High Availability Enhancements – L2/3 Switch Software Version 1.1

Читать дальше ...