Сколько должно быть разъемов на контроллере?

Наболело! Чуть ли не каждый день вижу вопросы такого плана: “В сервер можно поставить 16 (24) жестких диска, а SAS RAID контроллер у меня только 8-ми (или того хуже 4х) портовый! Что мне делать? Это наверное ошибка в конфигурации?!”. Ну что на это можно сказать? Может быть это конечно и ошибка, но скорее всего нет. Как же так? А все очень просто: SAS это протокол последовательной передачи данных и поддерживающий коммутацию. Если Вам нужно к серверу подключить 7 рабочих станций, Вы же не ставите в сервер 7 сетевых карт, а используете коммутатор на 8 портов, который позволяет всем машинам получить доступ к серверу. Точно также и в данной ситуации: либо в самом корпусе (прямо на бэкплейне), либо в виде отдельной карты присутствует аналог этого самого коммутатора. Только в данном случае он называется SAS-экспандером и позволяет подключить к RAID контроллеру гораздо больше дисков, чем есть SAS линий на самом контроллере. Наиболее распространены экспандеры на базе чипов LSI: LSISASx28, LSISASx36 или LSISAS2x36 (для 6Gbps SAS). В частности, на бэкплейнах в корпусах Supermicro используются экспандеры именно LSI. Отдельные карты с экспандерами также существуют, например в России проще всего найти их среди продукции компании Chenbro.

На рисунке – возможная схема подключения с двумя RAID контроллерами для отказоустойчивости к дискам через экспандер. Правда, надо сказать что это довольно специфичная конфигурация, которую мы обычно наблюдаем во внешних дисковых системах, в серверах же используется более простая схема, в которой нет ни второго контроллера, ни второго экспандера.

Вот вроде бы и разобрались – для подключения 24х дисков вовсе не нужно 24 порта на контроллере, достаточно и 4х (так как обычно именно 4 SAS линии используется для соединения контроллера с экспандером). А используя контроллер с 4мя внутренними портами и 4мя внешними можно не только задействовать (при использовании экспандера все диски в сервере, но и обеспечить возможность дальнейшего увеличения дисковой подсистемы за счет добавления внешней дисковой полки (JBOD).

Но сразу возникает несколько новых вопросов: “А нужно ли использовать экспандер? Может быть он так замедляет работу, что от него надо отказаться? У меня целых 24 (а то и еще больше) диска подключено только по 4м линиям SAS – наверное это будет очень медленно?”.

Попробуем найти ответы. Начнем с конца: 4 SAS линии по 3Gbps дают в сумме 12Gbps, а это целых 1.5 Гига-байта в секунду. Можно ли реально достичь такой пропускной способности? В принципе можно, но (а) нужно помнить, что наверное с этим потоком нужно еще что-то делать, а не просто читать или писать и (б) дисков для этого потребуется (даже при благоприятном стечении обстоятельств) заметно больше десятка. А если учесть, что при типичной работе сервера запросы к дисковой подсистеме идут в значительной степени случайные, то полосы пропускания в 12Gbps оказывается вполне достаточно – можете проверить сами на любом своем сервере, запустив perfmon (под Windows) и посмотрев на трансфер с дисков во время работы. А что до возникновения дополнительных задержек при использовании экспандеров, то они конечно есть, но “поймать” (измерить) их Вам не удастся – настолько они малы по сравнению с задержками при обращении к жесткому диску. Есть и еще один аргумент, чтобы не бояться экспандеров – в RAID-контроллерах, где количество портов больше 8, зачастую это объясняется именно наличием интегрированного на плате экспандера – например Adaptec 51245, 51645, 52445. Так что по сути, делая выбор в пользу многопортового контроллера, Вы просто приобретаете SAS экспандер на одной плате с контроллером.

Итак, использование SAS экспандеров не только не противопоказано, а вполне оправдано в подавляющем большинстве случаев!

Читать дальше ...

Supermicro SuperServer 6016T-NTF

Новая одно-юнитовая платформа для CPU Nehalem на базе системной логики intel 5520, Supermicro SuperServer 6016T-NTF.

Вид сзади. Разъемы PS/2, IPMI network, USB, RS-232 COM, VGA, network.

На передней панели системы располагается кнопка идентификации платформы при нажатии, на которую сзади платформы загорается диод-идентификатор. Рядом с ней на передней панели диоды: идентификации (такая же кнопочка как спереди есть и сзади), сетевой активности, дисковой активности, питания. Кнопки перезагрузки и включения.

Высота системы 1U. Материнская плата Supermicro Super X8DTU-F. Спереди располагается четыре отсека для съемных дисков 3,5 дюйма, с другой стороны они подсоединены в корзину без экспандера. Корзина поддерживает горячую замену дисков. Диски могут быть SAS или SATA 3,5 дюйма. С помощью набортного RAID контроллера Intel ICH10R, SATA диски могут быть организованы в RAID 0, 1, 5, 10. Корзина поддерживает также и SAS диски, в случае необходимости их использования нужно добавить внешний PCIe контроллер.

Платформа со снятой крышкой. На внутренней стороне крышки изолированные вставки над компонентами, которые теоретически могут задеть крышку. Сделано во избежание короткого замыкания.

Снятый пластиковый кожух для оптимизации воздушного потока. Кожух сделан с вертикальными бортиками, которые имеют прорези в местах, где кожух пересекает радиаторы и прочие выдающиеся по вертикали компоненты.

В передней части корпуса расположены 4 маленьких вентилятора (40х56 мм, 4 пин, управляемые) обдувающих саму плату, ЦП и память. В правой части вместо них стоят пустые заглушки, поскольку там не расположено горячих компонент. Если в платформе размещать платы расширения, то рекомендуется заменить эти заглушки на вентиляторы, поскольку платы располагаются как раз за ними.

Видно, что на raiser располагаются 2 порта PCIe по 8 линий каждый. Возможна установка полноразмерных по высоте и длине плат. Это могут быть дисковые контроллеры, сетевые адаптеры или другие поддерживаемые платы PCIe.

На плате 2 разъема для CPU - Quad-Core Intel Xeon®Processor 5500 (Nehalem-EP). Поддерживается до 96 GB 1333/1066/800MHz DDR3 ECC Registered memory или до 24 GB 1333/1066/800MHz DDR3 ECC Unbuffered memory. Слева внизу расположен чип, обеспечивающий два сетевых порта из трех (если посмотреть на платформу сзади, это два правых порта).

Как было видно на фото выше в системе по умолчанию 4 вентилятора, еще 2 могут быть добавлены при необходимости. Они оборудованы резиновыми шайбами, для снижения вибрации платформы и общего уровня шума.

Заглушка, стоящая на месте двух самых правых, если смотреть сзади, вентиляторов. Также оснащена резиновыми шайбами.

 

На фото логика платформы: Intel 5520 реализующий основную логику (красная рамка), Intel ICH10R в качестве набортного RAID контроллера (синяя рамка) и чип BMC с IPMI (желтая рамка). Также видны два полнофункциональных USB порта (оранжевая рамка).

В системе один блок питания, расположенный на фото - слева. Для замены блока питания необходимо разобрать всю платформу и открутить крепежные винты. Быстрой замены блока питания не предусмотрено. В конце блока питания внутри платформы расположен пластиковый кожух, скрывающий провода, чтобы они не мешали потоку воздуха.

Снят кожух, закрывающий провода питания. Видна коммутация линий питания в плату с одной стороны и в дисковую корзину с другой.

Внешний вид радиатора под CPU для данной платформы.

Комплект поставки. Инструкция к плате, диск с ПО, рельсы для монтажа в шкаф и крепежные элементы, шнур питания, набор для монтажа Floppy, набор для монтажа CD-ROM, крепежные винты. Что любопытно на плате порта для Floppy не предусмотрено, куда подключать - неясно.

Читать дальше ...

Supermicro 6026TT-IBXF

Новая платформа Supermicro 6026TT-IBXF.

В платформе используются четыре независимых вычислительных модуля, с общим электропитанием. Здесь конфигурация с одним из двух возможных БП.

Все модули вставлены вид сзади. У каждого модуля свои отдельные сеть, VGA, USB.

Кнопки включения питания расположены для каждого сервера в отдельности.

Целиком вынутый модуль.

Все модули-сервера вынуты. В системе остались только вентиляторы и корзина с дисками.

Каждый модуль можно оснастить двумя высокопроизводительными процессорами Nehalem-EP. Ограничение для процессоров – термопакет, он не должен превышать 100W, но почти все процессоры удовлетворяют этому требованию.

На каждый модуль приходиться по 3 SATA диска. Этого достаточно для организации отказоустойчивого массива под систему. Жесткие диски связаны с конкретными модулями-серверами по слотам.

С памятью никаких необычных решений. Все штатно согласно функционалу чипсета, Intel 5500 (Tylersburg), 3 канала на процессор. На каждое лезвие максимально можно установить либо 48 Гб DDR3 ECC Registered DIMM, либо 24Гб Unbuffered. Частота 1333/1066/800 MHz.

В каждый модуль интегрирован IPMI, что упрощает управление сервером, позволяя полностью контролировать его через LAN. Так же на плате уже распаян Mellanox ConnectX DDR Infiniband 20Gbps Controller, наружу выведен разъем QSFP. Infiniband дает возможность организации быстрого интерконекта с низкой латентностью между серверами.

Все остальные решения совершенно стандартные для серверов на платформе Nehalem. За исключением использования в платформах с процессорами Nehalem-EP, моста ICH10R, в данном случае он используется для возможности собрать RAID массив.

Для тех кому не хватает дискового пространства или нужно что-то более производительное и надежное, каждый сервер оснащен PCI-E x16. Это позволяет  при необходимости установить дополнительные карточки для подключения массива по iSCSI или более дорогую FC, либо любую другую совместимую. Или все, что ваша душа пожелает, но карта должна иметь LP форм фактор.

Система вентиляции. Сразу за вентиляторами располагаются 2 сервера, друг над другом.

Сильно порадовало что все куллера больше не прикручены насмерть саморезами к железу. Все аккуратно сделано на резиновых фиксаторах, и с резиновыми прокладками. Это существенно уменьшает уровень шума и вибрацию.

Что касается питания в базовой комплектации модуль только 1 мощностью 1200W. Для избыточности нужно купить дополнительный.

Модуль для подключения двух БП. расположен в центре корпуса, между серверами-модулями.

Платформа в сборе с открытой крышкой. Под видимыми модулями-серверами располагается второй слой.

http://supermicro.com/products/system/2U/6026/SYS-6026TT-IBXF.cfm

Характеристики:

Four systems (nodes) in a 2U form factor. Each node supports the following: 1. Dual Intel® 5500 series Xeon® Quad/     Dual-Core, with QPI up to 6.4 GT/s 2. Up to 48GB DDR3 1333/ 1066/ 800MHz     ECC Registered DIMM 3. 1 (x16) PCI-E ( Low Profile) 4. Integrated IPMI 2.0 with KVM and     Dedicated LAN 5. Mellanox ConnectX DDR Infiniband     20Gbps Controller w/ QSFP connector 6. Intel® 82576 Dual-Port Gigabit     Ethernet Controller 7. 3x Hot-swap SATA Drive Bays 8. 1200W Gold-level High-efficiency    Power Supply CPU - Dual 1366-pin LGA Sockets - Supports up to two Intel® 64-bit Xeon® processor(s) of the same type below:       Quad-Core Intel®       Xeon®Processor 5500 sequence (Nehalem-EP processor) QPI - up to 6.4 GT/s System Memory (per Node) Memory Capacity - Twelve 240-pin DIMM sockets - Supports up to 48 GB 1333 / 1066 / 800MHz DDR3 ECC Registered memory - Memory Mirroring supported Memory Type - 1333 / 1066 / 800MHz Registered ECC DDR3 SDRAM 72-bit, 240-pin gold-plated DIMMs DIMM Sizes - 1GB, 2GB, 4GB Memory Voltage - 1.5 V Height 3.5" (89mm) Width 17.2" (437mm) Depth 28.5" (724mm) Gross Weight 85 lbs (38.6kg)

On-Board Devices (per Node) Infiniband - Mellanox ConnectX DDR Infiniband 20Gbps Controller Chipset - Intel® 5520 (Tylersburg) chipset - ICH10R + IOH-36D SATA - Intel ICH10R SATA 3.0Gbps Controller - RAID 0, 1, 5, 10 support IPMI - Support for Intelligent Platform Management Interface v.2.0 - IPMI 2.0 with virtual media over LAN and KVM-over-LAN support - Winbond® WPCM450 BMC Network Controllers - Intel® 82576 Dual-Port Gigabit Ethernet Controller - Supports 10BASE-T, 100BASE-TX, and 1000BASE-T, RJ45 output - Intel® I/OAT 3 support for fast, scaleable, and reliable networking - VMDq support for better performance of virtualization - 1x Realtek RTL8201N PHY (dedicated IPMI) Graphics - Matrox G200eW 8 MB DDR2 Super I/O - Winbond W83527HG chip Clock Generator - 932S421 chip Input / Output Serial ATA - Six Serial ATA ports - 3 SATA hard drives supported LAN - 2x RJ45 LAN ports - 1x RJ45 Dedicated IPMI LAN port USB - 2 rear + 1 header (2 Ports) - 4 total USB ports, 2.0 Compliant / 1.1 Compliant VGA - 1x VGA Port Serial Port - 1 Fast UART 16550 serial port Infiniband - 1 External QSFP Infiniband Connector

Отдельное спасибо Куликову Диме за помощь в подготовке.

Читать дальше ...