Производительность LSI MegaRAID 9361 с SSD

После обновлений микрокода эти контроллеры сильно прибавили шустрости:

Access	Random	RAID	Ctrl cache	Queue size	IOps	avg io time (ms)	max io time (ms)
100% read	100%	RAID0	off	1024	290000	0.77	7.5
67% read	100%	RAID0	off	1024	195000	5.3	23
67% read	100%	RAID0	off	256	195000	1.3	16
67% read	100%	RAID0	off	128	190000	0.67	16
0% read	100%	RAID0	off	128	96000	1.4	100
67% read	100%	RAID0	on	1024	69000	14.6	21
100% read	100%	RAID10	off	1024	290000	0.63	6.5
67% read	100%	RAID10	off	1024	122000	8.3	84
67% read	100%	RAID10	off	256	125000	2.05	20
67% read	100%	RAID10	off	128	120000	1.07	18
67% read	100%	RAID10	on	256	56500	4.5	15
0% read	100%	RAID10	off	128	48000	2.66	18.5
67% read	100%	RAID5	off	128	82000	1.56	26
67% read	100%	RAID5	on	128	35000	3.7	16
0% read	100%	RAID5	on	128	12500	9.8	100
0% read	100%	RAID5	off	128	33000	3.9	25
0% read	0%	RAID1	off	1	11657	0.085
0% read	0%	RAID1	on	1	17220	0.057
0% read	0%	RAID10	on	1	17200	0.057
0% read	0%	RAID10	off	1	11700	0.085

Тестировался контроллер LSI MegaRAID 9361-8i (FW 24.7.0-0026), 6шт SSD Seagate 1200 800GB, подключены через 6G экспандер. Strip 256k, тестовые запросы IOmeter'a по 4к.

Краткая выжимка:
- максимальная производительность на чтении (RAID0) - 290k IOps, на записи - 96k IOps;
- включение кэша контроллера проваливает производительность в 2-3 раза;
- RAID10 практически равен RAID0 на чтении и вдвое медленнее на записи (все по канонам);
- RAID5 в среднем медленнее RAID10 в 1,5-2 раза.
 

Публикуется по результатам теста Максима Мухина.

Читать дальше ...

LSI Syncro - новая масштабируемая архитектура хранения данных высокой доступности.

        В июне 2013 года компания LSI анонсировала новый продукт с кодовым названием Syncro CS, но пока о наличие абсолютно нового решения для кластеризации знают лишь крупные производители серверов. Решение очень интересное и во многом инновационное, поэтому мы предлагаем вашему вниманию этот обзор.

        Для начала давайте разберемся, что такое кластер и какие решения сейчас есть на рынке для организации отказоустойчивых кластеров.

        В информационных технологиях слово кластер (сluster) встречается в двух значениях. Первое, единица хранения на жестких дисках, относится к разбиению магнитных носителей. Второе значение - группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс.

        В современном мире понятие кластер используется в основном для обозначения двух различных типов конфигураций. Это вычислительный кластер и отказоустойчивый кластер (кластер высокой доступности). Вычислительные кластера используются для научных и инженерных расчетов. Каждый год публикуется список TOP500 самых производительных вычислительных кластеров. Современные вычислительные кластера состоят из десятков тысяч узлов (серверов) нескольких типов.

       В этой статье речь пойдет о технологиях отказоустойчивых серверов. Основная задача отказоустойчивого кластера – обеспечение высокой доступности (HA, High Availability) сервиса. В качестве сервиса могут выступать многие популярные приложения. Это WEB-серверы, серверы электронной почты, системы управления базами данных (MS SQL, Oracle, MySQL), SRP и CRM-системы и другие приложения. Особая роль отводится при кластеризации службам файлового обмена (например, кластеризация служб File Server в Windows) и виртуализации (Hyper-V и VMWare как самые распространенные) ввиду их критичности для работы многих других приложений. Итак, основная задача кластеризации – взять критичную для деятельности компании службу и настроить ее работу на нескольких (2 или более) узлах отказоустойчивого кластера. В случае падения одного из узлов, остальные могут перезапустить службу кластеризации автоматически, минимизировав, или в некоторых случаях, даже исключив время простоя.

Читать дальше ...

NetApp: кэшируем в сервере

Всего пара месяцев прошла с момента официального объявления о сотрудничестве Fusion-io и NetApp с целью использования технологий Fusion-io в стеке NetApp Virtual Storage Tier.

На сегодняшний день в VST используются “родные” технологии NetApp – FlashCache и FlashPool, позволяющие эффективно повышать производительность системы посредством интеллектуального кэширования “горячих” данных на Flash-картах и SSD дисках.

И вот уже вчера NetApp анонсировал продукт Flash Accel, обеспечивающий кэширование данных на стороне сервера. Как несложно догадаться, Flash Accel это по факту PCI-e карта и соответствующий софт от Fusion-io. Кэширование на стороне сервера возможно только на чтение (что вполне логично). Доступность Flash Accel заявлена на декабрь 2012. Flash Accel является программной разработкой NetApp, позволяющей использовать в качестве кэша локальные устройства сервера (SSD или Flash PCI-e карты). В первой версии будут поддерживаться Windows Server 2003 и 2008, а также vSphere 5. Примечательно, что даже в первой версии обещают работу HA, vMotion и DRS. Формально есть привязка к системе хранения (пока только FAS, V- и N-серия), но не к кэширующему устройству (будет список официально поддерживаемых). На текущий момент NetApp будет перепродавать карты от Fusion-io. 

Но этим же пресс-релизом NetApp тонко намекает Fusion-io, что расслабляться не стоит – желающие производители аналогичных решений могут подать заявку на получение значка “NetApp Validated”. И в этом списке уже, помимо Fusion-io, отметились LSI, Micron, SanDisk, STEC и Virident.

Но пока только с Fusion-io заключен контракт, согласно которому будут перепродаваться Fusion-io ioMemory, ioTurbine и Direct Cache. 

К слову сказать, у нас уже доступен к заказу LSI Nytro XD. Это комплект из PCI-e карты с 400GB флэш-памятью (e-MLC) и специального софта, который и позволяет осуществлять кэширование данных (независимо от расположения – будь то СХД или DAS). Среди серьезных преимуществ – крайне низкие требования драйвера устройства к оперативной памяти (рассматривая в качестве альтернативы решение Fusion-io об этой особенности важно помнить). Пока еще, правда, не поддерживается работа в среде VMware, но и это тоже не за горами – работа активно ведется.

Кэширование данных на серверах перестает быть красивой идеей и уже может быть использован в реальных проектах с получением вполне очевидных преимуществ по производительности.

P.S. Спасибо Роману за уточнение!

Читать дальше ...

IBM DS3500: новые возможности

По случаю Дня Победы (и наверное не только по этому случаю), в IBM анонсировали целый ряд существенных улучшений в и без того популярных системах серии DS3500 – DS3512 и DS3524. На самом деле, 9го мая были и другие (зачастую не менее значимые) анонсы в области систем хранения IBM, но про них в другой раз. Так что же теперь еще есть в DS3500?

• Самое заметное нововведение – в два раза увеличено количество поддерживаемых дисков. Теперь в одной DS3500 может быть до 192 жестких дисков SAS и/или NL SAS. Для этого потребуется докупить соответствующий ключ активации. Тем самым, можно получить до 384ТБ raw ёмкости на систему при использовании 3.5" NL SAS дисков 2ТБ и до 192ТБ raw ёмкости на систему при использовании 2.5" NL SAS дисков 1ТБ (которые, кстати, также были анонсированы 9го мая).
• Поддерживается до 128 Storage Partitions, а также до 256 томов на каждую “partition”. Суммарное же количество поддерживаемых томов увеличено до 512 на систему.
• Дополнительная опция позволит создавать до 16 пар томов (вместо 8ми, которые были доступны ранее) при использовании Remote Mirroring (синхронная и асинхронная репликация).
• Для тех, у кого активированы FlashCopy и/или VolumeCopy получат поддержку до 256 копий на систему (количество копий на том остается без изменений). Более того, теперь нет никакой необходимости приобретать ключи активации для FlashCopy upgrade и VolumeCopy upgrade – достаточно Base версии чтобы получить максимум возможностей.
• Поддерживается подключение к хостам через SAS коммутатор (ранее более 4х хостов можно было подключить только по FC или iSCSI). Сами коммутаторы через IBM не поставляются пока, но зато они есть у LSI. Совместимость, как обычно, проверяется через SSIC.
• Для тех, кто заинтересован в использовании iSCSI, но 1Гбит интерфейсы не устраивают по производительности, есть приятная новость – анонсированы интерфейсные платы с портами 10Гбит. В результате, можно получить по два 10Гбит порта на контроллер (4x10Гбит на двухконтроллерную систему). Примечательно, что используются не привычные SFP+ порты, а RJ45. Так как порты на новых картах могут работать и на 10Гбит, и на 1Гбит, можно смело использовать эти интерфейсные платы даже без инфраструктуры 10Гбит, а рассчитывая на ближайшую перспективу.
  

Помимо “железных” возможностей, появились улучшения и в плане управления системой:

• Для периодического создания мгновенных снимков вместо скриптов (в определенных случаях) можно использовать расписание, настраиваемое через GUI в DS Storage Manager (также его можно настроить и в CLI).
• Теперь вовсе необязательно при создании VolumeCopy вручную делать FlashCopy, чтобы обеспечить непрерывный доступ к исходному тому – опция “Online VolumeCopy” позволит автоматизировать процесс и соответствующий снимок будет создан в системе без участия администратора.
• Но наиболее интересная для меня новость – улучшения в Performance Monitor, который теперь научился показывать не только realtime результаты, но и накопленные за период значения (до 7ми дней):
  Это позволит нам существенно упростить жизнь при поиске потенциальных проблем и при анализе производительности системы.

Сейчас, благодаря этим новшествам, системы DS3500 стали еще привлекательнее для пользователей и способны занять не только нишу начального уровня, но и составляют серьезную конкуренцию системам класса MidRange. Осталось только дождаться поддержки SSD!

Читать дальше ...

Неожиданно: LSI to Sell External Storage Systems Business

Анонс, который я, признаться, не ожидал увидеть в этом году: http://www.lsi.com/news/corporate_news/2011/2011_03_09.html

LSI договорился с NetApp о продаже части бизнеса, связанного с внешними дисковыми системами, за 480млн$. Т.е. все что раньше производилось под маркой Engenio и продавалось чуть ли не десятком различных вендоров (IBM, Oracle (Sun), Dell и многими другими) полностью переходит под контроль NetApp. IBM активно сотрудничает с NetApp и здесь вероятно трагедии не будет, но интересно как  остальные вендоры поступят.

Внутренние RAID контроллеры (как LSI, так и 3Ware) остаются у LSI и с ними все без изменений (надеюсь).

Неужели NetApp’у стало мало своих Unified систем хранения и потребовался “настоящий” FC?

Что характерно, шума со сделкой (как например у HP с 3Par) фактически не было – все довольно тихо и мирно.

Читать дальше ...

LSI: новые контроллеры, новые горизонты

LSI анонсировал два новых контроллера – MegaRAID SAS 9265-8i и 9285-8e. Это представители уже второго поколения контроллеров с поддержкой SAS2 (6Gbps). Оба контроллера построены на одном чипе (RAID on Chip, ROC) – LSISAS2208, работающем на 800МГц и имеющем два ядра. Объем кэша составляет уже 1ГБ (используется память DDR3). Фактически отличие контроллеров только в том, как расположены порты – 9265-8i имеет 8 портов “внутрь”, а 9285-8e 8 портов “наружу”. Отличается и максимально поддерживаемое число дисков (через экспандер) – 128 для 8i  и 240 для 8e. Выпущена и новая модификация батареи для защиты кэша – LSIiBBU09. Новизна состоит в том, что батарея более терпимо относится к повышенным температурам внутри сервера (до 55⁰C). Как и для прошлого поколения, предлагаются опциональные “расширения”: FastPath (оптимизация для работы с SSD), CacheCade (возможность использовать SSD в качестве “умного” кэша), Recovery (снапшоты) и SafeStor (поддержка шифрования на уровне дисков).

Но, конечно же, самое интересное это производительность новых контроллеров (что особенно актуально при использовании SSD дисков). Заявлено, что при использовании технологии FastPath производительность выросла более чем в 3.5 раза по сравнению с прошлым поколением до 465,000 IOPs:

На картинке – сравнение первого и второго поколения 6Гбит контроллеров LSI (внутренние тесты LSI) для вариантов с включенным и отключенным FastPath. подробности (и другие результаты можно найти здесь).

Немного удивляет батарейка вместо ставшими уже привычными (у других производителей) суперконденсаторов и флэш-памяти. А учитывая, что уже наверное пару месяцев назад были вполне предметные разговоры про аналогичную технологию и у LSI (и даже назывались модели контроллеров) это еще более странно. И до сих пор, кроме строчки в списке зарегистрированных торговых марок, никакой официальной информации про это нет. Посмотрим, как это все отразится на PMC-Sierra (Adaptec), у которых сейчас только начинаются продажи первых 6Гбит контроллеров. LSI сделал все возможное (включая прочное сотрудничество с такими производителями серверов как IBM, Dell и Fujitsu), чтобы занять как можно большую долю рынка.

Читать дальше ...

SAS 2.0 6G со всех сторон

Последний рубеж взят – для x86 серверов IBM появился контроллер ServeRAID M5025. Теперь SAS 2.0 6Gbps можно использовать везде – и внутри сервера, и во внешних СХД, и в JBOD. Последний вариант и стал возможен благодаря этому контроллеру. Сами JBOD доступны с момента анонса DS3500: это EXP3512 и EXP3524, а теперь есть и RAID контроллер с внешними портами:

В комплекте, как и у младшего брата (M5015, у которого порты смотрят внутрь), есть батарейка. Кратко по характеристикам и возможностям:

• Контроллер построен на базе чипа LSI SAS2108 (RAID on Chip)
• 512МБ кэш-памяти на борту
• Поддерживается подключение до 240 дисков (до 9ти шасси с дисками на порт)
• Можно создать до 64 томов (LUN)
• Размер одного LUN ограничен 64ТБ
• Одновременное использование SAS и SATA дисков поддерживается, но смешивать диски в одном массиве нельзя.
• Стандартно поддерживается RAID 0, 1, 10, 5 и 50 (уровни 6 и 60 становятся доступны после покупки M5000 Advanced Feature Key)

ServeRAID M5025 это фактически копия LSI MegaRAID SAS 9280-8e, так что остальную информацию можно посмотреть на страничке оригинала.

Читать дальше ...

LSI подсуетился :)

Adaptec буквально вот только что перешел в руки PMC-Sierra (фактически поглощение закончится ближе к концу второго квартала). А тем временем извечный конкурент - LSI анонсировал выпуск целого ряда опциональных дополнений к своим контроллерам.

В первую очередь необходимо отметить CacheCade – аналог нашумевшего Adaptec MaxIQ. Являясь ключиком активации, CacheCade позволяет использовать SSD диски (до 32шт и суммарным объемом до 512ГБ) для хранения наиболее часто используемых данных. У продукта нет привязки к SSD (есть список протестированных дисков) и можно выбрать тот носитель, который доступен или более привлекателен по цене (конечно эффект CacheCade будет зависеть от производительности SSD). На текущий момент CacheCade поддерживается на контроллерах MegaRAID 9260-4i, 9260-8i, 9280-4i4e. Все остальные новые опции (на момент выпуска) также доступны только для этих контроллеров.

Второй продукт, также направленный на увеличение производительности – FastPath. Он обеспечивает повышенную производительность контроллера при подключении SSD дисков. Обещано повышение производительности до 2.5 раз при операциях случайной записи на SSD и до 2х раз на операциях случайного чтения. Благодаря Fastpath контроллеры могут обеспечить до 150.000 операций ввода-вывода в секунду (IOPs).  Как следствие, FastPath особенно рекомендуется тем, кто использует SSD для OLTP задач. На рисунке данные для RAID-0 из 8ми дисков Intel X25E на контроллере 9260-8i (при включенном кэше дисков):

Два других продукта помогут обеспечить лучшую защиту данных:

Recovery Software служит для создания мгновенных снимков. Здесь нет ничего нового – используется классический Copy-on-Write механизм. Поэтому увлекаться снапшотами на высоконагруженной системе не стоит – производительность будет деградировать. Интеграция с VVS упрощает поддержание консистентности данных приложений в снимках. Работа со сделанными снимками осуществляется через MSM, поддерживаются версии Windows 2003 и 2008. Можно создать до 8ми снимков на том и до 504х на контроллер. В случае необходимости можно вернуть состояние тома на момент любого сделанного ранее снимка (сделать это можно и через WebBIOS, что позволяет защитить загрузочный том).

SafeStore позволит использовать SED (Self-Encrypting Drives) диски, чтобы ограничить несанкционированный доступ к данным (очень сомневаюсь, что в ближайшее время это будет востребовано в России – в силу ограничений на ввоз). Данная технология уже некоторое время доступна в контроллерах 9260DE и 9280DE, а теперь ее можно приобрести и в виде опции для обычных версий этих контроллеров.

Читать дальше ...

Новые JBOD от LSI

LSI анонсировал две модели 6Gb/s SAS JBOD (ящики для жестких дисков), предназначенные для подключения непосредственно к SAS контроллерам LSI и 3Ware. Модель 630J имеет 12 отсеков для дисков 3.5’’, а модель 620J – 24 отсека для 2.5’’ дисков. Оба варианта поддерживают 6Gb/s SAS (используется экспандер LSI SAS2x36), имеют стандартную высоту 2U, оснащены двумя блоками питания (система охлаждения находится в блоках питания, поэтому она также дублирована), в базе идет один ESM модуль, но можно установить и второй для обеспечения отказоустойчивости. Поддерживаются диски SAS или SATA  (правда пока не очень понятно, будут ли доступны отдельно мультиплексоры для подключения SATA дисков в конфигурации с двумя ESM).

 

Каждый ESM модуль имеет по два SFF-8088 порта для подключения к хостам и один порт для каскадирования. Последовательное подключение JBOD позволит обеспечить необходимый запас для дальнейшего расширения:

Целевая аудитория – все, кто еще “не созрел” материально на внешнюю дисковую систему, либо те, кому достаточно отказоустойчивости, которую обеспечивает DAS, а гораздо более важна производительность системы.

Читать дальше ...

Вторая жизнь 3Ware

Я, когда весной прошлого года узнал о том что компания 3Ware перешла в руки LSI, считал что на этом (как это часто случалось при подобных поглощениях) история контроллеров 3Ware благополучно закончится, а LSI просто задействует часть их разработок в своих продуктах. Однако, каюсь, ошибался - LSI с толком использовали приобретенные активы для развития своего канального бизнеса. В качестве подтверждения того что “никто не забыт и ничто не забыто”, вчера были анонсированы два новых RAID контроллера с поддержкой SAS 6Gbps – 3Ware SAS 9740-4i и 9750-8i.

Как несложно догадаться, отличия только в числе портов (4 и 8, соответственно). Оба контроллера построены на базе чипа LSISAS2108 ROC, имеют интерфейс x8 PCI-Express 2.0, оснащены 512МБ кэш-памяти и поддерживают до 96 дисков SAS или SATA через экспандеры. Управление и настройка традиционно осуществляется через привычную всем пользователям контроллеров 3Ware утилиту 3DM2.  RAID стек также остался без изменений, что безусловно является плюсом для приверженцев контроллеров 3Ware (среди которых немалую долю составляют число пользователи Linux). Благодаря технологии StreamFusion(TM)+ достигается высокая производительность на потоковых операциях чтения/записи (контроллеры способны обеспечить производительность до 2.5GB/s на последовательном чтении и до 1.1GB/s при последовательной записи).

Читать дальше ...

Intel RAID RS2BL080 6GB и 8 SAS 15k с разными FW контроллера

Компания Intel любезно предоставила нам этот контроллер на короткое время, за которое мы тестировали его в первую очередь на SSD Intel X-25 E, но также и сделали несколько тестов на обычных SAS дисках. К сожалению контроллер был у нас не очень долго и мне не удалось посмотреть все, что хотелось, но было сделано несколько полных прогонов с дисками SAS. При этом эти два прогона проходили на разных версиях прошивки контроллера сначала это была 649 версия, затем был сделан апгрейд в 673 версию и повторены часть из этих тестов.

Сначала эти результаты остались без обработки, но сейчас выдалась минута и я их перерисовал в графики. Результаты достаточно интересные, причем они получаются интересны еще и в отношении друг-друга. Здесь я и решил их опубликовать, в сравнительном режиме одну версию прошивки и другую.

Условия теста.

Из восьми SAS Hitachi 15k 146GB делался RAID 10, поскольку контроллер двух портовый половинки зеркала располагались на разных портах. Настройки Array на контроллере – следующие:

Собственно все настройки по умолчанию для 10 RAID.

Тест проводился Iometer’ом, профиль в обоих случаях был одинаковый. Вся нагрузка создавалась 4-мя Worker, глубина очереди каждого составляла 32. В результате как несложно посчитать: 128.

Результаты тестов

Потоковое чтение

Версия fw 649

Версия fw 673

Потоковое чтение – самый понятный показатель работы внутренних алгоритмов кэширования контроллера. Видно, что в более новой версии прошивки на большом блоке скорость существенно просела, причем пик достигается на 8кб а дальше идет резкий спад. Судя по дальнейшим результатам – 8кб размер блока КЭШ контроллера и поэтому тут и достигается максимальный результат. Также хочется отметить, что считалка у контроллера очень мощная, судя по тому что на маленьком блоке результат вплотную подбирается к 90 000 IOPS.

Случайное чтение

Версия fw 649

Версия fw 673

Здесь уже КЭШ не играет большой роли и результаты близки. Нужно отметить что IOPS на маленьком блоке упал почти в 2 раза.

Потоковая запись

Версия fw 649

Версия fw 673

На записи наоборот ситуация заметно улучшилась, потоковые операции упираются в потолок около 1,4 ГБ секунду, опять же очевидно влияние КЭШ. В целом новая версия прошивки больше радует глаз, чем предыдущая.

Случайная запись

Версия fw 649

Версия fw 673

В обоих случаях результаты схожи. Новая прошивка дает определенный прирост, но он минимален.

Смешанная нагрузка – 70 запись, 30 чтение.

Версия fw 649

Версия fw 673

Как и в случайной записи, результаты приблизительно похожи.

Вывод

Судя по абсолютным цифрам, контроллер показывает очень хорошую производительность и потенциал железяки высокий. С другой стороны абсолютно очевидно, что софт для продукта сырой и скорее всего потребуется несколько ревизий прошивки чтобы производительность стабилизировалась на достойном уровне.

Результаты в силу того, что продукт вышел совсем недавно не представляют особенной ценности, разве что в целях сравнения с последующими версиями которые будут выходить в дальнейшем.

Читать дальше ...

6Gbps SAS в серверах IBM

6Gbps SAS диски уже некоторое время доступны к заказу вместе с серверами IBM, но вот сегодня были анонсированы и 6Gbps RAID контроллеры: ServeRAID M5014 и M5015. Оба контроллера имеют по 8 внутренних портов (2 miniSAS разъема) и поддерживают до 32х устройств, подключенных напрямую или через экспандеры. M5015 (на картинке) оснащен 512МБ кэш-памяти и поставляется вместе с батареей (BBU) для защиты кэша; M5014 имеет на борту 256МБ кэша и батарею к нему нужно будет докупать отдельно. Оба они построены на базе 800МГц процессора PowerPC  c контроллером LSI SAS2108 RAID-on-Chip – IBM продолжает использовать контроллеры LSI, в данном случае это, как я понимаю, практически полные аналоги MegaRAID SAS 9260-8i.

На данный момент контроллеры поддерживаются в серверах IBM x3400M2, x3500M2, x3550M2 и x3650M2 (т.е. все новые двухпроцессорные модели на “нехалемах”). Ранее мои коллеги уже приводили результаты тестирования аналогичного контроллера от Intel вместе с SSD и результаты очень впечатляют. Так что если Вам нужна высокая производительность дисковой подсистемы сервера – можно довольно успешно комбинировать новые контроллеры вместе с уже поставляемыми для этих серверов 50GB High IOPS SSD.

Читать дальше ...

Intel SSD x25-e и Intel RAID RS2BL080

Продолжая тему SSD и их работы в RAID, надо отметить что пока что (на мой взгляд) не было контроллера который давал адекватную производительность во всех ситуациях с SSD. Также большой головной болью было то, что при отключении КЭШа SSD дисков производительность системы значительно падала, тогда как его требуется выключать для создания отказоустойчивых конфигураций.

Вот и получается – хочется чтобы все работало быстро, включай КЭШ диска. Но если вдруг выключиться электричество или будет еще какой сбой, все данные находящиеся в этом КЭШе потеряются. С другой стороны выключая КЭШ мы получали просадку по производительности (подробнее можно посмотреть в предыдущем материале про SSD и контроллеры LSI).

Теперь непосредственно, что привело к написанию этого материала. Intel любезно предоставил нам в тест контроллер Intel RAID RS2BL080, который интересен тем, что он рассчитан на 6ГБ SAS (обратная совместимость с SAS 3GB и SATA присутствует), в результате чего имеет полностью переработанную архитектуру. Для начала мы решили посмотреть контроллер в работе с SSD, чтобы посмотреть на что он способен при максимально быстром back-end (дисках), результаты тестов и будут представлены ниже.

Контроллер Intel RAID RS2BL080

Intel RAID RS2BL080 он же LSI MegaRAID 9260-8i

Строго говоря контроллер произведен компанией LSI, Intel же OEMит их. В контроллере 8 портов 6Gb/s SATA/SAS, 512МБ памяти и процессор LSISAS2108 (6Gb/s RAID-on-Chip - 800MHz PowerPC). Выглядит вполне обычно.

Судя по маркетингу LSI максимальная пропускная способность чтения около 2,9ГБ/сек, а записи 1,8ГБ/сек.

Описание на сайте Intel.
Спецификация на сайте Intel.
Спецификация на сайте LSI.

Тесты с SSD

Было решено в первую очередь проверить две разные конфигурации:

1. 8 штук SSD Intel x25-e в RAID 5, КЭШ контроллера включен, КЭШ дисков выключен. Общий смысл данного теста был посмотреть, как себя покажет конфигурация собранная из расчета компромиссного соотношения цена/объем. Также немаловажно и то, что КЭШ дисков был отключен, в реальную работу не стоит ставить диски с включенным КЭШ, слишком велики риски потери информации.

2. 8 штук SSD Intel x25-e в RAID 10, КЭШ контроллера включен, КЭШ дисков выключен. Также было решено проверить R10 для оценки разницы в производительности относительно R5.

Ниже представлены скриншоты настроек.
Тест делался по обычной схеме с Iometer’ом.

Настройки для теста в R5

Настройки для теста в R10

Результаты

Последовательное чтение.

Raid5

Raid10

Чрезвычайно впечатляющее начало 160 000 IOPS на чтение, эти цифры соизмеримы с характеристиками производительности дисковых систем среднего уровня. С той лишь разницей, что на дисковой системе с обычными дисками, таких цифр можно достичь только из чистого КЭШа, а здесь эти цифры получены на LUN в 200GB. Фактически этот результат показывает производительность контроллера, для сравнения LSI 84016E давал в пике около 40 000 IOPS, Adaptec 5805 около 50 000 IOPS, здесь же мы получили 160 000 IOPS на маленьком блоке. Очень круто. Руки чешутся протестировать на нем обычный SAS, чтобы понять даст ли такой контроллер роста производительности с обычными дисками.

Кстати кроме IOPS не менее интересно что контроллер достиг уже 1200 МБ/сек. У предыдущего LSI этот потолок был около 800МБ/сек.

Случайное чтение.

Raid5

 

Raid10

Результат очень достойный, для полностью случайной нагрузки также отличный результат. Тот же потолок в 1200 МБ/сек, достигается здесь несколько позже чем при последовательном чтении, что в общем естественно. Для сравнения IOPS у LSI 84016E было примерно столько же, у Adaptec 5805 в Raid5 чуть больше (правда с включенным КЭШ дисков .) ).

Отличные результаты, на уровне лучших что я видел для такого количества SSD при такой нагрузке.

Последовательная запись.

Raid5

 

Raid10

 

Исключительные результаты, видно что контроллер работает по максимуму и вычислительной мощности ему хватает с лихвой. При всем при этом, что интересно в RAID 5 контроллер пробил планку в 1200МБ/сек и уперся уже в 1400МБ/сек. В RAID 10 такого не наблюдается, видимо по причине меньшего количества конечных дисков на которые ведется запись. Тест опять же наглядно показывает что подопытный контроллер чрезвычайно мощный.

Что интересно, так называемого, RAID 5 penalty не наблюдается. По идее мы должны были бы видеть некоторую просадку по производительности в RAID 5 , относительно RAID 10.

Случайная запись.

Raid5

 

Raid10

Левая часть графиков где отражены IOPS соответствует высоким ожиданиям, динамика графиков с точностью повторяет такую в предыдущих тестах, результаты получаются лучше чем и у LSI 84016E и у Adaptec 5805. Adaptec 5805 проигрывает где то около 20% в RAID5 и около 30% в RAID10, LSI 84016E проигрывает около 20% в RAID10 результатов эквивалентных тестов в RAID5 у меня нету.

Если же смотреть на скорость на большом блоке, пожалуй стоит поумерить свои восторги, результаты получаются низкие.  Впрочем они такие же низкие как и в случае других контроллеров, судя по результатам предыдущих тестов.

Также надо отметить, что есть подозрение что такое поведение массива обязано больше не контроллеру а дискам и их собственным алгоритмам записи и выстраивания очереди. Любопытно посмотреть аналогичные результаты при включеном КЭШ дисков (собственно именно эти тесты сейчас у нас и идут).

33% чтение, 100% случайные операции.

Raid5

 

Raid10

 

Комментировать особенно нечего, случайная запись задает тон результатам. Они в точности повторяют динамику случайной записи.

Типовые профили

Raid5

Access Specification Name	IOps	Read IOps	Write IOps	MBps	Read MBps	Write MBps	ART (ms)	ART-read (ms)	ART-write (ms)
File Server	7 938,72	6 349,31	1 589,41	85,82	68,62	17,20	4,03	4,78	1,04
Web Server	15 791,47	15 791,47	0,00	242,30	242,30	0,00	2,03	2,03	0,00

Raid10

Access Specification Name	IOps	Read IOps	Write IOps	MBps	Read MBps	Write MBps	ART (ms)	ART-read (ms)	ART-write (ms)
File Server	17 184,08	13 750,53	3 433,55	185,72	148,68	37,04	1,86	2,02	1,21
Web Server	20 511,35	20 511,35	0,00	313,48	313,48	0,00	1,56	1,56	0,00

В качестве сравнительной шкалы приведены результаты двух типовых тестов, отметить хочется то, что при очень высоких результатах время ответа (ART) сохраняется на рекордно низком уровне 1-4 ms. В этих же результатах видно что RAID 10 благодаря более высоким результатам на записи показывает лучшие результаты.

Выводы

Что хочется сказать в итоге, контроллер судя по этим результатам получился исключительно мощный, руки чешутся сделать тесты на 15k SAS дисках (я думаю сделаем на следующей неделе), вероятно контроллер и на них даст лучшую производительность чем его текущие конкуренты (тот же Adaptec 5805).

Касаемо текущей конфигурации на SSD, пожалуй её можно рекомендовать для любой интенсивной дисковой нагрузки. Там где будет преимущественно случайная запись большим блоком результат не будет радовать, с другой стороны это одна из самых синтетических нагрузок.

Доступность и стоимость контроллера пока не ясна, как я уже писал выше, нам он достался в единственном экземпляре и реальных цен в РФ я не видел. Судя по всему он должен быть в одной ценовой группе с Adaptec 5805 и аналогичными 8 портовыми LSI.

Читать дальше ...

SSD intel x25-E и MegaRAID SAS 84016E

Intel любезно предоставил в тестирование контроллер MegaRAID SAS 84016E чтобы попробовать как на нем заработают SSD, в результате было сделано 2 теста с разными настройками контроллера. в обоих тестах использовались 8 дисков подключенных по 4 в первые два канала контроллера. В обоих случаях диски собирались в RAID 10. Чем отличались тесты? В первом случае тест делался с включенным КЭШем контроллера, во втором с выключенным. Надо отметить что в своих результатах Intel получает наилучшие результаты именно с выключенным КЭШем. Также надо отметить, что Intel рекомендует вместе с отключением КЭШа контроллера включать КЭШ дисков. Также наоборот, при включении КЭШа контроллера – выключать кэш дисков.

Для тестирования была взята платформа как и до этого в тестах с adaptec только вместо контроллера adaptec в неё включался контроллер MegaRAID SAS 84016E. Как уже писалось выше в контроллер включалось по 4 SSD в первый и второй канал. Диски включались напрямую, без корзин.

Настройки контроллера – первый случай:

КЭШ контроллера включен. КЭШ дисков выключен.

КЭШ контроллера отключен. КЭШ дисков включен. Рекомендации Intel.

Какие получились результаты.

Последовательное чтение

Кэш включен

Кэш выключен

Уже привычная по Adaptec и предыдущему тестированию картина странных всплесков и падений. Динамика скорости примерно одинаковая. Потолок в который уперлась скорость в обоих случаях – 845МБ/сек. В случае включенного КЭШа скорее всего просадки вызваны особенностями контроллера, видимо работа идет блоками по 16кб, поэтому после достижения размера блока этого размера скорость работы контроллера с КЭШем перестает быть узким местом. Откуда взялся скачек на блоке в 2кб в случае включенного КЭШа – ума не приложу. Может быть какие то дополнительные внутренние оптимизации.

Последовательная запись

Кэш включен

Кэш выключен

При последовательной записи КЭШ наоборот начинает играть роль, видимо такой результат связан с его алгоритмом работы на запись. Рост производительности при включенном КЭШе идет до блока в 16кб, что скорее всего связано с размером блока КЭШа. Почему абсолютные цифры при последовательной записи (в случае включенного КЭШа) выше чем при последовательном чтении, неясно. Можно предположить что контроллер лучше справляется с алгоритмами кэширования записи, нежели чем с упреждающим чтением.

Случайное чтение

Кэш включен

Кэш выключен

Картина схожа, поскольку все операции на 100% случайны контроллер не может вмешаться алгоритмами упреждающего чтения. Верхняя граница та же 845МБ/сек.

Случайная запись

Кэш включен

Кэш выключен

Поскольку процедура полностью случайная, КЭШ контроллера никак не может повлиять на результат, видны схожие результаты в обоих случаях. Причем результаты записи большим блоком идут очень медленно, результаты требуют разъяснения от производителя. Не очень ясно какие настройки выбраны не корректно. На маленьком блоке результат без КЭШа контроллера предсказуемо лучше.

Запись/чтение 67/33 – 100% случайные

Кэш включен

Кэш выключен

Данный результат повторяет результат случайной смешанной нагрузки из теста выше. По понятным причинам запись тянет за собой вниз и чтение.

Выводы

Нельзя сделать однозначный вывод по результатам теста, поскольку цифры и динамика их изменения не похожа на аналогичные результаты HDD (опять же обычные результаты можно посмотреть в предыдущем материале про SAS и SSD на Adaptec). Можно точно сказать, что пока что результат не оправдывает ожидания, есть подозрение что при отключенном КЭШе нужно попробовать поставить размер блока массива больше чем 256КБ, к примеру те же 1024КБ в случае Adaptec это давало наилучший результат. Сейчас доделываются результаты R0 из 8xssd при размере блока 256КБ и отключенном КЭШе контроллера, я думаю следующим этапом мы попробуем прогнать тест в той же конфигурации только с отключенным КЭШем дисков, выберем наилучший результат и в такой конфигурации повторим тест с максимальным размером блока. Возможно это даст ответ на то насколько сильно влияет кэширование самих дисков на результат и насколько повлияет изменение размера блока в большую сторону на уровне всего массива.

Читать дальше ...