ИТ-технологии для профессионалов

Показаны сообщения с ярлыком raid controller. Показать все сообщения
Показаны сообщения с ярлыком raid controller. Показать все сообщения

среда, 5 августа 2015 г.

Модельный ряд RAID контроллеров Adaptec

Информация любезно предоставлена компанией Adaptec by PMC (Россия).

Классификация контроллеров Adaptec.


Поколение
Опция “E” - серверы начального уровня
Базовые опции - серверы «mainstream»
Опция “Q”. Серверы верхнего уровня
6-ое поколение
6450E/6805E
6405, 6805, 6805T, 6445
-*
7-ое поколение
71605E
78165, 72405, 71685, 71605, 7805
7905Q, 71605Q
8-ое поколение
-
8405, 8805, 8885
8885Q, 81605ZQ
Читать дальше ...

пятница, 27 марта 2015 г.

Производительность LSI MegaRAID 9361 с SSD

После обновлений микрокода эти контроллеры сильно прибавили шустрости:


Access Random RAID Ctrl cache Queue size IOps avg io time (ms) max io time (ms)
100% read 100% RAID0 off 1024 290000 0.77 7.5
67% read 100% RAID0 off 1024 195000 5.3 23
67% read 100% RAID0 off 256 195000 1.3 16
67% read 100% RAID0 off 128 190000 0.67 16
0% read 100% RAID0 off 128 96000 1.4 100
67% read 100% RAID0 on 1024 69000 14.6 21
100% read 100% RAID10 off 1024 290000 0.63 6.5
67% read 100% RAID10 off 1024 122000 8.3 84
67% read 100% RAID10 off 256 125000 2.05 20
67% read 100% RAID10 off 128 120000 1.07 18
67% read 100% RAID10 on 256 56500 4.5 15
0% read 100% RAID10 off 128 48000 2.66 18.5
67% read 100% RAID5 off 128 82000 1.56 26
67% read 100% RAID5 on 128 35000 3.7 16
0% read 100% RAID5 on 128 12500 9.8 100
0% read 100% RAID5 off 128 33000 3.9 25
0% read 0% RAID1 off 1 11657 0.085
0% read 0% RAID1 on 1 17220 0.057
0% read 0% RAID10 on 1 17200 0.057
0% read 0% RAID10 off 1 11700 0.085


Тестировался контроллер LSI MegaRAID 9361-8i (FW 24.7.0-0026), 6шт SSD Seagate 1200 800GB, подключены через 6G экспандер. Strip 256k, тестовые запросы IOmeter'a по 4к.

Краткая выжимка:
- максимальная производительность на чтении (RAID0) - 290k IOps, на записи - 96k IOps;
- включение кэша контроллера проваливает производительность в 2-3 раза;
- RAID10 практически равен RAID0 на чтении и вдвое медленнее на записи (все по канонам);
- RAID5 в среднем медленнее RAID10 в 1,5-2 раза.
 

Публикуется по результатам теста Максима Мухина.

Читать дальше ...

среда, 2 марта 2011 г.

LSI: новые контроллеры, новые горизонты

LSI анонсировал два новых контроллера – MegaRAID SAS 9265-8i и 9285-8e. Это представители уже второго поколения контроллеров с поддержкой SAS2 (6Gbps). Оба контроллера построены на одном чипе (RAID on Chip, ROC) – LSISAS2208, работающем на 800МГц и имеющем два ядра. Объем кэша составляет уже 1ГБ (используется память DDR3). Фактически отличие контроллеров только в том, как расположены порты – 9265-8i имеет 8 портов “внутрь”, а 9285-8e 8 портов “наружу”. Отличается и максимально поддерживаемое число дисков (через экспандер) – 128 для 8i  и 240 для 8e. Выпущена и новая модификация батареи для защиты кэша – LSIiBBU09. Новизна состоит в том, что батарея более терпимо относится к повышенным температурам внутри сервера (до 550C). Как и для прошлого поколения, предлагаются опциональные “расширения”: FastPath (оптимизация для работы с SSD), CacheCade (возможность использовать SSD в качестве “умного” кэша), Recovery (снапшоты) и SafeStor (поддержка шифрования на уровне дисков).

imageimage

Но, конечно же, самое интересное это производительность новых контроллеров (что особенно актуально при использовании SSD дисков). Заявлено, что при использовании технологии FastPath производительность выросла более чем в 3.5 раза по сравнению с прошлым поколением до 465,000 IOPs:

image

image

На картинке – сравнение первого и второго поколения 6Гбит контроллеров LSI (внутренние тесты LSI) для вариантов с включенным и отключенным FastPath. подробности (и другие результаты можно найти здесь).

Немного удивляет батарейка вместо ставшими уже привычными (у других производителей) суперконденсаторов и флэш-памяти. А учитывая, что уже наверное пару месяцев назад были вполне предметные разговоры про аналогичную технологию и у LSI (и даже назывались модели контроллеров) это еще более странно. И до сих пор, кроме строчки в списке зарегистрированных торговых марок, никакой официальной информации про это нет. Посмотрим, как это все отразится на PMC-Sierra (Adaptec), у которых сейчас только начинаются продажи первых 6Гбит контроллеров. LSI сделал все возможное (включая прочное сотрудничество с такими производителями серверов как IBM, Dell и Fujitsu), чтобы занять как можно большую долю рынка.

Читать дальше ...

понедельник, 13 декабря 2010 г.

Новые контроллеры Adaptec серии 6

Компания PMC-Sierra, впервые после приобретения Adaptec, анонсировала долгожданное продолжение линейки RAID-контроллеров! Объявлено о выпуске 6й серии: Adaptec RAID 6405, 6445 и 6805.
Контроллеры построены на базе чипа серии SRC 8x6G (dual core 600MHz PM8013) RoC (RAID-on-Chip). Все три новых контроллера имеют одинаковый функционал, а отличие только в портах: 6405 имеет 4 внутренних SAS порта, 6445 – 4 внутренних и 4 внешних, а 6805, как легко догадаться, – 8 внутренних портов. Для всех контроллеров вместо батарейки предлагается использовать флэш-память, защищаемую конденсаторами (Adaptec Flash Module 600 - AFM 600). Остальные характеристики:
  • 512МБ кэш памяти (DDR2-667)
  • поддержка SAS 2.0 (6Gbps)
  • шина PCIe Gen2 x8
  • поддержка до 256 дисков SAS/SATA (при использовании экспандеров)
  • поддержка уровней RAID 0, 1, 1E, 5, 5EE, 6, 10, 50, 60 и JBOD
  • возможность использования Hybrid RAID (SSD + HDD)
Как и для прошлых серий, управление осуществляется через Adaptec Storage Manager – это может быть очень важно для тех, кто уже активно использует контроллеры Adaptec в своих серверах, но посматривали “на сторону” в поисках продуктов с поддержкой 6Gbps.
Про поддержку технологии maxCache в новых контроллерах у меня однозначного ответа пока нет – нужно будет отдельно уточнить.
Более подробная информация должна быть через несколько дней.
Читать дальше ...

среда, 7 июля 2010 г.

SAS 2.0 6G со всех сторон

Последний рубеж взят – для x86 серверов IBM появился контроллер ServeRAID M5025. Теперь SAS 2.0 6Gbps можно использовать везде – и внутри сервера, и во внешних СХД, и в JBOD. Последний вариант и стал возможен благодаря этому контроллеру. Сами JBOD доступны с момента анонса DS3500: это EXP3512 и EXP3524, а теперь есть и RAID контроллер с внешними портами:

ServeRAID M5025 SAS/SATA Controller

В комплекте, как и у младшего брата (M5015, у которого порты смотрят внутрь), есть батарейка. Кратко по характеристикам и возможностям:

  • Контроллер построен на базе чипа LSI SAS2108 (RAID on Chip)
  • 512МБ кэш-памяти на борту
  • Поддерживается подключение до 240 дисков (до 9ти шасси с дисками на порт)
  • Можно создать до 64 томов (LUN)
  • Размер одного LUN ограничен 64ТБ
  • Одновременное использование SAS и SATA дисков поддерживается, но смешивать диски в одном массиве нельзя.
  • Стандартно поддерживается RAID 0, 1, 10, 5 и 50 (уровни 6 и 60 становятся доступны после покупки M5000 Advanced Feature Key)

ServeRAID M5025 это фактически копия LSI MegaRAID SAS 9280-8e, так что остальную информацию можно посмотреть на страничке оригинала.

Читать дальше ...

вторник, 18 мая 2010 г.

Многопоточный RAID

IBM анонсировали новый RAID контроллер, предназначенный специально для SSD. В отличие от остальных, представленных сейчас в портфеле IBM контроллеров, этот сделан не компанией LSI, а совместно с PMC-Sierra. Так как ServeRAID B5015 предназначен исключительно для SSD, то и выбор уровней RAID довольно скромный – только RAID1 и RAID5, создать можно до 4х логических дисков (LUN) на контроллер. Максимум можно подключить до 8ми дисков SAS 2.0 6Gb/s (замечательно укладывается в концепцию exFlash для серверов IBM x3850X5/x3950X5). Сердце контроллера – три ядра MIPS с поддержкой многопоточности. В стеке maxRAID активно используется эта самая многопоточность для увеличения производительности по сравнению с имеющимися на рынке решениями. Кэша нет, а следовательно нет и необходимости в батарейке.  image

Читать дальше ...

четверг, 1 апреля 2010 г.

Почему не нужно делать QuickInit

Заметка в блоге Adaptec про “full-stripe writes” - что это и почему это плохо? Если в двух словах (и вольном переводе), то контроллер может работать с массивами RAID5 (да и с RAID6 почти также) двумя способами:

  • Записываемые данные могут попадать в “страйп” на одном диске и записывается только этот измененный страйп, да еще и новый блок с контрольной суммой. Т.е. операция записи блока данных в одном страйпе раскладывается на такую последовательность действий: чтение старого страйпа, чтение контрольной суммы, изменение блока данных, изменение контрольной суммы, запись нового блока и новой контрольной суммы. Этим и объясняется почему RAID5 заметно медленнее чем, например, RAID10 на операциях записи.
  • Данные записываются потоком, т.е. сразу пишутся все страйпы на весь набор дисков. В этом случае контроллер “собирает” так называемый full stripe, считает контрольную сумму и все это записывает на диски. Такой способ, очевидно, работает гораздо быстрее, но только в том случае, когда запись идет последовательно.

Но так работает контроллер в том случае, когда есть уверенность, что контрольные суммы верны (т.е. массив полностью проинициализирован и контрольные суммы не содержат заведомо неверных значений). Но, если при создании массива указать опцию “Quick Init”,  никакой полной инициализации не произойдет – будут изменены только метаданные с конфигурацией. Чтобы данные пользователя не пострадали при сбое одного из дисков, в этом случае контроллер обрабатывает операции записи несколько иначе: любая операция записи влечет за собой чтение всех страйпов, изменение нужного страйпа, расчет контрольной суммы, запись “full stripe” обратно на диски. Т.е. всегда пишем “full-stripe”, но недостающие данные сначала считываем с дисков. Таким образом, любая операция записи будет задействовать все диски в массиве. Скорость, при этом, конечно будет заметно ниже, но пока не будет проведена полная верификация такого массива, никакого улучшения ждать не следует.

Отдельно хочу отметить, что использованная здесь (да и во всех документах Adaptec) терминология немного не соответствует принятой в SNIA – Adaptec (да и многие другие,  надо сказать) под словом “страйп” (stripe) подразумевают то, что в SNIA называют “стрип” (strip), т.е. тот блок, которым оперирует контроллер при работе с RAID-массивом:

imageА  вот использованный выше термин “full stripe” как раз соответствует страйпу в терминологии SNIA. Размер страйпа по умолчанию (в текущих версиях контроллеров Adaptec) равен 256КБ, т.е. после Quick Init любая (абсолютно любая) операция записи на массиве RAID5 из 5ти дисков (как на картинке) потребует чтения 256KB*4=1MB с 4х дисков и записи 1.25МБ уже на все 5 дисков. Согласитесь, не очень это должно способствовать производительности. Мораль такова: не нужно использовать Quick Init. Лучше день подождать (выбрать опцию Clear), а потом за пять минут долететь!

Читать дальше ...

понедельник, 22 марта 2010 г.

Оптимальный stripe-size для RAID-массива

Очень часто задают вопрос о том, как правильно выбрать stripe-size для того или иного массива.

Как посчитать, а что будет если на массиве и SQL, и файловый сервер?

А если SQL работает с дисками блоками по 8КБ, а RAID-контроллер не позволяет задать такой страйп, то наверное все теперь будет работать неоптимально и вообще наверное нужно искать такой контроллер, где stripe в 8КБ можно задать?

На самом деле, все это не совсем так.

То что какое-то конкретное приложение общается с дисками блоками по ххКБ вовсе не означает, что именно такой stipe-size будет оптимальным. Поэтому практически всегда на вопрос “как настроить, чтобы было лучше”, следует простой ответ: “оставьте то значение, которое предлагается по умолчанию”.

Разработчики прошивки тратят много времени на оптимизацию кода прошивки, тратят много сил на обеспечение высокой производительности. Но все эти оптимизации наилучшим образом работают как раз на выбранных в качестве “default” значениях.

До недавнего момента я все это говорил, ссылаясь исключительно на свое понимание вопроса, но на днях представитель Adaptec в своем блоге разместил точно такой же совет: 
While there is credibility in doing the maths and trying to match the stripe size to the OS/application requirements, the reality is that the defaults will “normally” walk all over specifying a particular size. Why? Because our engineers spend a lot of time in making the defaults work best. We aim to make an out-of-the-box experience for the majority of users, and put a lot of effort into making the product work without a user having to be a rocket scientist to use it. 

Зачем же производитель контроллеров дает выбор? Конечно, в ряде случаев можно получить дополнительные проценты (хотя обычно все-таки доли процентов) производительности, тщательно проанализировав характер нагрузки и выбрав значение, которое характерно именно для нее.

Особенно это будет заметно, если размер блоков, которыми приложение общается с дисками, будет больше, чем stripe по умолчанию, а нагрузка создается преимущественно случайным обращением.

Но такая ситуация возникает довольно редко, поэтому если никакие экстраординарные приложения использовать не предполагается, отдайтесь на волю разработчиков и пусть они, зная свой продукт изнутри, выберут для Вас правильные настройки.

P.S. Здесь речь идет о внутренних RAID-контроллерах. В “больших” системах есть свои особенности, связанные с работой кэша, и там оптимизация настроек может дать более заметный эффект.






Читать дальше ...

среда, 20 января 2010 г.

Вторая жизнь 3Ware

Я, когда весной прошлого года узнал о том что компания 3Ware перешла в руки LSI, считал что на этом (как это часто случалось при подобных поглощениях) история контроллеров 3Ware благополучно закончится, а LSI просто задействует часть их разработок в своих продуктах. Однако, каюсь, ошибался - LSI с толком использовали приобретенные активы для развития своего канального бизнеса. В качестве подтверждения того что “никто не забыт и ничто не забыто”, вчера были анонсированы два новых RAID контроллера с поддержкой SAS 6Gbps – 3Ware SAS 9740-4i и 9750-8i.

image

Как несложно догадаться, отличия только в числе портов (4 и 8, соответственно). Оба контроллера построены на базе чипа LSISAS2108 ROC, имеют интерфейс x8 PCI-Express 2.0, оснащены 512МБ кэш-памяти и поддерживают до 96 дисков SAS или SATA через экспандеры. Управление и настройка традиционно осуществляется через привычную всем пользователям контроллеров 3Ware утилиту 3DM2.  RAID стек также остался без изменений, что безусловно является плюсом для приверженцев контроллеров 3Ware (среди которых немалую долю составляют число пользователи Linux). Благодаря технологии StreamFusion(TM)+ достигается высокая производительность на потоковых операциях чтения/записи (контроллеры способны обеспечить производительность до 2.5GB/s на последовательном чтении и до 1.1GB/s при последовательной записи).

Читать дальше ...

вторник, 8 декабря 2009 г.

Вам чай с сахаром или руки с мылом помоете?

Глупый вопрос, не правда ли? Особенно глупо звучит, если Вы вдруг пропустили начало 90х годов прошлого века в России. Зато сейчас заканчивается первое десятилетие уже этого века, а все чаще приходится слышать не менее странную фразу: “зачем бэкап делать, если я уже RAID настроил?”. И звучит это, к сожалению, чаще всего не в момент создания системы, а уже в тот момент, когда данные надо спасать, причем спасать далеко не традиционными способами. И чем дороже был куплен RAID-контроллер, тем больше возмущение – “Я потратил такие деньги на контроллер, я разве похож на Рокфеллера, чтобы еще и резервную копию делать?! Все пропало! Производители сговорились! Нет справедливости на свете! Ведь я купил контроллер как раз для того, чтобы защитить свои данные!” Как Вы понимаете, речь идет главным образом о “домашних” пользователях, но иногда и в малом бизнесе наблюдаются подобные проблемы.

И возмущение это могло бы быть справедливым, если бы только хоть один производитель RAID-контроллеров позиционировал свой продукт как замену резервному копированию. Так для чего же тогда нужен RAID? Может ли он обеспечить защиту данных? Ответ, как это обычно и бывает, не так однозначен: может, но только в некоторых случаях. В каких? Очень просто - RAID (кроме RAID-0) обеспечит доступность данных при выходе из строя одного или более (например, двух в случае RAID-6) дисков. Вот собственно и вся защита, которую теоретически может Вам обеспечить аппаратный или программный RAID. Не больше! Обратите внимание на слово “доступность” – именно это главная задача, т.е. целю является не защита данных вообще, а минимизация возможных простоев. А могут ли данные на RAID-массиве “пропасть”? Конечно могут! И вариантов здесь очень много, вот лишь несколько примеров:

  • Программная ошибка  - самый простой случай и никак не зависит от наличия RAID.
  • Ошибка пользователя – не менее редкий (а скорее более распространенный) вариант.
  • Поломка сразу двух дисков в RAID-5 (либо трех в RAID-6). Скажете, что это маловероятно? Вовсе нет – если используются диски большого объема, то вероятность повторного сбоя во время перестроения (rebuild) массива при выходе одного из дисков заметно возрастает. Кроме того, возможна банальная проблема с блоком питания, который просто “убьет” электронику в нескольких дисках.
  • “Накопившиеся” логические ошибки на массиве. Откуда они берутся? На аппаратных RAID-контроллерах обычно есть кэш, который может значительно увеличить производительность дисковой операций записи. Но если кэш на запись никак не защищен, то неожиданная перезагрузка системы приведет потере данных в кэше контроллера. Если эта перезагрузка произошла, когда данные просто “ждали” в кэше, то будет ошибка на уровне файловой системы. А вот если в момент перезагрузки данные из кэша уже записывались на диски, то часть данных может оказаться записанными, а часть – нет. И теперь уже ошибки есть не только на уровне файловой системы, но и на уровне самого RAID-массива, так как неизвестно какая часть страйпа записана, а какая –нет. Для “отлова” таких ошибок большинство производителей предлагают соответствующие процедуры (consistency check), но кто ими пользуется пока гром не грянул? Защитить себя от этих проблем можно и батарейкой (BBU), конденсаторами с флэш-памятью или отключением кэша на запись. Но первое стоит денег, а второе - производительности.
  • Кэш есть не только на контроллере, но и на самих дисках. И операции записи кэшируются и на самих дисках. Всегда рекомендуется этот кэш выключать, но для SATA дисков и слабеньких контроллеров это радикально снижает производительность дисковой подсистемы. И те, кто не желает получить медленную систему все-таки оставляют этот кэш включенным. Что может случиться? Правильно, как и несколькими строками выше, перезагрузка может повлечь за собой потерю данных в кэше. И даже если контроллер думает, что с массивом все нормально, но на самом диске данные будут записаны совсем не те, которые нужны. И если этот сбой произошел на блоке с четностью, то до тех пор пока с массивом все нормально, данные будут доступны, а как только этот блок будет использован для восстановления (после сбоя совсем другого диска), в восстановленных данных будет “мусор”.
  • Контроллер взаимодействует с дисками, которые могут “отвечать” на команды контроллера с различными задержками (например, когда диск пытается сделать remap сбойного сектора). И контроллер может не дождаться ответа и отправит диск “на покой”. А что будет если это уже второй диск в RAID5? Правильно – данным можно сказать “прощай”. Да, конечно, диски из списков совместимости такими проблемами страдают крайне редко, но вот часто ли домашний пользователь смотрит на эти пресловутые списки? К сожалению  нет, гораздо чаще голосование происходит либо рублем, либо в пользу “любимой” марки.

Выше я перечислил только самые распространенные случаи, все это может накладываться друг на друга и число потенциальных проблем вырастает как снежный ком. Если в момент какого-то из сбоев происходит еще и “рисковая” операция с массивом (например добавление диска в массив), то вероятность успешного восстановления данных “своими руками” (я уже даже не говорю про средства самого контроллера) стремительно приближается к нулю. Что мы, увы, очень часто наблюдаем (правда со стороны).

Так может быть, скажете Вы, RAID контроллеры это “зло” и средство для обогащения жадных производителей? Столько ужасов рассказано, может быть RAID дома и не нужен вовсе? Когда же имеет смысл его использовать?

  • Если нужно повысить скорость работы дисковой подсистемы (когда производительности одного диска мало). Если хобби это обработка видео или “игры” с виртуальными машинами, то почему бы и нет?
  • Компьютер – часть домашнего офиса и там хранится коммерчески важная информация. Вам ведь нужно обеспечить защиту данных до того, как будет сделана резервная копия.
  • Жалко времени на переустановку системы в случае выхода из строя диска. Вполне логично, особенно если компьютер это не полигон для испытаний и еженедельная переустановка Windows не входит в воскресное расписание.
  • Хранятся большие объемы данных в оперативном доступе и нет никакого желания восстанавливать их в случае сбоя диска.

О чем же нужно помнить, если решили упростить себе жизнь, используя RAID?

  1. Использование любого RAID, установка BBU, отключение кэшей, регулярные проверки – ничто не гарантирует сохранность данных, если нет проверенной резервной копии.
  2. Копии важных данных должны храниться на разных носителях и очень желательно, чтобы один из этих носителей не был бы доступен для записи.

А ниже несколько рекомендаций на случай, если все-таки хочется наплевать на все то, что было сказано выше, и сделать по-своему:

  1. Создавая RAID-массив, записывайте все настройки (порядок дисков, размер страйпа и т.п.). Записывайте даже если Вы просто приняли все предлагаемые значения. Фактическое значение этого самого “default” для разных версий прошивки (firmware) аппаратного контроллера может отличаться. Разумеется не нужно хранить эти данные в текстовом файле на самом массиве – не пожалейте листа бумаги.
  2. Поддерживайте актуальную версию прошивок и драйверов. Хотя и не нужно бросаться грудью на амбразуры и устанавливать новую прошивку в день ее выхода – если у Вас сейчас нет проблем, подождите с недельку-другую, может быть именно с ней возникнут проблемы и она будет вскоре заменена.
  3. Используйте все доступные средства мониторинга. Если о случившемся сбое Вы узнали не из сообщения об ошибке в почте, а из того что система уже не загружается, зачастую уже поздно бывает что-то спасать.
  4. Делайте регулярную проверку целостности данных.
  5. Сделайте копию хотя бы самых-самых важных данных, например на DVD диски.
  6. Если планируете что-то изменить в конфигурации массива (добавить диски, изменить уровень RAID и т.п.), перечитайте еще раз пункт №5 (а лучше все это сообщение). Если изменение прошло успешно, вспомните про пункт №1 и измените соответствующие записи.
  7. Для аппаратных контроллеров диски выбирайте не по цене или общему впечатлению о бренде, а из списков совместимости для данного контроллера.
  8. Если что-то сломалось, прежде всего скопируйте самые важные данные, а уже потом занимайтесь самолечением.
  9. Если сломалось все так, что данные уже недоступны, не делайте резких движений и обратитесь к профессионалам. Найти таковых не представляет особенных проблем – даже если Вы находитесь вдали от двух столиц, общение можно свести к пересылке по почте и телефонному общению. Поверьте, почтовые затраты померкнут на фоне стоимости работ по восстановлению. Если есть возможность, сделайте посекторную копию всех дисков и экспериментируйте уже “на кошках”.

Все это конечно не оградит Вас от потери данных, но поможет заметно снизить риск этих потерь и вполне возможно сделает чуть ниже стоимость работ по восстановлению (если все-таки час “Х” настанет). Еще раз: будьте готовы к тому, что для восстановления данных нужно будет обратиться в специализированные организации. И не удивляйтесь когда стоимость работ окажется в несколько раз выше цены дисков и контроллера вместе взятых. Если же такие траты Вам не по плечу, то задумайтесь еще раз о резервном копировании тех данных, которые не хотите терять. И мойте руки с мылом, а в чай кладите сахар.







Читать дальше ...

вторник, 24 ноября 2009 г.

Сколько должно быть разъемов на контроллере?

Наболело! Чуть ли не каждый день вижу вопросы такого плана: “В сервер можно поставить 16 (24) жестких диска, а SAS RAID контроллер у меня только 8-ми (или того хуже 4х) портовый! Что мне делать? Это наверное ошибка в конфигурации?!”. Ну что на это можно сказать? Может быть это конечно и ошибка, но скорее всего нет. Как же так? А все очень просто: SAS это протокол последовательной передачи данных и поддерживающий коммутацию. Если Вам нужно к серверу подключить 7 рабочих станций, Вы же не ставите в сервер 7 сетевых карт, а используете коммутатор на 8 портов, который позволяет всем машинам получить доступ к серверу. Точно также и в данной ситуации: либо в самом корпусе (прямо на бэкплейне), либо в виде отдельной карты присутствует аналог этого самого коммутатора. Только в данном случае он называется SAS-экспандером и позволяет подключить к RAID контроллеру гораздо больше дисков, чем есть SAS линий на самом контроллере. Наиболее распространены экспандеры на базе чипов LSI: LSISASx28, LSISASx36 или LSISAS2x36 (для 6Gbps SAS). В частности, на бэкплейнах в корпусах Supermicro используются экспандеры именно LSI. Отдельные карты с экспандерами также существуют, например в России проще всего найти их среди продукции компании Chenbro.

imageНа рисунке – возможная схема подключения с двумя RAID контроллерами для отказоустойчивости к дискам через экспандер. Правда, надо сказать что это довольно специфичная конфигурация, которую мы обычно наблюдаем во внешних дисковых системах, в серверах же используется более простая схема, в которой нет ни второго контроллера, ни второго экспандера.

Вот вроде бы и разобрались – для подключения 24х дисков вовсе не нужно 24 порта на контроллере, достаточно и 4х (так как обычно именно 4 SAS линии используется для соединения контроллера с экспандером). А используя контроллер с 4мя внутренними портами и 4мя внешними можно не только задействовать (при использовании экспандера все диски в сервере, но и обеспечить возможность дальнейшего увеличения дисковой подсистемы за счет добавления внешней дисковой полки (JBOD).

Но сразу возникает несколько новых вопросов: “А нужно ли использовать экспандер? Может быть он так замедляет работу, что от него надо отказаться? У меня целых 24 (а то и еще больше) диска подключено только по 4м линиям SAS – наверное это будет очень медленно?”.

Попробуем найти ответы. Начнем с конца: 4 SAS линии по 3Gbps дают в сумме 12Gbps, а это целых 1.5 Гига-байта в секунду. Можно ли реально достичь такой пропускной способности? В принципе можно, но (а) нужно помнить, что наверное с этим потоком нужно еще что-то делать, а не просто читать или писать и (б) дисков для этого потребуется (даже при благоприятном стечении обстоятельств) заметно больше десятка. А если учесть, что при типичной работе сервера запросы к дисковой подсистеме идут в значительной степени случайные, то полосы пропускания в 12Gbps оказывается вполне достаточно – можете проверить сами на любом своем сервере, запустив perfmon (под Windows) и посмотрев на трансфер с дисков во время работы. А что до возникновения дополнительных задержек при использовании экспандеров, то они конечно есть, но “поймать” (измерить) их Вам не удастся – настолько они малы по сравнению с задержками при обращении к жесткому диску. Есть и еще один аргумент, чтобы не бояться экспандеров – в RAID-контроллерах, где количество портов больше 8, зачастую это объясняется именно наличием интегрированного на плате экспандера – например Adaptec 51245, 51645, 52445. Так что по сути, делая выбор в пользу многопортового контроллера, Вы просто приобретаете SAS экспандер на одной плате с контроллером.

Итак, использование SAS экспандеров не только не противопоказано, а вполне оправдано в подавляющем большинстве случаев!

Читать дальше ...

вторник, 3 ноября 2009 г.

Еще один RAID контроллер для IBM System x

Вчера, в день анонсов, IBM объявил о доступности довольно простенького контроллера ServeRAID M1015. Это уже третья модель у IBM для 6Gbps SAS 2.0. Из возможностей – RAID1/0/10 и поддержка до 32х дисков SAS/SATA. После установки M1000 Advanced Feature Key появляются RAID5 и 50 и encryption. Контроллер построен на базе чипа LSI SAS2008 и, как я понимаю, не имеет прямого аналога в линейке LSI MegaRAID. Ни кэш-памяти, ни возможности поставить батарейку нет, так что применение довольно ограниченное, но как достойная замена BR10i вполне подойдет.

image

Заодно был выпущен и M5000 Advanced Feature Key для контроллеров M5014 и M5015 – после его установки появляется RAID 6 и 60, а также возможность использовать encryption.

Обновился также документ ServerRAID Adapter Quick Reference, в котором содержится информация по возможностям и совместимости контроллеров для серверов IBM System x.

Читать дальше ...

четверг, 24 сентября 2009 г.

Обновление прошивки на RAID Adaptec 2й и 5й серии: проблема

На сайте Adaptec появилась информация о том, что обновление прошивки RAID контроллеров 2й и 5й серии (а это модели ASR-2405, ASR-2045, ASR-5405, ASR-5445, ASR-5805, ASR-5085, ASR-51245, ASR-51645, ASR-52445) с версии 16501 на более старшую может повлечь за собой недоступность данных (хотя все созданные ранее массивы будут иметь статус Optimal). Если у Вас на контроллерах установлена упомянутая прошивка, либо имеются массивы, которые были изначально созданы на прошивке версии 16501, настоятельно рекомендуется обратиться в техническую поддержку перед обновлением прошивки. Ну и если Вы уже обновили прошивку и доступ к данным пропал, то обращаться нужно туда же. В качестве быстрого решения возникшей проблемы можно прошить версию 16501 обратно – данные после этого станут доступны.

От себя могу сказать, что мы с такой проблемой до настоящего момента не сталкивались, что может свидетельствовать о том, что проблема встречается не так часто. Да и поскольку следующая после 16501 прошивка вышла еще в начале лета, а информация появилась только сейчас, вероятность не такая уж и большая. Но иметь в виду нужно и помнить про это важно.

Читать дальше ...

вторник, 8 сентября 2009 г.

6Gbps SAS в серверах IBM

6Gbps SAS диски уже некоторое время доступны к заказу вместе с серверами IBM, но вот сегодня были анонсированы и 6Gbps RAID контроллеры: ServeRAID M5014 и M5015. Оба контроллера имеют по 8 внутренних портов (2 miniSAS разъема) и поддерживают до 32х устройств, подключенных напрямую или через экспандеры. M5015 (на картинке) оснащен 512МБ кэш-памяти и поставляется вместе с батареей (BBU) для защиты кэша; M5014 имеет на борту 256МБ кэша и батарею к нему нужно будет докупать отдельно. Оба они построены на базе 800МГц процессора PowerPC  c контроллером LSI SAS2108 RAID-on-Chip – IBM продолжает использовать контроллеры LSI, в данном случае это, как я понимаю, практически полные аналоги MegaRAID SAS 9260-8i.

IBM ServeRAID M5015 SAS/SATA Controller

На данный момент контроллеры поддерживаются в серверах IBM x3400M2, x3500M2, x3550M2 и x3650M2 (т.е. все новые двухпроцессорные модели на “нехалемах”). Ранее мои коллеги уже приводили результаты тестирования аналогичного контроллера от Intel вместе с SSD и результаты очень впечатляют. Так что если Вам нужна высокая производительность дисковой подсистемы сервера – можно довольно успешно комбинировать новые контроллеры вместе с уже поставляемыми для этих серверов 50GB High IOPS SSD.

Читать дальше ...

пятница, 28 августа 2009 г.

Intel SSD x25-e и Intel RAID RS2BL080

Продолжая тему SSD и их работы в RAID, надо отметить что пока что (на мой взгляд) не было контроллера который давал адекватную производительность во всех ситуациях с SSD. Также большой головной болью было то, что при отключении КЭШа SSD дисков производительность системы значительно падала, тогда как его требуется выключать для создания отказоустойчивых конфигураций.

Вот и получается – хочется чтобы все работало быстро, включай КЭШ диска. Но если вдруг выключиться электричество или будет еще какой сбой, все данные находящиеся в этом КЭШе потеряются. С другой стороны выключая КЭШ мы получали просадку по производительности (подробнее можно посмотреть в предыдущем материале про SSD и контроллеры LSI).

Теперь непосредственно, что привело к написанию этого материала. Intel любезно предоставил нам в тест контроллер Intel RAID RS2BL080, который интересен тем, что он рассчитан на 6ГБ SAS (обратная совместимость с SAS 3GB и SATA присутствует), в результате чего имеет полностью переработанную архитектуру. Для начала мы решили посмотреть контроллер в работе с SSD, чтобы посмотреть на что он способен при максимально быстром back-end (дисках), результаты тестов и будут представлены ниже.

Контроллер Intel RAID RS2BL080

RS2BL080_lg
Intel RAID RS2BL080 он же LSI MegaRAID 9260-8i

Строго говоря контроллер произведен компанией LSI, Intel же OEMит их. В контроллере 8 портов 6Gb/s SATA/SAS, 512МБ памяти и процессор LSISAS2108 (6Gb/s RAID-on-Chip - 800MHz PowerPC). Выглядит вполне обычно.

Судя по маркетингу LSI максимальная пропускная способность чтения около 2,9ГБ/сек, а записи 1,8ГБ/сек.

Описание на сайте Intel.
Спецификация на сайте Intel.
Спецификация на сайте LSI.

Тесты с SSD

Было решено в первую очередь проверить две разные конфигурации:

1. 8 штук SSD Intel x25-e в RAID 5, КЭШ контроллера включен, КЭШ дисков выключен. Общий смысл данного теста был посмотреть, как себя покажет конфигурация собранная из расчета компромиссного соотношения цена/объем. Также немаловажно и то, что КЭШ дисков был отключен, в реальную работу не стоит ставить диски с включенным КЭШ, слишком велики риски потери информации.

2. 8 штук SSD Intel x25-e в RAID 10, КЭШ контроллера включен, КЭШ дисков выключен. Также было решено проверить R10 для оценки разницы в производительности относительно R5.

Ниже представлены скриншоты настроек.
Тест делался по обычной схеме с Iometer’ом.

New Bitmap ImageНастройки для теста в R5

test Настройки для теста в R10

Результаты

Последовательное чтение.

Raid5

image

Raid10

image

Чрезвычайно впечатляющее начало 160 000 IOPS на чтение, эти цифры соизмеримы с характеристиками производительности дисковых систем среднего уровня. С той лишь разницей, что на дисковой системе с обычными дисками, таких цифр можно достичь только из чистого КЭШа, а здесь эти цифры получены на LUN в 200GB. Фактически этот результат показывает производительность контроллера, для сравнения LSI 84016E давал в пике около 40 000 IOPS, Adaptec 5805 около 50 000 IOPS, здесь же мы получили 160 000 IOPS на маленьком блоке. Очень круто. Руки чешутся протестировать на нем обычный SAS, чтобы понять даст ли такой контроллер роста производительности с обычными дисками.

Кстати кроме IOPS не менее интересно что контроллер достиг уже 1200 МБ/сек. У предыдущего LSI этот потолок был около 800МБ/сек.

Случайное чтение.

Raid5

 image

Raid10

image

Результат очень достойный, для полностью случайной нагрузки также отличный результат. Тот же потолок в 1200 МБ/сек, достигается здесь несколько позже чем при последовательном чтении, что в общем естественно. Для сравнения IOPS у LSI 84016E было примерно столько же, у Adaptec 5805 в Raid5 чуть больше (правда с включенным КЭШ дисков .) ).

Отличные результаты, на уровне лучших что я видел для такого количества SSD при такой нагрузке.

Последовательная запись.

Raid5

 image

Raid10

 image

Исключительные результаты, видно что контроллер работает по максимуму и вычислительной мощности ему хватает с лихвой. При всем при этом, что интересно в RAID 5 контроллер пробил планку в 1200МБ/сек и уперся уже в 1400МБ/сек. В RAID 10 такого не наблюдается, видимо по причине меньшего количества конечных дисков на которые ведется запись. Тест опять же наглядно показывает что подопытный контроллер чрезвычайно мощный.

Что интересно, так называемого, RAID 5 penalty не наблюдается. По идее мы должны были бы видеть некоторую просадку по производительности в RAID 5 , относительно RAID 10.

Случайная запись.

Raid5

 image

Raid10

image

Левая часть графиков где отражены IOPS соответствует высоким ожиданиям, динамика графиков с точностью повторяет такую в предыдущих тестах, результаты получаются лучше чем и у LSI 84016E и у Adaptec 5805. Adaptec 5805 проигрывает где то около 20% в RAID5 и около 30% в RAID10, LSI 84016E проигрывает около 20% в RAID10 результатов эквивалентных тестов в RAID5 у меня нету.

Если же смотреть на скорость на большом блоке, пожалуй стоит поумерить свои восторги, результаты получаются низкие.  Впрочем они такие же низкие как и в случае других контроллеров, судя по результатам предыдущих тестов.

Также надо отметить, что есть подозрение что такое поведение массива обязано больше не контроллеру а дискам и их собственным алгоритмам записи и выстраивания очереди. Любопытно посмотреть аналогичные результаты при включеном КЭШ дисков (собственно именно эти тесты сейчас у нас и идут).

33% чтение, 100% случайные операции.

Raid5

 image

Raid10

 image

Комментировать особенно нечего, случайная запись задает тон результатам. Они в точности повторяют динамику случайной записи.

Типовые профили

Raid5

Access
Specification
Name
IOps Read IOps Write IOps MBps Read MBps Write MBps ART (ms) ART-read (ms) ART-write (ms)
File Server 7 938,72 6 349,31 1 589,41 85,82 68,62 17,20 4,03 4,78 1,04
Web Server 15 791,47 15 791,47 0,00 242,30 242,30 0,00 2,03 2,03 0,00

Raid10

Access
Specification
Name
IOps Read IOps Write IOps MBps Read MBps Write MBps ART (ms) ART-read (ms) ART-write (ms)
File Server 17 184,08 13 750,53 3 433,55 185,72 148,68 37,04 1,86 2,02 1,21
Web Server 20 511,35 20 511,35 0,00 313,48 313,48 0,00 1,56 1,56 0,00

В качестве сравнительной шкалы приведены результаты двух типовых тестов, отметить хочется то, что при очень высоких результатах время ответа (ART) сохраняется на рекордно низком уровне 1-4 ms. В этих же результатах видно что RAID 10 благодаря более высоким результатам на записи показывает лучшие результаты.

Выводы

Что хочется сказать в итоге, контроллер судя по этим результатам получился исключительно мощный, руки чешутся сделать тесты на 15k SAS дисках (я думаю сделаем на следующей неделе), вероятно контроллер и на них даст лучшую производительность чем его текущие конкуренты (тот же Adaptec 5805).

Касаемо текущей конфигурации на SSD, пожалуй её можно рекомендовать для любой интенсивной дисковой нагрузки. Там где будет преимущественно случайная запись большим блоком результат не будет радовать, с другой стороны это одна из самых синтетических нагрузок.

Доступность и стоимость контроллера пока не ясна, как я уже писал выше, нам он достался в единственном экземпляре и реальных цен в РФ я не видел. Судя по всему он должен быть в одной ценовой группе с Adaptec 5805 и аналогичными 8 портовыми LSI.

Читать дальше ...

понедельник, 3 августа 2009 г.

Описание настроек кэширования на контроллерах LSI

Нашлось в гугле, по моему очень доступно. Переводить лень, да и незачем.

Read Policy:
The read policies indicate whether or not the controller should read sequential sectors of the logical drive when seeking data.

  • Read-Ahead. When using read-ahead policy, the controller reads sequential sectors of the logical drive when seeking data. Read-ahead policy may improve system performance if the data is actually written to sequential sectors of the logical drive.
  • No-Read-Ahead. Selecting no-read-ahead policy indicates that the controller should not use read-ahead policy.
  • Adaptive Read-Ahead. When using adaptive read-ahead policy, the controller initiates read-ahead only if the two most recent read requests accessed sequential sectors of the disk. If subsequent read requests access random sectors of the disk, the controller reverts to no-read-ahead policy. The controller continues to evaluate whether read requests are accessing sequential sectors of the disk, and can initiate read-ahead if necessary.

Write Policy:
The write policies specify whether the controller sends a write-request completion signal as soon as the data is in the cache or after it has been written to disk.

  • Write-Back. When using write-back caching, the controller sends a write-request completion signal as soon as the data is in the controller cache but has not yet been written to disk. Write-back caching may provide improved performance since subsequent read requests can more quickly retrieve data from the controller cache than they could from the disk. Write-back caching also entails a data security risk, however, since a system failure could prevent the data from being written to disk even though the controller has sent a write-request completion signal. In this case, data may be lost. Other applications may also experience problems when taking actions that assume the data is available on the disk.
  • Write-Through. When using write-through caching, the controller sends a write-request completion signal only after the data is written to the disk. Write-through caching provides better data security than write-back caching, since the system assumes the data is available only after it has been safely written to the disk.

Cache Policy:
The Direct I/O and Cache I/O cache policies apply to reads on a specific virtual disk. These settings do not affect the read-ahead policy. The cache policies are as follows:

  • Cache I/O. Specifies that all reads are buffered in cache memory.
  • Direct I/O. Specifies that reads are not buffered in cache memory. When using direct I/O, data is transferred to the controller cache and the host system simultaneously during a read request. If a subsequent read request requires data from the same data block, it can be read directly from the controller cache. The direct I/O setting does not override the cache policy settings. Direct I/O is also the default setting.
Читать дальше ...

четверг, 18 июня 2009 г.

Тестирование Intel® X25-E Extreme SATA Solid-State Drive

Идею твердотельных жестких дисков нельзя назвать революционной, они уже широко представлены на рынке и, в силу своей безусловной востребованности, медленно, но верно завоевывают корпоративный сегмент рынка.

За последние годы производительность процессоров и памяти выросла в десятки раз, а производительность подсистемы ввода-вывода осталась практически неизменной - вырос только объем дисков. Для увеличения производительности нам приходится постоянно увеличивать количество дисков, докупать к массиву новые дисковые полки, использовать более сложные уровни RAID для увеличения отказоустойчивости - и снова терять производительность.

Компания Intel представила два новых SSD накопителя. Это сверхбыстрые твердотельные накопители Intel X25-M и X25-E. Первый рассчитан на системы среднего уровня, а второй, достоинства и недостатки которого я рассматриваю, рассчитан на корпоративный (High-End) сегмент.

Что же диск из себя представляет?

Диски выполнены в форм-факторе 2,5 дюйма, имеют привычный и интерфейс SATA с пропускной способностью 3.0 Gb/s, практически не греются и устойчивы к вибрациям. Полная спецификация диска доступна на сайте производителя (http://download.intel.com/design/flash/nand/extreme/extreme-sata-ssd-datasheet.pdf).

Явным достоинством дисков X25-E является использование флеш памяти SLC (single-level cell), что обеспечивает высокую производительность, так как имеется прямой доступ к каждому биту данных (в отличие от памяти MLC (multi-level cell), где в каждой ячейке хранится несколько бит данных).

clip_image002

SSD диск Intel X25-E 32 GB

clip_image004

Можно оценить масштаб

Также для повышения производительности используется десятиканальный контроллер памяти работающий с чипами параллельно, то есть вся флеш-память внутри диска объединена в RAID 0. Основное преимущество в использовании SSD дисков – крайне малое время для обращения к случайным секторам, что очень важно в системах хранения (к примеру, для поиска по базе данных). Мы постараемся проследить это в нашем тесте. Главное, что заставляет смотреть в сторону SSD дисков как на перспективное решение хранения – интерфейс SATA и самим фактом работы их с уже существующей инфраструктурой. Нет сомнений, что намного проще постепенно добавлять SSD к системам хранения, начиная от понятной возможности включения их в SATA контроллеры. А в перспективе, возможно, появятся отдельные контроллеры, оптимизированные именно под SSD или отдельные BIOS для существующих контроллеров, которые будут работать с SSD оптимально, а другие BIOS будут для HDD.

clip_image006

Если разобрать – видим на одной стороне 10 чипов памяти SLC, 1 контроллер диска от Intel, 1 чип памяти RAM в роли кэша. На другой стороне 10 чипов памяти.

В чем же отличие SSD выражается на практике? Во-первых, не все SSD диски обладают одинаковой скоростью, их производительность существенно различается в зависимости от производителя и типа микросхем, а также внутреннего контроллера самого диска. Пока технологии только-только серьезно вышли на рынок, разница в скорости от диска к диску может быть очень существенная, даже при одном типе ячеек памяти и количестве банков памяти. Эта разница может достигаться за счет оптимизации логики контроллера и технологий, использованных в нем.

Часто к недостаткам твердотельных дисков относят достаточно высокую цену за 1Mb хранимой информации. Это не совсем верно, более правильно пересчитывать цену за iops. Как правило, нам не требуется огромного объема для хранения базы данных.

Еще одно заблуждение – это невысокая надежность, вызванная ограниченным количеством циклов перезаписи ячеек памяти. Время наработки на отказ (MTBF) у X25-E составляет 2 миллиона часов, к примеру, MTBF жестких дисков Hitachi HUS153014VL300 составляет 1,2 миллиона часов, а у контроллера Adaptec на котором мы проводили тесты всего 873,402 часов.

К этому можно добавить “умный” контроллер, который оптимизирует использование ресурса записи ячеек, т.е. износ памяти происходит равномерно. Для повышения отказоустойчивости, на дисках зарезервировано 6% от объема на случай отказа части ячеек или исчерпания ими ресурса записи. А также вы можете при помощи SMART отслеживать количество уже записанной информации и прогнозировать время жизни каждого диска.

Соответственно если отдельная ячейка перестает работать, вместо неё начинает использоваться резервная. Учитывая природу SSD, это не сказывается на общей производительности, в отличие от аналогичной процедуры remap’а у HDD. Скорость работы SSD не зависит от фрагментации ячеек, как таковое понятие физической последовательности ячеек просто отсутствует в SSD.

А за счет того, что дисковый контроллер организует информацию отказоустойчивым образом, это не влечет за собой ни потери данных, ни ухудшения производительности.

Методика тестирования

Тестовая конфигурация:

Материнская плата

Supermicro X7SBE (f/w 1.2a)

Процессор

Intel Core 2 Quad Q9400 2666 MHz

Оперативная память

2x Kingston 2GB 800 DDR2

RAID контроллер

Adaptec RAID 5805 (f/w 16501) Cache Memory 512MB of DDR2

Дисковая система

Seagate 7200.10, 250Gb –системный
- 8x Intel® X25-E 32 Gb
- 8x Hitachi HUS153014VL300147Gb 15K rpm

Операционная система

MS Windows Server 2008 Enterprise 6.0.6001 (HotFix KB960735)

На данный момент ни в одном из известных мне RAID контроллеров не реализована полная поддержка SSD дисков. То есть они работают с SSD как с обычными дисками, что влияет на итоговый результат.

В своих тестах я использовал контроллер Adaptec как хорошо себя зарекомендовавший для любой нагрузки уровня локальной серверной системы хранения.

Официально Intel валидировала свои SSD под южный мост ICH9R и ICH10R, а Adaptec добавил их в лист совместимости, хотя поддержку конфигураций Adaptec начнет оказывать только с лета.

Эмпирическим путем были выяснены оптимальные настройки контроллера для работы с SSD:

Drivers Write Cache

Enable All (рекомендовано инженерами Intel)

Array Background Consistency Check

Disabled

SATA Native Command Queuing

Enabled (рекомендовано инженерами Intel)

Power Management

Off (как показали другие исследователи, данная опция имеет серьезное влияние на производительность SSD)

Почти таким же путем и параметры массива:

Write cache

Enabled (write-back) when protected by battery (общая рекомендация для RAID)

Read cache

Enabled

Stripe Size RAID 0

1024 kb

Stripe Size RAID 5

256 kb (рекомендовано инженерами Intel)

Для большей достоверности полученных результатов каждый раз перед новым тестом, проводилась полная инициализация массива.

Тест 1-го SSD диска

В начале тестирования, когда я измерял производительность одного диска, он был подключен к южному мосту ICH9R. Результаты получались в 1,5-2 раза ниже официально заявленных и при повторении тестов результаты очень сильно отличались друг от друга. Как выяснилось, проблема оказалась в некорректной поддержке NCQ в ACHI драйвере Microsoft (http://support.microsoft.com/kb/960735/en-us). После установки патча, диск сразу показал производительность близкую к заявленной.

clip_image008

Результаты получились близкие к заявленным, что позволило перейти к дальнейшим тестам дисков в RAID. Именно эти тесты представляют из себя наибольший интерес.

Забегая вперед, отмечу, что получаются чрезвычайно любопытные результаты. Чем же они любопытны? В первую очередь тем, что они ясно показывают всю специфику устройства. Поведение SSD в разных тестах принципиально отличается от поведения классических дисков в тех же ситуациях.

2xSSD – Raid 0, блок 1024kb

В этой конфигурации на пробу были включены 2 SSD диска с целью понять, как оно вообще будет работать в RAID. Естественно ожидаемый прирост производительности относительно 1-го диска 2 раза.

Я прогонял по 10 минут IOmeter в 256 потоков с разными по размеру блоками запроса. Блок меньше 128kb можно соотнести с нагрузкой БД или веб-сервера, блок большего объема к работе с файлами.

Соответственно в графиках ниже, по горизонтали размер блока, по вертикали –IOPS или мегабайты в секунды.

Линейное чтение

clip_image010clip_image012

Линейная запись

clip_image014clip_image016

Сначала были выполнены тесты с последовательными чтением и записью. Поскольку, например операции чтения показали скорость больше 1,5 ГБ/сек, у меня нет к ним большого доверия. Это связано с тем, что большую часть запросов обрабатывал кэш контроллеров. В общем и целом линейные результаты получились - «ни о чем».

Случайное чтение

clip_image018clip_image020

Случайная запись

clip_image022clip_image024

А вот с операциями случайного доступа, все намного интереснее. Они не зависят от кэша и по ним можно оценить саму скорость диска, поскольку влияние модуля кэширования контроллера в них сводится к минимуму.

Интересен провал производительности в случае записи блоков больше чем 64кб, но об этом мы поговорим чуть ниже, при сравнении SAS и SSD.

Сами цифры для 2-х дисков получились отличные. Для полностью случайной записи по 4 000 IOPS на диск это очень круто.

Чтение 33%, запись 67%

clip_image026clip_image028

В этом тесте использовалась смешаная нагрузка, наглядно видно, что провал по записи тянет за собой и чтение. Это объясняется одной очредью операций в которой чтение не может опередить запись.

Результаты по случайной нагрузке - очень похоже на правду. Неравномерное изменение характеристик, связано, на мой взгляд, с прошивкой контроллера поскольку его стек не оптимизирован для работы с SSD дисками.

В начале лета должна появиться прошивка для контроллера Adaptec которая сможет использовать все преимущества дисков как следствие ожидается улучшение результатов.

8xSSD – Raid 0, блок 1024kb

VS
8
xSSD – Raid 5, блок 256kb

VS
8xSAS15k – Raid 5,
блок 256kb

Итак сравним напрямую производительность 8 SAS и 8 SSD на одном и том же контроллере Adaptec 5805. Всего в дисковом контроллере было 2 порта по 4 канала, соответственно все порты заняты дисками. Этим обусловлено количество сравниваемых дисков – 8. Еще на выбор в 8 дисков повлияло то что всего у меня было 8 штук SSD для тестов.

Нагрузки смотрим только случайные, последовательные игнорируем как показавшие свою некорректность.

В наших тестах размер блока чтения/записи 4Кб оказался наиболее приемлемым с точки зрения количества операций в секунду. В пользу того, что такой размер является оптимальным, говорят и официальные данные Intel, где производительность в IOPS также рассчитывается на блоках 4 Кб. Но в реальных задачах часто блоки иные, и мы постарались показать изменение производительности при смене блока. Таким образом, в этих тестах мы выбрали стандартные размеры блоков и проверяли производительность дисковых систем под нагрузкой 256 одновременных потоках IOmeter’а.

Случайное чтение

SSD

clip_image030clip_image032

SAS

clip_image034clip_image036

Различия в производительности Raid 0 и Raid 5 у SSD вызваны тем что, во втором случае контроллер RAID выполняет работу по расчетам четности блоков данных, что снижает общую производительность.

Радует что результат линейный и крайне предсказуемый. Также замечательно то, что в пике чтение SSD достигает 1ГБ/сек или 30 000 IOPS. Результаты SAS в 10 раз меньше.

Случайная запись

SSD

clip_image038clip_image040

SAS

clip_image042clip_image044

Наиболее показательно то, что SSD на маленьком блоке (512b – 8k) дает результаты почти в 20 раз выше, чем SAS. В общем-то, увидели, что и ожидали. Именно в такого типа нагрузке SSD проявляет себя с самой сильной стороны.

Падение производительности SSD на блоке больше 64кб мы уже видели до этого в RAID 0 из двух SSD дисков. Причины этого падения производительности у SSD не ясны, но можно предположить, что алгоритмы записи SSD диска заточены на блок меньший 64к. Либо алгоритмы работы Adaptec’а каким-то образом влияют на производительность контроллера SSD при блоках больших 64K. Поскольку внутренняя схема работы и алгоритмы контроллера не известны нельзя точно сказать, в чем же дело.

Но даже, несмотря на это падение, худший результат SSD всё равно выше, лучшего результата SAS.

Мы надеемся получить в скором времени оборудование, которое позволит провести дополнительные тесты и возможно это поможет понять природу данного явления.

70% запись, 30% чтение

SSD

clip_image046clip_image048

SAS

clip_image050clip_image052

Графики разделены на чтение и запись, что позволяет детально видеть динамику движения и влияние чтения на запись.

В целом, результаты повторяют собой графики случайной записи. Понятно, что операции записи выполняясь медленнее и тянут за собой чтение. В итоге суммарный результат напрямую зависит от скорости записи.

Этим объясняется падение производительности SSD на размере блока 64к. Здесь мы видим туже картину, что и в случайной записи. В случайном чтении поведение графика было другое, в тесте со смешанной нагрузкой оно становится как и у записи из-за общей очереди. Опять же про это уже говорили выше.

По результатам наглядно видно превосходство SSD дисков над HDD. На маленьком блоке оно просто огромно! SSD быстрее больше чем в 20 раз.

Время ответа массива при нагрузке 70% запись, 30% чтение

SSD

clip_image054

На графиках: ART – среднее время ответа.

SAS

clip_image056

На графиках: ART – среднее время ответа.

Итак, одна из важных характеристик про которую часто забывают – время ответа массива. По сути это время которое ждет система до того как получит ответ по одному запросу и получит возможность отправить на диск следующий запрос.

Этот параметр критичен, например, для баз данных. БД генерирует огромное количество запросов и естественно долгое ожидание на запрос, тормозит всю очередь.

По графикам видно, что на блоках свойственных БД, SSD в сотни раз превосходит обычные диски. Ситуация начинает портиться при размере блока больше 256кб, но этот тип нагрузки свойственен больше потоковому копированию на котором эта характеристика уже менее актуальна. Есть предположение, что схожая динамика SSD и SAS может быть объяснена дисковым контроллером, но это скорее предположение.

Выводы

Как мы видим, SAS диски проигрываю SSD в производительности на операциях случайного чтения и записи в 10 и более раз, что не удивительно. Классические диски - это механика, которой нужно время на позиционирование головки диска, и хорошо заметно, если посмотреть на задержки по времени доступа к диску.

Итак, если ваша задача требует интенсивного обмена данными с дисковой системой, то твердотельные диски Intel X-25E станут достойной альтернативой многодисковым массивам из традиционных дисков. К примеру, SSD получается отличным решением для баз данных или веб серверов.

В тоже время нужно понимать, что SSD не могут заменить традиционные дисковые решения для хранения больших объемов информации, хотя и могут повысить их производительность в качестве подсистемы кеширования.

При появлении в нашей лаборатории других контроллеров с поддержкой SSD (а также новых прошивок для контроллеров) мы проведем дополнительную проверку результатов и сможем проверить высказанные выше гипотезы.

Читать дальше ...