вторник, 11 августа 2009 г.

8 х SSD intel x25-e в Raid0 на MegaRAID SAS 84016E

Я уже устал писать вводные части по таким темам, поэтому буду краток. К заголовку можно добавит следующее:

1. Размер страйпа массива 1МБ.
2. Глубина очереди при тестах – 4 воркера по 8 QD. То есть общая глубина очереди – 32. Была уменьшена по сравнению с предыдущими случаями.
3. Во всех случаях КЭШ контроллера отключен.
4. В половине тестов КЭШ дисков включался (результаты №1), в половине выключался (результаты №2)

Теперь собственно результаты

Последовательное чтение

Кэш дисков включен
image

Кэш дисков выключен
image

Все одинаково. От включения КЭШ дисков ничего не меняется.

Последовательная запись

Кэш дисков включен
image

Кэш дисков выключен
image

В записи все намного хуже, получается что от выключения КЭШ дисков производительность IOPS на маленьком блоке падает в 4 раза. Хотя абсолютные цифры на большом блоке вполне приличные.

Случайное чтение

Кэш дисков включен
image
Кэш дисков выключен

image

В случайном чтении как и потоковом разницы нет вообще. Потолок как обычно около 840МБ/сек. Откуда он берется надо отдельно смотреть, собака зарыта в контроллере.

Случайная запись

Кэш дисков включен
image
Кэш дисков выключен

image

Случайная запись выглядит как обычно не хорошо =). Графики дерганые, хотя для 100% случайной записи 250МБ/сек это я бы сказал очень нормально, только вот почему она падает с увеличением блока – вопрос.

Запись/чтение 67/33 – 100% случайные

Кэш дисков включен
image
Кэш дисков выключен

image

В смешанной нагрузке запись тянет за собой чтение, никаких неожиданностей. График напоминает сглаженный график случайной записи. По существу уверенные 400 мб/сек вполне прилично. 20 000 IOPS на маленьком блоке - в общем то очень круто.

Выводы

1. Отключение КЭШ дисков сразу дает падение производительности от 20% до 400% в операциях записи.
2. Наблюдается странный порог в 840МБ/сек для данного контроллера 

Сейчас появилась новая прошивка для SSD дисков, я думаю мы перешьем её и попробуем все заново =). Скорее всего с контроллерами Adaptec уже, они как то приличнее выглядят …

8 комментариев:

  1. Чего странного в пороге 800МБ/с? Процессор у него не резиновый. Я бы даже сказал - дофига.

    По поводу кэша - а со включенным кэшем контроллера, но выключенным диска, мерял?

    Прогнал бы адаптец еще...

    ОтветитьУдалить
  2. адаптеки гоняли, надо смотреть пост один из первых здесь. там результаты выше,но картина результатов тоже не предсказуемая.

    со включеным кэшем, можно посмотреть был пост про R10 на этом же контроллере с теми же 8 ССД. где то неадвно. проще по тэгу SSD найти в блоге.

    про 840МБ/сек смущает что цифра очень точная и выступает независимо от размера IOPS, это показывает что дело не в ЦП, а в какой то из внутренних шин, вот только какой - ХЗ. кстати возможно это ограничение можно обойти если включить диски по всем 4-м каналам а не только по 2-м, как делал я.

    Честно говоря, смысла это делать я не вижу, все равно вопрос для меня заключается не в том, как преодолеть на этом контроллере 840МБ/сек, а в том, как научиться 100% прогнозировать результат конкретной конфигурации и оптимизировать контроллер под неё.
    А то сейчас получается что точно можно сказать только 2 вещи: во первых скорость очень большая, особенно на маленьком блоке; во вторых адаптек работает быстрее.

    ОтветитьУдалить
  3. А чем скорость измеряли?

    ОтветитьУдалить
  4. Я подцепил 15 дисков в рейд 6, iometer скорость записи больше 35МБ/сек не показывает. Контроллер 84016е, диски seagate sas 15k 450gb. то ли он перегревается, то ли еще что происходит, не могу понять. Может посоветуете куда копать?

    ОтветитьУдалить
  5. 2Влад: поставить диагноз по такому описанию практически невозможно. Либо следует полностью описать проблему (например, на http://www.3nity.ru ), либо пригласить специалиста для разбора полетов.

    ОтветитьУдалить
  6. Спасибо.
    Можно ли дополнение, BBU установлен на тестируемый адаптер?

    ОтветитьУдалить
  7. 2Влад: В самом начале написано:
    3. Во всех случаях КЭШ контроллера отключен.

    ОтветитьУдалить