Я уже устал писать вводные части по таким темам, поэтому буду краток. К заголовку можно добавит следующее:
1. Размер страйпа массива 1МБ.
2. Глубина очереди при тестах – 4 воркера по 8 QD. То есть общая глубина очереди – 32. Была уменьшена по сравнению с предыдущими случаями.
3. Во всех случаях КЭШ контроллера отключен.
4. В половине тестов КЭШ дисков включался (результаты №1), в половине выключался (результаты №2)
Теперь собственно результаты
Последовательное чтение
Кэш дисков включен 
Кэш дисков выключен 
Все одинаково. От включения КЭШ дисков ничего не меняется.
Последовательная запись
Кэш дисков включен 
Кэш дисков выключен 
В записи все намного хуже, получается что от выключения КЭШ дисков производительность IOPS на маленьком блоке падает в 4 раза. Хотя абсолютные цифры на большом блоке вполне приличные.
Случайное чтение
Кэш дисков включен 
Кэш дисков выключен
В случайном чтении как и потоковом разницы нет вообще. Потолок как обычно около 840МБ/сек. Откуда он берется надо отдельно смотреть, собака зарыта в контроллере.
Случайная запись
Кэш дисков включен 
Кэш дисков выключен
Случайная запись выглядит как обычно не хорошо =). Графики дерганые, хотя для 100% случайной записи 250МБ/сек это я бы сказал очень нормально, только вот почему она падает с увеличением блока – вопрос.
Запись/чтение 67/33 – 100% случайные
Кэш дисков включен 
Кэш дисков выключен
В смешанной нагрузке запись тянет за собой чтение, никаких неожиданностей. График напоминает сглаженный график случайной записи. По существу уверенные 400 мб/сек вполне прилично. 20 000 IOPS на маленьком блоке - в общем то очень круто.
Выводы
1. Отключение КЭШ дисков сразу дает падение производительности от 20% до 400% в операциях записи.
2. Наблюдается странный порог в 840МБ/сек для данного контроллера
Сейчас появилась новая прошивка для SSD дисков, я думаю мы перешьем её и попробуем все заново =). Скорее всего с контроллерами Adaptec уже, они как то приличнее выглядят …
Сообщения
Чего странного в пороге 800МБ/с? Процессор у него не резиновый. Я бы даже сказал - дофига.
ОтветитьУдалитьПо поводу кэша - а со включенным кэшем контроллера, но выключенным диска, мерял?
Прогнал бы адаптец еще...
адаптеки гоняли, надо смотреть пост один из первых здесь. там результаты выше,но картина результатов тоже не предсказуемая.
ОтветитьУдалитьсо включеным кэшем, можно посмотреть был пост про R10 на этом же контроллере с теми же 8 ССД. где то неадвно. проще по тэгу SSD найти в блоге.
про 840МБ/сек смущает что цифра очень точная и выступает независимо от размера IOPS, это показывает что дело не в ЦП, а в какой то из внутренних шин, вот только какой - ХЗ. кстати возможно это ограничение можно обойти если включить диски по всем 4-м каналам а не только по 2-м, как делал я.
Честно говоря, смысла это делать я не вижу, все равно вопрос для меня заключается не в том, как преодолеть на этом контроллере 840МБ/сек, а в том, как научиться 100% прогнозировать результат конкретной конфигурации и оптимизировать контроллер под неё.
А то сейчас получается что точно можно сказать только 2 вещи: во первых скорость очень большая, особенно на маленьком блоке; во вторых адаптек работает быстрее.
А чем скорость измеряли?
ОтветитьУдалить2Влад: iometer
ОтветитьУдалитьЯ подцепил 15 дисков в рейд 6, iometer скорость записи больше 35МБ/сек не показывает. Контроллер 84016е, диски seagate sas 15k 450gb. то ли он перегревается, то ли еще что происходит, не могу понять. Может посоветуете куда копать?
ОтветитьУдалить2Влад: поставить диагноз по такому описанию практически невозможно. Либо следует полностью описать проблему (например, на http://www.3nity.ru ), либо пригласить специалиста для разбора полетов.
ОтветитьУдалитьСпасибо.
ОтветитьУдалитьМожно ли дополнение, BBU установлен на тестируемый адаптер?
2Влад: В самом начале написано:
ОтветитьУдалить3. Во всех случаях КЭШ контроллера отключен.