Intel любезно предоставил в тестирование контроллер MegaRAID SAS 84016E чтобы попробовать как на нем заработают SSD, в результате было сделано 2 теста с разными настройками контроллера. в обоих тестах использовались 8 дисков подключенных по 4 в первые два канала контроллера. В обоих случаях диски собирались в RAID 10. Чем отличались тесты? В первом случае тест делался с включенным КЭШем контроллера, во втором с выключенным. Надо отметить что в своих результатах Intel получает наилучшие результаты именно с выключенным КЭШем. Также надо отметить, что Intel рекомендует вместе с отключением КЭШа контроллера включать КЭШ дисков. Также наоборот, при включении КЭШа контроллера – выключать кэш дисков.
Для тестирования была взята платформа как и до этого в тестах с adaptec только вместо контроллера adaptec в неё включался контроллер MegaRAID SAS 84016E. Как уже писалось выше в контроллер включалось по 4 SSD в первый и второй канал. Диски включались напрямую, без корзин.
Настройки контроллера – первый случай:
КЭШ контроллера включен. КЭШ дисков выключен.
КЭШ контроллера отключен. КЭШ дисков включен. Рекомендации Intel.
Какие получились результаты.
Последовательное чтение
Кэш включен
Кэш выключен
Уже привычная по Adaptec и предыдущему тестированию картина странных всплесков и падений. Динамика скорости примерно одинаковая. Потолок в который уперлась скорость в обоих случаях – 845МБ/сек. В случае включенного КЭШа скорее всего просадки вызваны особенностями контроллера, видимо работа идет блоками по 16кб, поэтому после достижения размера блока этого размера скорость работы контроллера с КЭШем перестает быть узким местом. Откуда взялся скачек на блоке в 2кб в случае включенного КЭШа – ума не приложу. Может быть какие то дополнительные внутренние оптимизации.
Последовательная запись
Кэш включен
Кэш выключен
При последовательной записи КЭШ наоборот начинает играть роль, видимо такой результат связан с его алгоритмом работы на запись. Рост производительности при включенном КЭШе идет до блока в 16кб, что скорее всего связано с размером блока КЭШа. Почему абсолютные цифры при последовательной записи (в случае включенного КЭШа) выше чем при последовательном чтении, неясно. Можно предположить что контроллер лучше справляется с алгоритмами кэширования записи, нежели чем с упреждающим чтением.
Случайное чтение
Кэш включен
Кэш выключен
Картина схожа, поскольку все операции на 100% случайны контроллер не может вмешаться алгоритмами упреждающего чтения. Верхняя граница та же 845МБ/сек.
Случайная запись
Кэш включен
Кэш выключен
Поскольку процедура полностью случайная, КЭШ контроллера никак не может повлиять на результат, видны схожие результаты в обоих случаях. Причем результаты записи большим блоком идут очень медленно, результаты требуют разъяснения от производителя. Не очень ясно какие настройки выбраны не корректно. На маленьком блоке результат без КЭШа контроллера предсказуемо лучше.
Запись/чтение 67/33 – 100% случайные
Кэш включен
Кэш выключен
Данный результат повторяет результат случайной смешанной нагрузки из теста выше. По понятным причинам запись тянет за собой вниз и чтение.
Выводы
Нельзя сделать однозначный вывод по результатам теста, поскольку цифры и динамика их изменения не похожа на аналогичные результаты HDD (опять же обычные результаты можно посмотреть в предыдущем материале про SAS и SSD на Adaptec). Можно точно сказать, что пока что результат не оправдывает ожидания, есть подозрение что при отключенном КЭШе нужно попробовать поставить размер блока массива больше чем 256КБ, к примеру те же 1024КБ в случае Adaptec это давало наилучший результат. Сейчас доделываются результаты R0 из 8xssd при размере блока 256КБ и отключенном КЭШе контроллера, я думаю следующим этапом мы попробуем прогнать тест в той же конфигурации только с отключенным КЭШем дисков, выберем наилучший результат и в такой конфигурации повторим тест с максимальным размером блока. Возможно это даст ответ на то насколько сильно влияет кэширование самих дисков на результат и насколько повлияет изменение размера блока в большую сторону на уровне всего массива.
Проверь обязательно с ВЫключенным кэшем самих SSD. Фишка в том, что кэш контроллера защищен ББУ, чего нельзя сказать про кэш дисков. Последствия наверно объяснять не надо.
ОтветитьУдалитьМы у себя быстренько прогоняли на адаптеке (кэш контроллера вкл) - падение рандом иопс при выключении кэша SSD - порядка 25%.
Все тесты делались без BBU, кэш был насильно включен. Про КЭШ дисков конкретней написал выше, рядом со скриншотами настроек контроллера.
ОтветитьУдалитьА почему при запись/чтение соотношение 67/33?
ОтветитьУдалитьКак-бы 33/67 было бы более приближенным к большинству тяжелых задач.
За то 67/33 ближе к типичной ситуации базы 1С 7.7 dbf
ОтветитьУдалитьдля тяжелых задач пытаются купить много памяти, вот и получается что горячие области попадают в кеш в ОЗУ уже при записи даже не будучи считанными ни разу. Отсюда и соотношение в пользу операций записи.
ОтветитьУдалить