Еще во времена, когда только появлялись 4Гбит FC коммутаторы, одни производителя делали громкие заявления о грядущем тотальном переходе на 10Гбит, другие уже тогда вели разговоры про смерть FC. Время шло, 10Гбит так и не прижился в широких кругах, Fibre Channel ничуть не умер, а продолжает активно двигаться вперед (как по функционалу, так и в плане скоростей). Да, несомненно, бэкенд в дисковых системах целенаправленно уходит в сторону SAS. Здесь для FC места уже сегодня практически нет, а скоро и не будет совсем. Однако для построения сети хранения данных (SAN) альтернатив не так уж и много. FCoE начинает распространяться, но инсталлированная база FCoE слишком мала, есть и целый ряд “детских” проблем, так что в больших сетях продолжает царствовать Fibre Channel.
Одним из главных “паровозов”, двигающих развитие FC, без сомнения является компания Brocade. Очередным шагом к светлому будущему стал анонс линейки продуктов, поддерживающих 16Гбит Fibre Channel. На рынок выпущены как адаптеры для серверов, так и коммутаторы.
Адаптеры представлены одно- и двухпортовыми картами Brocade 1860 Fabric Adapter для шины PCI-express 2.0 (x8).
Декларируется производительность до 500.000 IOPs на порт. Отличительной особенностью является поддержка не только протокола Fibre Channel (16/8/4/2Gbit), но и 10Gbit Ethernet. Один и тот же адаптер, таким образом, может использоваться как работы с FC, DCB, FCoE и iSCSI. Технология virtual Fabric Link (vFLink) позволяет превратить один адаптер в 16 виртуальных, которые будут видных внутри операционной системы как отдельные карты, работающие либо как vHBA (Fibre Channel), либо как vNIC (Ethernet). Полоса пропускания для каждого виртуального адаптера может быть установлена произвольно с шагом 100Мбит.
Также поддерживается и технология SR-IOV, обеспечивая до 255 Virtual Functions на адаптер.
16Гбит коммутатор (на текущий момент он один) – Brocade 6510 Switch построен на базе ASIC Condor3.
Занимая в стойке всего 1U, коммутатор позволяет использовать от 24 до 48 портов (активированные порты наращиваются по 12шт). Все порты поддерживают скорости 2, 4, 8, 10 и 16Gbps и работают без переподписки (oversubscription). Коммутатор оснащен двумя блоками питания с горячей заменой. В ISL транках можно объединять до 8 линков, обеспечивая пропускную способность до 128Gbps. Также поверх ISL поддерживается компрессия и шифрование “на лету”.
Для “мега” инсталляций выпущено два новых шасси – DCX 8510 Backbone в вариантах с 4мя и 8ю слотами. Заказчики могут получить до 384 портов 16Gbps в одном шасси и пропускную способность до 8.2Tbps. Про DCX писать особенно ничего не буду – все кому они реально нужны и так в курсе возможностей и прочего.
Сообщения
Вот как раз на линейном чтении DS3500 запросто дает заметно больше 4Гбит. Ставить 16Гбит только для того чтобы соединить два сервера и одну СХД начального уровня бесполезно. Но, поверьте, существует довольно много задач, когда приходится делать транк из нескольких 8Гбит линков, чтобы получить необходимую пропускную способность. Здесь 16Гбит очень к месту. Виртуализация - еще один очень требовательный "клиент". Для нее и SR-IOV уже сейчас используется, и vFLink тоже к месту придется. Раньше нужно было ставить несколько HBA, чтобы раздать необходимую полосу VM, с 16Gbps их потребуется меньше.
ОтветитьУдалитьНу а в подавляющем числе инсталляций на 20-40-60 портов я бы рассматривал плюсы и актуальность 16Gbps продуктов не с точки зрения полосы пропускания, а с точки зрения тех возможностей, которые в них добавились.
Здесь очень многое зависит от того что понимать под "адекватными по цене". Адекватными чему?
ОтветитьУдалитьНа рынке есть множество решений, обеспечивающих стабильную скорость записи несколько Гигабайт в секунду (и 16Gbps для них это просто детский лепет). Все они не дешевые, но имеют адекватную решаемым задачам цену.
"возьмем DS3512 + 5 EXP3512"
ОтветитьУдалитьВозьмем гипотетически или она у Вас уже есть?
Так как практически достижимая пиковая производительность на запись составляет для DS3512 - 2600MB/sec.
"100 МБайт/с (а на самом деле эта скорость куда выше)"
На самом деле, она ниже, но это не главное.
"т.к. в RAID0 контроллеру ВООБЩЕ ничего не надо"
Если Вам не нужно ничего от контроллера, то и не нужно его приобретать - возьмите необходимое количество JBOD, подключите к SAS HBA и будет высокая линейная скорость записи (и гораздо дешевле 100k$).
"И тут мы упираемся в 8 Gb/s Fibre Channel и 6 Gb/s SAS, т.е. в полосу."
И здесь Вы тоже ошибаетесь: никто не мешает использовать 4 линка FC, а в случае с SAS, пропускная способность одного порта составляет 4x6Gbps, что составляет 24Gbps (каждый порт - 4 линии SAS).
"Есть наложенные ограничения производителей, т.е. сговор."
Простите, до настоящего момента я ошибочно считал разговор предметным. Разоблачением всемирных заговоров я не занимаюсь - с этим добро пожаловать в другие отделы!
"Тем не менее, не могли бы вы назвать решения до 1000000$"
Мог бы. После того как увижу реальный проект с запланированным бюджетом.
"Ну а теперь приходится признать, что DS3500 у меня нет и фраза про 4 Gb/s в один поток была адресована только HP MSA P2000. Однако DS'ка приходит на следующей неделе и мне придется либо опровергнуть, либо подтвердить указанные вами цифры."
ОтветитьУдалитьИмея в руках iometer, я могу подтвердить или опровергнуть (на Ваш выбор) практически любые показатели, не снабженные детальным описанием механизма тестирования, поэтому ничуть не удивлюсь любым результатам.
Что касается P2000, то для FC варианта пиковая производительность на запись составляет примерно 1100MB/sec (по данным HP).
"Нет, мне нужен RAID 10. Но эта задача настолько же не затратна для контроллера, как и RAID 0."
Прекрасно! А теперь, внимание, вопрос - почему на DS3500 даже _теоретически_ нельзя получить более 24Gbps на запись в RAID10? И, в таком случае, почему же Вы сами ранее писали "теоретическая линейная скорость всей системы должна превысить 100*72 = 7200 МБайт/с ~ 50 Гбит/с"?
"Разговор более чем предметный - 69Y2871. Это самое прямое подтверждение моим словам."
Сговор подразумевает наличие двух и более участников, которые путем сговора пытаются кого-либо обмануть. Хотя, отчасти я с Вами согласен - это именно сговор. Сговор IBM и покупателя. Почему? Давайте рассмотрим. Приходит заказчик (З) к вендору (В) и вот такой диалог получается:
З: Нам нужна система хранения начального уровня, дисков на 24. Может быть мы ее через годик до 48 нарастим.
В: О, у нас есть замечательная система! Она поддерживает до 192 дисков, практически линейно масштабируется производительность. Она точно подойдет под Ваши нужды и даже самые смелые перспективы!
З: Но мне не нужно 192 диска!!! Мне даже 100 не нужно. Я никогда-никогда-никогда не буду их использовать. Даже если производительность при увеличении дисков до 100 и будет расти линейно, мне это тоже не нужно! Нам уже ваш конкурент предложил систему, которая поддерживает 60 дисков (а больше нам точно не нужно). Да, у той системы производительность конечно пониже, но мы же все понимаем, что на 24х дисках эта производительность все равно "упрется" в диски, так что обе системы будут показывать практически идентичные результаты. Но ваша система дороже на xx%, а мы стремимся снизить расходы.
В: Да, конечно, Ваши аргументы нам понятны, но мы делаем классную технику и на текущий момент это самая младшая модель в нашей линейке.
З: А может быть я пообещаю Вам никогда не устанавливать в систему больше, ну скажем, 80 дисков. А Вы в качестве ответного шага снизите цену?
В: Прекрасная идея! А может быть лучше сделаем иначе - вместо обязательств мы немного ограничим производительность (и это практически не скажется при малом числе дисков), а если Вам потребуется добавить больше дисков, Вы просто приобретете ключик активации "турбо" режима?
З: О, это отличный вариант! Нам, признаться, тоже не очень хотелось бы ограничивать себя какими-либо обязательствами. А сейчас мы вольны распоряжаться системой по своему усмотрению!
Вот такой вот получается сговор между пользователем и вендором.
"Вы его не увидите."
Я бы на Вашем месте не стал делать столь категоричных заявлений на _мой_ счет. Как раз я с высокой вероятностью его и увижу (и вижу подобные время от времени).
"меня нежно послали со словами, что никто за эти цифры не отвечает. Лабораторные условия, знаете ли"
ОтветитьУдалитьВсе верно. И я бы Вам ответил то же самое. Дело в том, что Ваши личные лабораторные условия могут совсем не соответствовать лабораторным условиям HP. "Пиковая линейная скорость" это не скорость копирования одного файла в Windows. Равномерно распределите LUN между контроллерами, раздайте их хотя бы через 2 FC порта (лучше через 4), используйте блоки 1МБ и выше для записи. В этом случае шансов приблизиться к "табличным" будет гораздо больше.
"если я говорю про пиковую скорость в 50Gbps, то имею ввиду скорость в 25Gbps для RAID10"
А если взять не 70 дисков, а 190? То сколько будет?
(А 25Gbps получить все равно нельзя, почему?)
"Но что это за пользователь такой? Где тут я?"
А почему Вы думаете, что именно Вы такой для IBM массовый? Вот заказчиков, которым нужно 24 диска, полно, а тех, кому нужно сто-питсот ГБ в сек - единицы. На кого нужно рассчитывать, определяя ценовую политику? И уж активация Turbo никогда не стоила 10k$.
"поэтому это чисто теоретический вопрос. Извините если обидел."
Да ни капли. Нужны дешевые диски и высокая скорость - NetApp вот выпустил E5400. Вполне подойдет. И уж точно будет лучше, чем DS3512. А если нужно еще выше скорости - DDN, Panasas, Isilon и еще можно назвать разных.
Пока гугл восстанавливает комментарии, я наверное отвечу на последние выступления. На случай, если исходные сообщения погибли в недрах, постараюсь цитировать максимально.
ОтветитьУдалитьЯ: "А почему Вы думаете, что именно Вы такой для IBM массовый?"
NAZAR: "Я этого не говорил. Но когда я читаю характеристики оборудования и вижу определенные цифры, а потом узнаю, что эти цифры достигаются только если купить какую-то активацию, ставшей следствием сговора некого абстрактного пользователя и IBM - я чувствую себя обманутым. Как чуввствовал себя обманутым тот человек с неродными дисками, с которым вы спорили очень усердно в соседней теме."
Отлично. Можно ссылку на официальный документ, в котором есть "определенные цифры" и умалчивается про "какую-то" активацию?
Везде, где я видел конкретные результаты, стоит пометка о наличии/отсутствии "turbo performance".
Я купил автомобиль, а оказывается теперь мне нужно покупать еще и ЗИМЮЮ резину?! Я себя чувствую обманутым!!! И я уже не говорю про то, что буквально через каких-то 400км после покупки выясняется, что нужно еще и бензин покупать! Я здесь вижу сговор нефтедобывающей компании и производителя автомобиля!
Я: "На кого нужно рассчитывать, определяя ценовую политику?"
NAZAR: "Я не маркетолог, я инженер. Я хочу знать что я получу от железа."
Ну а если Вы инженер, то цены это вообще не Ваша забота - Ваша задача подобрать конфигурацию. То что Вы сами что-то упустили, это проблема Ваша, как инженера, а не IBM, в котором сделали какую-то опцию (о, ужас!) платной. Вся необходимая информация о продукте доступна в открытых документах (редбуки, анонсы и т.п.).
NAZAR: "Проблема в том, что никто на за что не отвечает. Ни человек сделавший мне пресейл, ни нанятый для разработки решения целый департамент, ни суппорт крупного вендора, ни OCS или Марвел. Никто."
Прекрасно - задайте вопрос (а) вендору; (б) партнеру. Если ни один не дал Вам ответа, обращайтесь к другому вендору. Так Вы легко найдете свой идеал.
А проблема в том, что Вы сами общаетесь с теми, кто ни за что не отвечает. И вместо того, чтобы сделать нормальный сайзинг (возможно придется его оплатить), играете в "угадайку". Это Ваше право, его никто не отнимет.
NAZAR: "Но болтают и пишут многие."
Вы вот пишете :)
Я: "Пиковая линейная скорость"
NAZAR: "У вас где-то скопировал. Имеется ввиду устоявшаяся, т.е. "sustained"."
Да без разницы, устоявшаяся она или нет (в данном случае). Это в любом случае не скорость копирования одного файла из windows через один порт с одного сервера. Если Ваша нагрузка такова, то это означает лишь то, что сайзинг системы для Ваших задач нужно делать иначе.
Я: "Равномерно распределите LUN между контроллерами"
NAZAR: "Да-а-а?! А ничего так, что P2000 этого не умеет? Она же нe active/active в общечеловеческом понимании, она такая в понимании HP"
P2000 не умеет распределить ОДИН LUN между контроллерами, Вам кто-то мешает сделать 2/4 луна?
Я не знаю такого понятия как "общечеловеческий" active/active, но сейчас практически все системы начального/среднего уровня (кроме разве AMS2000) работают именно так. Нужно чтобы оба контроллера "активно" работали - далайте больше массивов, больше LUN-ов.
Я: "А если взять не 70 дисков, а 190? То сколько будет? (А 25Gbps получить все равно нельзя, почему?)"
NAZAR: "Давайте сначала определимся - DS3500 active/active или нет?"
В Вашем понимании наверное нет. В моем - да. Но 25Gbps все равно получить нельзя.
2Nazar: идете на http://www.storageperformance.org
ОтветитьУдалитьТам в раздел benchmark result
Там результаты для spc-2 -- это тесты по пропускной способности.
Находите там DS3500 (http://www.storageperformance.org/benchmark_results_files/SPC-2/IBM_SPC-2/B00053_IBM_DS3524-Express-Turbo/b00053_IBM_DS3524-Express-Turbo_SPC2_executive-summary.pdf )
И внимательно читаете, т.к. это даже больше чем официальный документ
на 60 10k rpm дисках стойка выдает
1800 МБайт/с на запись (полоса 14 гигабит/с)
3600 МБайт/с на чтение (полоса 28 гигабит/с)
2200 МБайт/с комбинированый результат.
В среднем с диска, получается, снимают 36-40 МБайт/с.
Это очень даже пристойный результат (на фоне характерных для стореджей вобще 20 МБ/с с диска)
Хотите больше -- это не к рейду и не стореджам. Это брать сасовские линки, jbod и софтверная обвязка (ну в виде zfs например).
"Это запудривание мозгов в чистом виде." "Деньги делаются на воздухе" "Это и есть тот сговор."
ОтветитьУдалитьМогу только в очередной раз посоветовать другие ресурсы для излияний на тему несправедливости.
Например сюда: http://www.fas.gov.ru/contact-fas/treatment/
"Цены не просто моя забота, она мой главный критерий."
В этом ничего плохого нет. До тех пока этот критерий не начинает затмевать собой технические характеристики полностью. А в данном случае так похоже и происходит.
"Откуда у вас информация о линейной скорости чтения/записи у DS3500 равной 4000/2600 MB/s"
Я хотел бы настоятельно обратить внимание на свои слова, которые предшествовали указанным числам: "практически достижимая пиковая производительность на запись". Это принципиально, так как от методики тестирования зависит очень многое. Откуда у меня эти величины? Есть разные источники. Например величина в 4000МБ/сек совершенно точно есть в открытом доступе. 2600 скорее всего тоже сможете найти (если конечно поставите себе такую задачу). Я, признаться, не утруждаю себя использованием ТОЛЬКО открытой информацией, так как имею доступ к разным ресурсам.
"Если эта скорость не упирается в скорость интерфейса, то почему нет?"
Как минимум из-за того, что контроллеров два. И производительность указывается на всю систему, а не на половину.
"Ok. Я честно говоря так и не понял, что вы от меня хотите"
Хочу только лишь показать что методика расчета "теоретическая линейная скорость всей системы должна превысить 100*72 = 7200 МБайт/с ~ 50 Гбит/с" бредовая. Вместо этого лучше изучить архитектуру контроллеров (это даст ответы на многие вопросы). И вот это, кстати, "Наверно, чтобы я посчитал следующее" тоже не менее ошибочное суждение, чем прошлое. Нельзя о производительности системы судить только по фронтэнду, процессорам или бэкенду - множество факторов и их сочетаний оказывают влияние.
"И оно у меня есть: N лунов и N серверов подключенных напрямую и копирующих одновременно большие файлы из памяти. "
Это тоже не совсем корректный метод для линейной нагрузки - чем больше величина N, тем ближе нагрузка к случайной.
"Но даже если и это кого-то не устраивает, то ответ мой таков: это то, что нужно мне как заказчику."
Правильно. Именно об этом я и написал выше: "На рынке есть множество решений, обеспечивающих стабильную скорость записи несколько Гигабайт в секунду (и 16Gbps для них это просто детский лепет). Все они не дешевые, но имеют адекватную решаемым задачам цену. " Вы же пытаетесь доказать, что любая система должна удовлетворять вашим требованиям. Это не так.
"Про jbod и zfs вы не учитываете один момент - загрузка процессора. "
Ну разве это проблема? :) Вот же пишете сами: "эта задача настолько же не затратна для контроллера, как и RAID 0."
Значит не все так просто, правда? :)
Андрей, мне кажется, что посты топикстартера надо просто перепостить на профильный ресурс: http://www.medlinks.ru/modules.php?forum=95&op=modload&name=Forum&file=viewforum
ОтветитьУдалитьА то эта музыка будет вечной...
NAZAR,
ОтветитьУдалитьсогласен с Вами, что с отсыланием к психиатру это было хамство, но, думаю, это не вся "Тринити". Думаю, это вообще скорее единичный вопиющий случай. :)
Ещё один вариант построения высокоскоростного файлового хранилища - параллельная файловая система LUSTRE. Позволяет консолидировать много блочных устройств произвольного размера и распараллелить операции ввода/вывода между ними, из-за чего достигается большая скорость.
Это и есть один из многих вариантов "софтверной обвязки", о которой говорил Dragon.
Введение от "Sun" есть здесь: http://tech.windsofstorm.net/wp-content/uploads/2011/05/820-7390.pdf
К сожалению, невероятно сложна в настройке (одно лишь руководство по эксплуатации занимает 500 страниц).
Наиболее часто используется, когда вводом/выводом занимаются одновременно много серверов (например, в вычислительных кластерах).
Работает, правда, под Linux, не под Windows.
В США поддержку оказывает контора Whamcloud, основанная инженерами-разработчиками LUSTRE. Правда, гарантируют ли они что-нибудь - не знаю :)
P.S. У "Тринити", кстати, есть своя система хранения данных - TrinityNAS. Почему-то они её не очень рекламируют.
Не знаю, подойдёт ли она под Ваши задачи ("40 ТБ RAW с линейной скоростью в 50 ГБит/с за 100 000 USD").
Но 32 ТБ RAW на 16 дисках SATA по 2 ТБ каждый обойдутся в районе 15000 USD. А по поводу скорости, может быть, кто-нибудь из "Тринити" прокомментирует. Согласно маркетинговым материалам, "Поддерживает протоколы CIFS, NFS, Rsync, iSCSI, FC Targer". То есть может работать как хранилище как на файловом, так и на блочном уровне, по Вашему выбору. Также расширяется подключением дополнительных полок.
К сожалению NAZAR похоже не очень хочет найти решение, а хочет требовать, чтобы купленное (непонятно под какое ТЗ) железо обеспечило некие потребности просто "потому что мне надо, а производители вруны и махинаторы".
ОтветитьУдалитьРешений есть много. Часть я указал, часть не стал. C подходом "если один диск в моем ПК дает 100МБ/сек, значит 50 дисков либо дадут 5ГБ/сек, либо меня обманули" поиск решения затянется очень надолго. Кроме удачи, мне пожелать нечего.
Немного прокомментирую.
ОтветитьУдалить"Я купил автомобиль, а оказывается теперь мне нужно покупать еще и ЗИМЮЮ резину?! Я себя чувствую обманутым!!! И я уже не говорю про то, что буквально через каких-то 400км после покупки выясняется, что нужно еще и бензин покупать! Я здесь вижу сговор нефтедобывающей компании и производителя автомобиля! "
Неверное сравнение. Верное:
Пришел в салон, хочу купить 16-цилиндровую машину.
Менеджер: Да, вот эта 16-цилиндровая. Но мы решили, что за 16 цилиндров мы просим недостаточно, поэтому 8 цилиндров мы вам отключили, разблокировка будет стоить +10% к стоимости машины. Ну и что, что во всех тестах используются разблокированные машины, это ведь можно сделать... за отдельную плату...
Спасибо за Ваше мнение. Только уточните пожалуйста, со сколькими дисками Вы купили систему DS3500? А заодно ответьте на другой простой вопрос - как Вы думаете, сколько _обычно_ дисков приобретается в системе DS3500? Ну и, наконец, с чего Вы взяли что именно разблокировка будет стоить +10%, а вовсе не блокировка дала Вам 10% скидки от цены? Или лично Вас тоже все производители хотят обмануть?
ОтветитьУдалить