100G QSFP28 Spine{2}}Leaf Design: уникайте помилок у портах

100G spine-leaf fabric є одним із найнадійніших способів підключити сервери 25G, висхідні канали зв’язку 100G, кластери сховищ і великі навантаження на схід-захід-у сучасному центрі обробки даних. Привабливість QSFP28 полягає в його гнучкості: один порт може передавати власне з’єднання 100G або роз’єднуватися на чотири підключення до сервера 25G, тому один комутатор може обслуговувати як межу доступу, так і ядро ​​інтерфейсу.

Швидкі перемикання – найлегша частина. Конструкція 100G живе або вмирає залежно від рішень, прийнятих до замовлення на купівлю: як розподіляється кожен порт, як виглядає коефіцієнт надмірної підписки за нормальних і несправних умов, яка оптика відповідає реальним кабельним лініям, скільки тепла ця оптика додає та чи може мережа збільшитися до 400G без модернізації навантажувача.

Цей посібник є-незалежним від постачальника довідником з планування для груп мереж та інфраструктури. Наведені нижче цифри відповідають поточним специфікаціям IEEE 802.3 Ethernet і відповідним оптичним угодам із кількома-джерелами, але кожен комутатор і трансивер мають власну таблицю даних, тому підтвердьте точні цифри для обладнання, яке ви купуєте.

Як читати приклади в цьому посібнику.Якщо не вказано інше, вони припускають єдиний-домашній сервер з однією мережевою карткою 25 ГБ кожен, 48 портів хосту на лист, висхідні канали зв’язку -–-100 Гбіт, повну мережу, у якій кожен лист з’єднується з кожним хребтом, і ввімкнене пряме виправлення помилок, де цього вимагає оптика. Подвійне-наведення, швидші мережеві карти або різна кількість портів змінюватимуть кожне наступне число.

Що таке Spine{1}}Leaf Network 100G?

Spine-leaf – це дворівнева-архітектура центру обробки даних, створена з листових комутаторів і системних комутаторів. Листові комутатори розташовані у верхній частині кожної стійки та забезпечують порти,-звернені до сервера, а також висхідні канали зв’язку до магістралі. Перемикачі хребта утворюють високошвидкісну -магістраль. Кожен аркуш з’єднується з кожним хребтом, тому трафік між стійками переміщується аркуш від хребта до аркуша вздовж-шляху однакової довжини.

Дизайн популярний, оскільки забезпечує:

• Передбачувана однакова довжина шляху між будь-якими двома стійками
• Вбудована підтримка інтенсивного східно-західного трафіку
• Усі висхідні канали активні через ECMP, а не заблоковані охоплюючим деревом
• Просте горизонтальне масштабування - додайте листи для портів, додайте шипи для місткості

У структурі 100G зв’язки від-до-хребта працюють зі швидкістю 100G, тоді як порти-сервера працюють зі швидкістю 10G, 25G, 50G або 100G залежно від робочого навантаження. Сьогодні доступ 25G з висхідними лініями зв’язку 100G є найпоширенішою комбінацією для підприємств.

Фізичний дизайн проти логічного дизайну

«Мережевий дизайн» охоплює два шари, які легко об’єднати. Цей посібник зосереджується на фізичному рівні та рівні ємності -, портах, оптиці, надлишковій підписці, кабелях -, тому що це те, на що ви зобов’язуєтеся, коли купуєте апаратне забезпечення. Але логічний рівень вирішує, як мережа пересилає трафік, і він формує кілька фізичних варіантів.

З фізичної сторони – комутатор і вибір порту, швидкість мережевої карти, надмірна підписка, оптика, кабелі, живлення та охолодження. З логічної сторони — балансування-навантаження ECMP між висхідними лініями зв’язку; накладення, таке як VXLAN з площиною керування BGP EVPN для багато-рівня 2 і 3 орендаря над маршрутизованою підкладкою; подвійне-наведення з MLAG або MC-LAG і LACP на межі доступу; і помилка-розміру домену. Для мереж RDMA вам також потрібно розробити мережу майже-без втрат, описану нижче. Встановіть логічну модель на ранньому етапі, оскільки вона впливає на кількість висхідних каналів зв’язку, кількість хребтів, які ви хочете отримати для ширини ECMP, і чи розгортаються листи як пари MLAG.

Крок 1 - Визначте швидкість і робоче навантаження сервера

Почніть з навантаження, а не з оптики. Загальний кластер віртуалізації, мережа зберігання даних і модуль навчання штучного інтелекту мають дуже різні потреби, і правильний дизайн відповідає трафіку.

Сервери 25G з підключенням до 100G

Для більшості корпоративних і приватних-хмарних середовищ 25G доступ із 100G leaf{3}}to-spine висхідними лініями є найкращим місцем: великий стрибок у порівнянні з 10G, зберігаючи розумні витрати на мережеву плату, кабель і комутатор. Типова збірка поєднує низхідні канали зв’язку 25G, висхідні канали зв’язку 100G і співвідношення 2:1 до 3:1 для загальних обчислень із нижчою надмірною підпискою, зарезервованою для рівнів пам’яті та-затримки. Він підходить для віртуалізації, приватної хмари, веб-рівнів і більшості корпоративних центрів обробки даних.

Вбудований 100G для зберігання, ШІ та HPC

Деякі робочі навантаження потребують власного 100G на сервері: розподілене й NVMe-сховище, навчання штучному інтелекту й машинному-навчанню, HPC, широкомасштабна-аналітика та низька-затримка RDMA. Тут перевищення підписки має бути низьким - часто не-блокуванням або близьким до нього -, оскільки проблема полягає в структурі трафіку, а не лише в обсязі.

Робочі навантаження AI, HPC і RDMA генерують щільний, синхронізований, увесь-до-східно-західний трафік: багато вузлів передають багато вузлів одночасно, тому статистичне згладжування, яке заощаджує вам на структурі віртуалізації, більше не застосовується. RDMA через конвергентну мережу Ethernet (RoCE) додає друге обмеження, оскільки передбачає майже -безвтратну структуру, що на практиці означає контроль пріоритетного потоку (PFC) і явне сповіщення про перевантаження (ECN), налаштовані наскрізно. Структура, яка пропускає кадри під час перевантаження, спостерігатиме за падінням продуктивності RoCE, тому ці кластери зазвичай будуються у співвідношенні 1:1 із ретельною конфігурацією буфера та перевантаження.

Крок 2 - Як розрахувати порти перемикача Leaf і Spine для 100G Fabric

Планування портів починається з аркуша, а не хребта. Робота назовні з серверів:

1. Підрахунок портів-сервера на стійку.
2. Вирішіть, чи є кожна мережа рідною 25G, рідною 100G чи пробійною смугою.
3. Зарезервуйте порти QSFP28 для магістральних висхідних каналів.
4. Додайте запасні порти для зростання, резервування, тестування та заміни.
5. Перерахувати надмірну підписку після призначення прориву, а не раніше.

Підрахувати порти-сервера

Для кожної стійки визначте кількість серверів, швидкість мережевих карток, мережеві карти на сервер, з одно- чи подвійною-домашньою системою та необхідні запасні частини. Стійка з 48 серверів з одним мережевим адаптером 25 ГБ потребує 48 портів хосту. Подвійно-підключайте ці сервери до кінцевої пари, і кількість портів доступу в парі подвоюється.

Резервуйте порти висхідної лінії зв’язку та стежте за подвійним-рахунком

Після портів хоста зарезервуйте порти QSFP28 для хребта. Ось де ховається найпоширеніша помилка: якщо ті самі порти QSFP28 використовуються для прориву 4x25G, вони більше не доступні як висхідні канали. Найбільша помилка планування полягає не в недорахуванні висхідних каналів 100G, а в переоцінці портів висхідних каналів, які залишилися після того, як їх поглинув прорив. Призначте прорив перед математикою надлишкової підписки, інакше розраховане вами співвідношення буде вигадкою.

Спрацьований приклад допомагає. Візьмемо звичайний аркуш 1U з 48 хост-портами SFP28 і 8 портами QSFP28:

З шістьма висхідними каналами, що передають 1200 Гбіт трафіку доступу, аркуш працює в режимі 2:1, а два порти QSFP28 залишаються в резерві. Надайте кожному порту одну чітку роль в електронній таблиці, перш ніж змінювати розміри будь-якого іншого.

Залиште вільну ємність

Не вживайте кожен порт в перший день. Зарезервуйте запас для нових серверів, додаткових хребтів, тимчасових тестових посилань, невдалої-заміни портів, моніторингових кранів і міграції. Трохи невикористаної ємності набагато дешевше, ніж редизайн.

Крок 3 - Розрахунок надмірної підписки, включаючи N-1

Надмірна підписка порівнює загальну пропускну здатність-сервера на аркуші із загальною пропускною здатністю висхідного зв’язку до хребта:

Коефіцієнт надмірної підписки=загальна пропускна здатність низхідного каналу / загальна пропускна здатність висхідного каналу

Для аркуша вгорі 48 x 25G=1,200G вниз і 6 x 100G=600G вгору, що дає 1200 / 600=2:1. Це означає, що теоретична пропускна здатність доступу вдвічі більша, ніж пропускна здатність висхідної лінії зв’язку -, як правило, це добре для загальних обчислень, де сервери рідко передають усі дані на лінійній швидкості одночасно, але є реальним обмеженням для зберігання, AI, HPC і RDMA.

Завжди перевіряйте корпус N-1

Тканина може виглядати здоровою при нормальній роботі та задихатися під час несправності. Розглянемо аркуш із вісьмома висхідними лініями 100G, розподіленими рівномірно між чотирма хребтами - по два на хребет, загалом 800G, отже, 1200G доступу дає 1,5:1. Втрачаючи один хребет, аркуш скидає два канали висхідного зв’язку до 600G, підвищуючи співвідношення до 2:1 на час збою. Якщо ваша ціль «не гірша, ніж 2:1 навіть за невдачі», ви маєте почати приблизно з 1,5:1. Обчисліть як нормальне співвідношення, так і співвідношення N-1 після втрати одного хребта або висхідної лінії зв’язку; другий номер той, що клює під час обслуговування.

Планування діапазонів за навантаженням

Універсального співвідношення не існує, тому розглядайте наведене нижче як діапазони планування, а не стандарти, і перевіряйте виміряний трафік, де це можливо:

Під час оновлення перегляньте поточне використання висхідної лінії зв’язку, пікові та східно-західні шаблони, потоки зберігання та вікна резервного копіювання, перш ніж встановлювати співвідношення.

Крок 4 - Виберіть оптику та кабелі QSFP28

Інтерфейси QSFP28 100G стандартизовано IEEE 802.3 -802.3bm поправкадодано 100GBASE-SR4 разом із однорежимним-режимом LR4 PHY. Виберіть оптику за відстанню, типом оптоволокна, роз’ємом, потужністю та сумісністю комутаторів і не використовуйте за замовчуванням найдовшу зону дії: зона дії, яка вам не потрібна, зазвичай означає вартість і потужність, які вам не потрібні. Підберіть модуль до прогону з розумним запасом.

DAC і AOC для коротких серверних посилань

Для з’єднання в -стійці та суміжній-стійці практичними є QSFP28 із прямим-під’єднанням мідних (DAC) та активних оптичних кабелів (AOC). Пасивний ЦАП підходить для найкоротших стрибків - на кілька метрів - за найнижчої вартості та потужності, тоді як AOC розширює охоплення, є легшим і гнучкішим там, де об’єм міді стає проблемою. Для доступу 25G QSFP28-to-4x SFP28 breakout DAC або AOC є звичайним, якщо комутатор підтримує breakout.

100GBASE-SR4 для коротких багатомодових висхідних каналів

SR4 переносить 100Gвісім паралельних багатомодових волоконза допомогою з’єднувача MPO/MTP, що робить його-економічним вибором для коротких відрізків-до-хребта всередині ряду. Його охоплення залежить від класу волокна - приблизно 70 м на OM3 та 100 м на OM4 -, тому варто знати, на який охоплення можна розраховуватиБагатомодове волокно OM3, OM4 і OM5у вашій підлозі. Основним обмеженням планування є паралельне з’єднання кабелів: роз’єднання MPO та полярність повинні бути розроблені заздалегідь.

CWDM4 або FR для одиночного-режиму працює приблизно на 2 км

Для зв’язків між-рядами,-кімнатами чи між-залами краще підходить одномодова-оптика, як-от CWDM4 або FR. The100G CWDM4 MSAвизначає 2-кілометровий охоплення однієї пари одномодових-волокон із дуплексним роз’ємом LC і FEC. Оскільки вони використовують дуплексне волокно замість паралельного MPO, оптика CWDM4 та FR часто потрапляє в одно-модову установку чистіше, ніж SR4 -, і на цих відстанях вибір міжOS1 і OS2 одномодове-волокнопочинає мати значення для вашого бюджету збитків. Коротші однорежимні-варіанти, такі як DR, охоплюють приблизно 500 м, де це все, що вам потрібно.

100GBASE-LR4 для кампусу та DCI

LR4 — це -варіант великого досяжності, який переносить 100Gприблизно до 10 км через дуплексне одномодове-волокнодля кампусів, між-будівель-будівель або зв’язків-центрів-обробки даних. Використовуйте його лише там, де цього справді вимагає відстань; оптика великого-досяжності на коротких стрибках-центру-даних просто збільшує вартість, потужність і тепло, не покращуючи структуру.

QSFP28 100G Порівняння оптики

У таблиці підсумовано, де підходить кожен варіант. Розглядайте радіуси як типові показники планування та підтверджуйте точні цифри, клас волокна та вимоги FEC у таблиці даних кожного модуля.

Працюючі приклади: малі, середні та великі тканини

Це спрощені моделі планування, а не креслення. Кількість хребтів зазвичай вибирається для рівномірного розподілу висхідних каналів і встановлення ширини ECMP: два хребти є практичним мінімумом для резервування, чотири забезпечують більш дрібну деталізацію N-1 і кращий розподіл навантаження, а вісім підходять для великих тканин. Кількість аркушів масштабується відповідно до потрібних портів сервера.

Дрібна тканина

• 8 стулок вимикачів
• 2 перемикача хребта
• 48 портів сервера 25G на листок
• 4 x 100G висхідних каналів на аркуш
• 384 одинарних-портів сервера 25G

На аркуш: 1200G вниз, 400G вгору, тобто 3:1. Працездатний для звичайних обчислень, але щільний для великого сховища або ШІ. Додайте висхідні канали або обріжте доступ до аркуша, якщо вам потрібен менший коефіцієнт.

Середня тканина

• 16 стулок вимикачів
• 4 перемикачі хребта
• 48 портів сервера 25G на листок
• 6 x 100G висхідних каналів на аркуш
• 768 єдиних-портів серверів 25G

На аркуш: 1200G вниз, 600G вгору, тобто 2:1. Надійний баланс для віртуалізації та корпоративних робочих навантажень, а чотири хребти розподіляють ECMP краще, ніж два.

Велика тканина

• 32 стулки вимикачів
• 8 хребетних перемикачів
• 48 портів сервера 25G на листок
• 8 x 100G висхідних каналів на лист
• 1536 одиночних-портів сервера 25G

На аркуш: 1200G вниз, 800G вгору, тобто 1,5:1. Більший запас висхідної лінії, але більше оптики, оптоволокна, вартості, потужності та кабелів для керування. У цьому масштабі документація є частиною дизайну: маркування, карти портів, полярність, запасна оптика, повітряний потік і моніторинг — все це потрібно спланувати до встановлення.

QSFP28 Breakout Planning (100G to 4x25G)

Breakout є найкориснішою та найбільш неправильно зрозумілою частиною дизайну QSFP28. Там, де це дозволяють комутатор, кабель і конфігурація, один порт QSFP28 розділяється на чотири канали 25G SFP28, з’єднуючи чотири сервери 25G з одного порту 100G. Він заслужить своє місце, коли вам потрібна висока щільність 25G, у вас є багато портів QSFP28, ви хочете знизити вартість підключення до сервера або будуєте перехідну структуру 25G/100G, використовуючи QSFP28-to-4x SFP28 DAC, AOC абоПроривні кабелі MTP/MPOв залежності від відстані.

Заковика в тому, що прорив споживає порти QSFP28. Якщо 32-портовий комутатор QSFP28 виділяє 16 портів для підключення 4x25G, ці 16 портів підтримують 64 сервери, але лише 16 портів QSFP28 залишаються для висхідних каналів зв’язку, сховища, з’єднань і запасних частин. Емпіричне правило полягає в тому, щоб спочатку підрахувати вихідні порти, а потім підрахувати те, що залишилося для висхідних каналів.

Перш ніж взяти зобов’язання, підтвердьте кілька речей і заздалегідь вирішіть, чи кожен запуск повинен бути aстовбур або відривний вузол:

• Які порти підтримують прорив і чи існують-групові обмеження портів?
• Чи вимикає підключення суміжні порти?
• Чи підтримує операційна система Switch потрібний вам режим?
• DAC, AOC або проривна оптика для кожного циклу?
• Чи всі чотири смуги потрібні зараз, чи потім?
• Як прорив вплине на майбутній перехід до рідних серверів 100G?

Харчування, охолодження та управління кабелями

100G тканина виробляє більше, ніж пропускна здатність - вона виробляє тепло, навантаження повітряного потоку та щільність кабелю. Бюджет живлення має охоплювати шасі комутаторів і вентилятори, оптичні модулі QSFP28 (та DAC або AOC, якщо вони використовуються), резервні джерела живлення, місткість -рівня стійки та запас зростання. Охолодження має враховувати розташування гарячих- і холодних-проходів, постійний потік повітря від-до-заду або ззаду{10}}до-переду, глухі панелі, блокування кабелю, температуру навколишнього середовища та-температуру модуля, тому що хребет, заповнений оптикою, є справжнім тепловим навантаженням.

Кабелі швидко масштабуються: 16 стулок до 4 стрижнів — це вже 64 ланки-до-стрижень, кожне з яких має бути позначено, прокладено, перевірено та задокументовано. Повно-сітчасту тканину набагато легше створювати та обслуговувати з попередньо-закінченоюМагістральні кабелі MPO/MTPніж у волокні-з кінцевими полями. Команди також повинні домовитися про з’єднання та полярність наперед; впрактичні відмінності між MTP і MPOварто підтвердити перед замовленням. Неакуратна документація нічого не коштує в перший день і дуже дорога під час першого відключення.

Розробка для оновлення 400G

Створіть тканину з реалістичним шляхом оновлення. Вам не потрібно 400 г скрізь у перший день, але вам слід уникати вибору, який зробить переїзд пізніше болючим. Почніть думати про готовність до 400G, коли магістральні висхідні канали вже сильно завантажені, коли додавати додаткові 100G spines стає незручно, коли кількість шляхів ECMP наближається до обмежень платформи або коли штучний інтелект, сховище чи зростання на схід-захід прискорюються.

Звичайна стратегія полягає в тому, щоб спочатку оновити хребет: листи зберігають свої висхідні канали зв’язку 100 Гбіт, а хребет вищої-ємності - використовує такі порти, якQSFP-DD- додає запас, часто з портами 400G, що розходяться на 4x100G назад до існуючих листів. Більш широку траєкторію визначає галузь:Дорожня карта Ethernet Allianceтепер працює через 400G, 800G і далі, в основному керуючись ШІ. Коли ви оцінюєте комутатори, переконайтеся, що платформа підтримує швидкість, оптику, режими прориву та функції програмного забезпечення, необхідні для поетапного оновлення.

Коли 100G Spine{1}}Leaf design не є правильним вибором

Цей дизайн не є універсальним, і деякі випадки вимагають чогось іншого. Невелика кількість серверів в одній або двох стійках рідко виправдовує повну конструкцію-ліста, де пара резервних комутаторів є простішою та дешевшою. Дуже великі навчальні кластери штучного інтелекту можуть перевершити те, з чим добре справляються 100G доступ і 100G хребетна тканина, приземлившись на 400G або 800G тканини - або навіть виділену мережу InfiniBand - із самого початку. І якщо майже весь трафік спрямовується на північ-південь до шлюзу, а не на схід-захід між стійками, східно-західні переваги хребта-листя мають менше значення, тому топологію слід виправдовувати з міркувань зростання та експлуатації, а не припускати. Зіставляйте архітектуру з трафіком і масштабом, а не навпаки.

Поширені помилки дизайну листка-Spine 100G

• Порти QSFP28 підраховуються двічі.Порт — це прорив 4x25G або висхідний канал 100G, ніколи обидва. Надайте кожному порту одну роль.
• Вибір оптики по максимальному радіусу дії.Більший радіус дії збільшує вартість і потужність; підберіть оптику до фактичної відстані та типу волокна.
• Ігнорування N-1.Перевірте співвідношення під час нормальної роботи та після втрати хребта.
• Забувши про оптичну силу та тепло.Корпус, наповнений модулями QSFP28, є справжнім тепловим навантаженням, тому включіть оптику в підрахунок живлення та охолодження.
• Ставтеся до прокладки кабелів як до запізнілої думки.Маршрутизація, маркування, полярність і документація належать до проекту, а не до встановлення.
• Розробка лише для сучасної швидкості сервера.Якщо доступ 25G буде перенесено на 100G, залиште місце для рідного 100G або хребта 400G.

Висновок

Хороша конструкція 100G spine-leaf — це сукупність рішень, прийнятих до надходження апаратного забезпечення: визначити робоче навантаження, правильно підрахувати порти, розрахувати надмірну підписку як за звичайних умов, так і за умов збою, вибрати оптику за відстанню, навмисно спланувати прорив, бюджет на живлення та охолодження та залишити місце для 400G. Для більшості корпоративних центрів обробки даних доступ 25G із висхідними лініями зв’язку 100G QSFP28 залишається сильним балансом продуктивності, вартості та масштабу, тоді як сховище, штучний інтелект та HPC просто вимагають меншої надмірної підписки та жорсткішої перевірки. Надійний підхід не змінюється: проектуйте від сервера назовні, перевіряйте математику за звичайних умов і умов N-1 і документуйте кожне посилання перед розгортанням.