Проект кластерної мережі AI: Spine-Leaf, RoCE та NIC

Проектування кластерної мережі штучного інтелекту – це процес визначення розмірів мережевих карт GPU-серверів, кінцевої-смуги пропускання, коефіцієнта надмірної підписки, налаштувань RoCE, оптики та кабелів, щоб розподілений навчальний трафік залишався передбачуваним у міру масштабування кластера. Зробіть будь-яку з цих помилок, і мережа -, а не GPU - стане вузьким місцем.

Чому кластерні мережі ШІ відрізняються

У традиційному корпоративному центрі обробки даних мережа обробляє поєднання трафіку користувачів з півночі-півдня, доступу до сховища, віртуалізації та керування. Трафік на схід-захід існує, але рідко є домінуючим навантаженням. У кластері ШІ ситуація змінюється. Сервери GPU, на яких працює розподілене навчання, обмінюються градієнтами та синхронізують параметри під час кожного кроку роботи. Це спілкування є частиною обчислення, а не його побічним ефектом.

Якщо GPU вартістю 30 000 доларів США витрачає 30% свого часу на очікування в мережі під час усіх-операцій зменшення, кластер фактично оплачує 30% своєї обчислювальної потужності, щоб простоювати. Це економічна причина, чому мережі ШІ привертають таку увагу.

Три характеристики робочого навантаження визначають дизайн:

• Бурхливий рух на схід-захід.Операції колективного зв’язку, як-от all{0}}reduce, all-gather і reduce{2}}scatter, створюють синхронізовані пакети між багатьма вузлами одночасно.
• Чутливість-затримки хвоста.Один повільний вузол затримує весь етап навчання. Передбачувана затримка має більше значення, ніж середня затримка.
• Масштабування{0}}зростання.Кластери, які починаються з 32 GPU, часто зростають до 256 або 1024 протягом 18 місяців. Тканина повинна масштабуватися без переробки.

Чому Spine-Leaf підходить для кластерів ШІ

Spine{0}}leaf є стандартною структурою для гіпермасштабованих центрів обробки даних, оскільки вона надає кожному -шляху до-сервера однакову кількість переходів і однакову теоретичну пропускну здатність. Для робочих навантажень штучного інтелекту ця однаковість безпосередньо перетворюється на більш передбачуваний час кроків навчання.

У листовій топології spine-сервери графічного процесора підключаються до кінцевих комутаторів, і кожен лист підключається до кожної спини. Будь-який зв’язок -–-GPU перетинає рівно один аркуш, один корінь і ще один аркуш. Немає агрегаційних рівнів, які вводять змінну затримку або контрольні точки.

Передбачувана затримка

Багатошляхова-маршрутизація з рівною вартістю (ECMP) розподіляє потоки між головними комутаторами. При правильній конфігурації з адаптивною маршрутизацією або динамічним балансуванням навантаження це запобігає хеш-колізіям, через які деякі потоки стають набагато повільнішими за інші - відома проблема в статичних структурах ECMP, які передають невелику кількість, але великі потоки, саме це і створює навчання ШІ.

Висока пропускна здатність бісекції

Пропускна здатність розділення навпіл — це пропускна здатність, доступна між будь-якими двома рівними половинами кластера. Навчання штучного інтелекту виграє від не-блокувальних або майже-не-блокувальних конструкцій, де пропускна здатність висхідної лінії зв’язку від-до-хребта дорівнює або майже дорівнює пропускній здатності низхідної лінії зв’язку до серверів. IETF визначає та обговорює ці концепції вRFC 7938, який охоплює BGP-маршрутизовані Clos-мережі, які широко використовуються у великих-центрах обробки даних.

Легше масштабування-

Додайте більше листків, щоб додати більше серверів. Додайте більше шипів, щоб збільшити смугу розділення навпіл. Для кластерів понад кілька тисяч GPU топологія супер-spine (5-stage Clos) або оптимізована для шини розширює той самий принцип на один рівень.

Основні компоненти кластерної мережі ШІ

Сервери GPU та мережеві карти

Мережевий адаптер — це місце, де мережа зустрічається з хостом. У кластерах штучного інтелекту вибір мережевої карти керує всіма даними - швидкістю порту комутатора, вибором оптики та щільністю кабелів.

Критерії відбору для навантажень ШІ:

• Швидкість порту:200G, 400G або 800G на порт. Відповідність до покоління GPU та пропускної здатності PCIe.
• Генерація PCIe:400G NIC потребує PCIe Gen5 x16, щоб уникнути регулювання-на стороні хоста. Максимальна швидкість PCIe Gen4 x16 — ~256 Гбіт/с.
• Підтримка RDMA і RoCEv2:Необхідний для ядра-обходу бібліотек зв’язку графічного процесора, таких як NCCL.
• GPUDirect RDMA:Дозволяє напряму GPU-до-NIC DMA, видаляючи копії пам’яті хоста.
• Багато{0}}можливість рейки:Багато серверів штучного інтелекту використовують 4 або 8 мережевих адаптерів на вузол, по одному на пару графічних процесорів, для -оптимізованих топологій.

Типовий 8-графічний сервер сьогодні використовує або 4 × 400G NIC (один на два GPU), або 8 × 400G NIC (один на GPU) залежно від робочого навантаження та бюджету. Еталонні архітектури відДокументація NVIDIA Networkingдокладно охопити компроміси дизайну.

Листові та хребтові перемикачі

Критерії вибору комутаторів для структур ШІ відрізняються від вибору корпоративних. Розмір буфера, поведінка контролю перевантажень і телеметрія важливіші, ніж широта функцій.

• По-швидкість і система визначення порту:ASIC комутатора зі швидкістю 51,2 Тбіт/с забезпечує 64 порти 800G або 128 портів 400G. Radix визначає, наскільки плоскою може бути тканина.
• Архітектура буфера:Глибокі буфери поглинають пакети incast, але додають затримку. Неглибокі буфери зменшують затримку, але вимагають точного контролю перевантаження.
• Набір функцій RoCE:Маркування ECN, PFC, DCQCN або еквівалентний контроль перевантажень, а також належне оброблення пріоритетних черг від кінця-до-кінця.
• Телеметрія:Внутрішньосмугова мережева телеметрія (INT), звітування про-глибину черги та мікросекундні-лічильники роздільної здатності для позначок ECN і пауз PFC.

Кабелі оптики, ЦАП і AOC

При 400G і 800G кабельна установка стає справжньою інженерною проблемою. Форм-фактори, бюджети зв’язків і конфігурації прориву потребують раннього планування.

• ЦАП (мідь з прямим підключенням):До ~3 метрів для 400G, найнижча вартість і найменша потужність. Важкий і громіздкий у масштабі.
• AOC (активний оптичний кабель):До ~30 метрів, тонший за ЦАП, але має-фіксовану довжину та споживає оптику на обох кінцях.
• Вставна оптика:Потрібна понад відстань AOC. Форм-фактори QSFP-DD і OSFP домінують у 400G/800G. Оптоволоконні вузли MPO/MTP обслуговують паралельні-волоконні з’єднання.

Для з’єднань між стелажами та структурованих кабелів на 400G/800G тепер стандартом є паралельна оптика через закінчення MPO. Вибір між магістральними кабелями та роз’єднувальними блоками залежить від розподілу портів комутатора - див.Направляюча кабелю відриву MPOдля практичної логіки вибору, і ширшеПорівняння магістралі MPO та розривупід час планування від-до-хребта.

RoCE та Ethernet без втрат у AI Fabrics

RoCEv2 (RDMA через конвергентний Ethernet v2) є домінуючим транспортом Ethernet для робочих навантажень ШІ. Це дозволяє мережевим картам переміщувати дані безпосередньо між областями пам’яті GPU без участі ядра з обох сторін. NCCL, комунікаційна бібліотека GPU, що лежить в основі майже всіх розподілених навчальних інфраструктур, використовує RoCEv2, коли InfiniBand недоступний.

RoCE працює добре, якщо його правильно налаштовано. Це неприємно, якщо налаштовано неправильно. TheТоргова асоціація InfiniBandпублікує специфікації RoCE, а більшість постачальників мережевих адаптерів і комутаторів публікують детальні посібники з конфігурації, яких слід дотримуватися від-до-кінця.

Чому важлива поведінка без втрат

RDMA розроблено з припущенням транспортування без втрат. Коли пакети скидаються, відновлення RDMA є дорогим - go-back-N повторна передача може призупинити крок навчання на мілісекунди, що є величезним порівняно з мікросекундним-бюджетом RDMA.

Щоб наблизити поведінку Ethernet без втрат, мережа використовує два механізми, що працюють разом:

• PFC (керування пріоритетним потоком, IEEE 802.1Qbb):Комутатор призупиняє вхідний трафік у черзі з певним пріоритетом, коли його буфер заповнюється. Це механізм-останнього засобу.
• ECN (явне сповіщення про перевантаження, RFC 3168):Перемикачі позначають пакети, коли черги наближаються до порогу. Мережевий адаптер зменшує швидкість надсилання до фактичного заповнення буферів, в ідеалі повністю уникаючи PFC.

Мета полягає в тому, щоб ECN виконувала майже все управління перевантаженнями, використовуючи PFC як мережу безпеки. Якщо ви бачите часті паузи PFC у трафіку в стабільному-стані, ваші порогові значення ECN неправильні або ваша мережа занижена.

Поширені помилки розгортання RoCE

Як спроектувати кластерну мережу AI: робоча структура

Це розділ, який більшість статей про мережу ШІ пропускають. Наведені нижче сім кроків дають вам конкретні входи та результати на кожному етапі.

Крок 1. Визначте робоче навантаження та масштаб

входи:Тип робочого навантаження (попереднє навчання, точне-налаштування, висновок, змішане), цільова кількість GPU сьогодні, цільова кількість GPU за 18 місяців, діапазон розміру моделі.

Вихід:Профіль робочого навантаження, який інформує про швидкість мережевого адаптера та допустиму кількість передплат. Велика попередня підготовка прикордонних моделей вимагає не-блокуючої тканини 400G+. Робочі навантаження-налаштування можуть терпіти надмірну підписку 2:1. Кластерам висновків часто потрібна менша пропускна здатність, але менша затримка хвоста.

Крок 2: Виберіть швидкість мережевого адаптера та кількість на сервер

Логіка рішення:

• Попереднє навчання великих моделей, сервери з 8 GPU → 4–8 × 400G NIC на сервер або 4 × 800G
• Серед{0}}навчання, сервери з 8 GPU → 2–4× 400G NIC на сервер
• Обслуговування висновків → 1–2 × 200G або 400G NIC на сервер, залежно від паралелізму моделі

Перевірте пропускну здатність PCIe на хості. Один порт 400G вимагає PCIe Gen5 x16 для роботи зі швидкістю лінії; подвоєння до 800G вимагає Gen6 або розділення на два слоти.

Крок 3: Визначте розмір шару листя

Працюючий приклад - 32-кластера вузлів, 8 графічних процесорів на вузол, 4 × 400G NIC на вузол:

• Загальна кількість-потрібних серверних портів: 32 × 4=128 портів на 400G
• Пропускна здатність низхідного каналу на вузол: 4 × 400=1.6 Тбіт/с
• Загальна пропускна здатність низхідного зв’язку кластера: 32 × 1.6=51.2 Тбіт/с

Використовуючи 64-портовий листовий комутатор 400G (загальна пропускна здатність 25,6 Тбіт/с), кожен лист може підключати 32 порти сервера та використовувати решту 32 порти як висхідні канали. Завдяки 4 стулкам ви покриваєте всі 128 портів сервера. Кожен аркуш забезпечує 32 × 400G=12.8 Тбіт/с висхідного зв’язку до хребта.

Крок 4: Визначте розмір шару хребта

Для не{0}}блокуючої конструкції (1:1) загальна пропускна здатність висхідної лінії має дорівнювати загальній пропускній здатності низхідної лінії. З кроку 3:

• Загальний висхідний зв’язок із листами: 4 листи × 12,8 Тбіт/с=51.2 Тбіт/с
• Якщо кожен стрижень має 32 × 400G порти=12.8 Тбіт/с, вам потрібно 4 стрижні
• Кожен аркуш з’єднується з усіма 4 ланцюгами за допомогою 8 висхідних каналів на кожну (8 × 400G × 4=12.8 Тбіт/с на аркуш - відповідає)

Якщо використовуються 64-портові комутатори магістралі 400G, у кожної магістралі є резервна ємність для розширення кластера, корисна для 18-місячного плану з кроку 1.

Крок 5: Установіть коефіцієнт надмірної підписки

Крок 6: Розділіть трафік обчислення, зберігання й керування

Три варіанти, в порядку збільшення ізоляції:

• Спільна структура з класами QoS:Обчислення, зберігання та керування в окремих пріоритетах DSCP. Найнижча вартість; вимагає ретельного налаштування QoS.
• Логічно розділені VLAN/VRF:Те саме обладнання, окремі площини керування. Корисно для багато-кластерів орендарів.
• Фізично розділені тканини:Виділені мережеві карти, комутатори та кабелі для обчислення чи зберігання. Найвища вартість; поширений у прикордонних-кластерах моделі, де будь-які суперечки є неприйнятними.

Трафік пам’яті для штучного інтелекту сам по собі великий - контрольна точка запису для великої моделі може переміщувати сотні гігабайт короткими пакетами. Плануйте це чітко. Використання -системи структурованих кабельних систем високої щільностіМагістральні кабелі MPO/MTPспрощує роботу паралельних мереж в одній фізичній інфраструктурі.

Крок 7: Перевірка перед виробництвом

Тести-на рівні мережі виявляють деякі проблеми. Тести-рівня робочого навантаження вловлюють решту.

• Пропускна здатність:iperf3 або ib_send_bw між кожною парою вузлів; повинна досягати 90%+ швидкості лінії NIC.
• Затримка:ib_read_lat або подібний; перевірити розподіл, а не лише середнє. P99.9 має більше значення, ніж середнє значення.
• Втрата пакетів:Проведіть 24-годинний тест на замочування під навантаженням; будь-які ненульові втрати в класі трафіку RoCE є проблемою.
• Поведінка маркування ECN:Переконайтеся, що позначки з'являються перед спрацьовуванням PFC; якщо паузи PFC часті в стабільному стані, переналаштуйте.
• Колективне спілкування:Запустіть тести NCCL (all_reduce_perf, all_gather_perf) на повному розмірі кластера. Порівняйте з контрольними номерами постачальників.
• Тест-на рівень роботи:Проведіть репрезентативну навчальну роботу протягом 4–6 годин. Спостерігайте за використанням графічного процесора - стійкі значення нижче 50% на-моделі належного розміру зазвичай вказують на проблему з мережею.

Традиційна мережа центрів обробки даних проти AI Spine-Leaf Fabric

Ethernet RoCE проти InfiniBand: швидкий посібник із прийняття рішень

Це питання виникає майже в кожному кластерному проекті ШІ. Обидва працюють. Вибір зазвичай зводиться до робочої придатності, а не до продуктивності.

• Виберіть InfiniBand, якщо:Ваша команда вже працює з мережами InfiniBand, вам потрібен найпростіший шлях до транспортування без втрат або ви купуєте повністю-інтегровану еталонну архітектуру постачальника.
• Виберіть Ethernet RoCE, якщо:Ваша операційна команда використовує Ethernet-, вам потрібні варіанти-перемикання від багатьох постачальників, вам потрібно інтегрувати структуру ШІ з існуючими мережами центрів обробки даних або ви очікуєте масштабування за межі того, що підтримує поточна топологія InfiniBand.

Консорціум Ultra Ethernet, створений у 2023 році, активно працює над стандартизацією вдосконалень Ethernet спеціально для робочих навантажень ШІ. Для більшості нових кластерів у 2026 році Ethernet RoCE є обґрунтованим за замовчуванням, якщо немає певної причини вибрати інше.

Поширені помилки, яких слід уникати

Оновлення комутаторів без перевірки мережевих карт

Комутаційна структура 800G нічого не дає для вас, якщо ваші мережеві адаптери працюють на 400G або пропускна здатність вашого хосту PCIe вичерпана. Спершу спроектуйте сторону хоста, а потім сторону комутатора. PCIe Gen5 x16 обмежує пропускну здатність одного порту приблизно до 504 Гбіт/с-в реальному світі - комфортно для 400G, гранично для 800G.

Оптимізація швидкості порту, але ігнорування щільності кабелів

Після закінчення 64-портів 400G кабель під кожним комутатором може стати фізично некерованим без планування. Використовуйте розривні кабелі, де це доречно, прокладайте волокна через структуровані шляхи та стандартизуйте типи роз’ємів. Якість роз'єму і термінація мають значення на високих швидкостях - нашіпосібник з типів волоконно-оптичних роз’ємівохоплює компроміси між LC, MPO та новими форм-факторами високої-щільності.

Розглядання RoCE як Plug{0}}and-Play

Найбільша помилка при проектуванні справжніх кластерів штучного інтелекту полягає в тому, що не вибрано неправильний перемикач - це недооцінка того, скільки--до кінця роботи з налаштування RoCE потрібно. Бюджетний час для налаштування порогових значень ECN, пріоритетів PFC і узгодженості MTU. Заплануйте спеціальний етап перевірки перед запуском будь-якого робочого навантаження.

Змішування всього трафіку в одній структурі без QoS

Реплікація сховища, агенти моніторингу та керування трафіком можуть зіпсувати час навчання, якщо вони спільно використовують буфери з обчислювальним трафіком. Або розділіть їх фізично, або застосуйте суворі класи QoS з окремими пріоритетами та конфігурацією ECN.

Створення лише для сьогоднішнього кластера

Більшість кластерів ШІ зростають у 4–8 разів протягом двох років після початкового розгортання. Вибирайте радікс перемикача та ємність хребта, яка забезпечує не-розривне розширення. Протягувати кабелі в живому центрі обробки даних штучного інтелекту дорого; ємність каналу планування та виправлення під час розгортання дешева.

Коли переходити з 400G до 800G

800G NIC і комутатори доступні, але дорожче за порт. Подумайте про посилення, коли:

• -Пропускна здатність графічного процесора перевищує ту, яку може забезпечити 400G -, наприклад, H100 і новіші графічні процесори з NVLink 5 очікують вищої зовнішньої пропускної здатності
• NCCL усі-зменшують час, погано масштабується з розміром кластера, що вказує на насиченість мережі
• Щільність кабелю на рівні 400G стає фізично некерованою - менше портів 800G може замінити більше портів 400G
• Очікується, що наступне покоління GPU у вашій дорожній карті потребуватиме його в межах вікна амортизації кластера
• Ви створюєте навчальний кластер-моделі, де будь-який час простою обчислення коштує значно дорожче, ніж оновлення оптики

Для більшості виробничих кластерів у 2026 році 400G залишатиметься правильним балансом вартості, зрілості екосистеми та можливостей. 800G має сенс на високому рівні та як перспективна інвестиція для кластерів, які будуються сьогодні та працюватимуть протягом 4–5 років.

Висновок

Найпотужніша кластерна мережа штучного інтелекту – це не та з найшвидшими комутаторами. Це той, у якому вибір мережевої карти, розмір кінцевої та хребетної систем, надмірна підписка, конфігурація RoCE, розділення трафіку та фізичні кабелі підтримують одне одного та робоче навантаження, для якого вони були обрані.

Почніть із робочого навантаження та 18-місячного плану зростання. Обчислюйте потреби в смузі пропускання на кожному рівні, використовуючи реальні числа, а не просто емпіричні правила. Налаштуйте RoCE від-до-кінця та перевірте за допомогою реальних тестів колективного спілкування. Бюджет для кабельного заводу - на 400G і 800G, фізичний рівень більше не є тривіальним.

Кластер, який завантажує свої графічні процесори на рівні 95%+ на кожному кроці навчання, приділяє увагу всім цим рівням. Кластер, який поставляється з швидшим комутатором і повільнішою структурою, витратить роки на пояснення, чому графічні процесори простоюють.

Подальше читання

• RFC 7938 - BGP у великих-центрах обробки даних
• Специфікації InfiniBand Trade Association - RoCE
• Мережева документація NVIDIA
• Інструкція з монтажу оптоволоконного кабелю
• Пояснення внесених втрат проти зворотних втрат