QSFP-DD для кластерів штучного інтелекту: як вибрати між 400G і 800G без здогадів

Aug 03, 2026

Залишити повідомлення

QSFP-DD добре підходить для кластера штучного інтелекту, коли комутатор або кінцева точка вже використовує власну клітку QSFP-DD, коли велика база кваліфікованих QSFP-сімейних модулів і оптоволокна має залишатися в роботі, і коли платформа може охолоджувати вибрані модулі з заповненням кожного порту. Це неправильна відправна точка, коли сервери GPU та комутатори побудовані навколо власних кліток OSFP або коли оптика, яка вам насправді потрібна, потребує більшого теплового запасу, ніж може забезпечити хост.

Форм-фактор - не перше рішення. Це приблизно четверте. Конструкція мережі, яка переживає свій перший виробничий навчальний запуск, починається з серверних інтерфейсів, кількості рейок, цільової топології, прийнятного коефіцієнта надмірної підписки та виміряного маршруту кабелю. Тільки тоді форма модуля має значення.

Цей посібник описує це замовлення від кінця до кінця з обчисленням робочої потужності, таблицею-вибору посилань і послідовністю перевірки, яку ви можете передати команді лабораторії.

AI cluster network with GPU servers, leaf-spine switches, and QSFP-DD links

Який форм-фактор вибрати?

Стан кінцевої точки Перший вибір для оцінки
Обидва кінці нативно QSFP-DD / QSFP-DD800 QSFP-DD
Обидва кінці нативно OSFP ОСФП
Перехід із встановленої бази 400G QSFP QSFP-DD, якщо хост підтримує необхідний режим порту
Високо{0}}потужна оптика на платформі, рідною кліткою якої є OSFP ОСФП
Один кінець OSFP, інший QSFP-DD Кваліфікований перехресний форм-форм-ЦАП/АЕС або оптичний канал із відповідним PMD, швидкістю смуги та режимом FEC на обох кінцях

Основне правило коротке:виберіть клітку, яка є рідною для кінцевої точки, а потім перевірте швидкість електричної смуги, оптичний інтерфейс, режим FEC, клас потужності та мікропрограму для цього точного номера деталі.Усе, що наведено нижче, — це робота, необхідна для чесного застосування цього правила.

П'ять рішень по порядку

Більшість поганих побудов мереж штучного інтелекту виникають через прийняття цих рішень поза послідовністю - спочатку вибирають модуль, а потім виявляють обмеження. Кожен крок нижче живить наступний, і кожен змінює те, що ви можете купити на кроці після нього.

  1. Підтвердьте кінцеві точки.Власний тип клітинки та режим протоколу на обох кінцях кожного посилання.
  2. Розрахувати ємність.Кількість портів на вузол, на залізничну лінію, а потім кінцева пропускна здатність низхідної та висхідної лінії зв’язку з вашим цільовим коефіцієнтом надмірної підписки.
  3. Виберіть фізичне посилання.Виміряна довжина маршруту, волоконний завод, з’єднувач, вимоги до прориву.
  4. Перевірте номер деталі.FEC, швидкість смуги, клас потужності, прошивка, версія CMIS, кваліфікація постачальника.
  5. Розгортання домену помилки.Спочатку лабораторія, потім одна стійка, рейка або масштабована одиниця за раз.

Крок 1: розділіть форм-фактор, протокол і оптичний інтерфейс

Ці три речі постійно згортаються в одне рішення, і саме з цього згортання виникає більшість сюрпризів щодо сумісності. Це окремі рівні з окремими керівними документами.

Форм-факторвизначає механічні розміри, головний з’єднувач, електричні лінії, поведінку керування та тепловий дизайн. TheСпецифікація обладнання QSFP-DD MSAохоплює механічні, електричні та термічні вимоги, а його пізніші редакції розширюють той самий восьми{0}}хостовий порт до варіантів 800G і 1,6T, зберігаючи при цьому зворотну сумісність із сімейством QSFP. Якщо ви хочете ознайомитись з механікою та керуванням, перш ніж продовжувати, нашТехнічний огляд QSFP-DDдетально розглядає сам форм-фактор.

протокол- Ethernet, RoCEv2 або InfiniBand - визначається мережевою карткою, ASIC комутатора, мікропрограмою та конфігурацією порту, а не формою каркаса. Модуль QSFP-DD ніколи не слід описувати як «підтримку Ethernet і InfiniBand» як властивість форм-фактора. Ця можливість належить хосту та має бути підтверджена на конкретному порту.

Оптичний інтерфейс- DR8, FR4, SR8, LR - описує організацію смуг, радіус дії та застосування. Він не описує з’єднувач, кількість волокон, відображення проривів або швидкість електричної смуги. Два модулі з однаковою оптичною міткою можуть відрізнятися в кожному з них. Сама сигналізація визначається IEEE, а не MSA:Стандарт IEEE 802.3df-2024додано параметри MAC і фізичні рівні для роботи зі швидкістю 800 Гбіт/с і додаткові PHY 400 Гбіт/с.

Поведінка управління є четвертим, тихішим рівнем. Обидва модулі QSFP-DD і OSFP управляються через CMIS, і ревізія має значення для поведінки оновлення мікропрограми, вибору програми та часу хост-модуля. Опубліковані версії перераховані вУгоди про реалізацію OIF.

Крок 2: визначте розмір мережі за портами сервера, а не за кількістю GPU

Кількість графічних процесорів показує, наскільки великий кластер. Це не повідомляє вам, що має нести мережа, оскільки мережа завжди бачить лише інтерфейси сервера.

Наведемо два приклади. Система NVIDIA DGX H100/H200 надає вісім обчислювальних інтерфейсів ConnectX-7-fabric зі швидкістю до 400 Гбіт/с кожен, але це не вісім фізичних клітин. Еталонна архітектура SuperPOD демонструє представлену обчислювальну структуручотири дво{0}}приймачі-передавачі, які охоплюють усі вісім графічних процесорів. DGX B300, навпаки, представляєвісім мережевих портів на панелі GPUобслуговує вісім інтерфейсів ConnectX-8 зі швидкістю до 800 Гбіт/с. Та сама кількість графічних процесорів, зовсім інші порти, кількість кабелів і рахунок за оптику.

Отже, перш ніж переглядати таблицю даних окремого комутатора, задокументуйте для кожного типу вузла: порти обчислювальної-фабрики, швидкість порту, відображення NIC-на-GPU або залізничну передачу, тип рідної клітки, підтримувані режими протоколу, а також окремі інтерфейси зберігання й керування. Цей інвентар, а не номер GPU, є вхідними даними для кожного наступного розрахунку.

Розрахунок робочої потужності

Візьмемо масштабований блок із 32 вузлів, кожен з яких має вісім обчислювальних-портів 400G, по одному порту на рейку, у-оптимізованому дизайні. Працюйте по рейці за раз:

  • Пропускна здатність низхідної лінії зв'язку на стулку рейки= 32 вузлів × 1 порт × 400 ГБ =12,8 Тбіт/с
  • 1:1 (без-блокування), необхідна пропускна здатність висхідної лінії=12.8 Тбіт/с → 12 800 ÷ 800 =16 × 800G висхідних каналів
  • Рахунок 2:1, необхідна пропускна здатність висхідної лінії=6.4 Тбіт/с →8 × 800G висхідних каналів

Потім порівняйте результат із основою комутатора: 32 низхідних канали зв’язку плюс 16 висхідних каналів зв’язку потребують 48 придатних для використання портів на цьому аркуші, що негайно обмежує ваш вибір комутатора. Додайте зв’язки для резервування та обслуговування та повторюйте на рейці - вісім рейок, вісім груп листів, а не одну загальну кількість. Ось де 800G заробляє своє місце чи ні: тут він вдвічі зменшує кількість портів висхідного зв’язку, що є аргументом основ, а не аргументом пропускної здатності.

Rail-оптимізовані, збалансовані жирові-ткани є стандартними документами NVIDIA для великих навчальних кластерів -Еталонна архітектура DGX H100 SuperPODвикористовує повне-дерево з вісьмома обчислювальними з’єднаннями на-систему. Чи відповідає цей шаблон вашому робочому навантаженню, залежить від дизайнера, але наведений вище метод обчислення діє незалежно від топології.

Крок 3: сплануйте всі чотири тканини, а потім поверніться до модулів

Кластер ШІ – це не одна мережа. Еталонні архітектури DGX SuperPOD окреміобчислення, зберігання,-внутрішнє та-поза-керуваннятканини, і кожна з них виробляє власний порт і вимоги до оптики.

Theобчислювальна тканинавиконує градієнтний обмін, синхронізацію параметрів, колективні та віддалені операції з пам'яттю. Він має найсуворіші вимоги до затримки, перевантаженості та -симетрії шляху, і саме тут фактично вирішується суперечка 800G-проти 400G.

Theтканина для зберіганнямістить навчальні дані, контрольні точки та артефакти моделі. Його ємність залежить від формату набору даних, частоти звернень до кешу, паралелізму-завантажувача даних, частоти контрольних точок і інтенсивності метаданих -, тому «400 Гб достатньо для зберігання» не є безпечним параметром за умовчанням. Еталонні архітектури визначають продуктивність сховища на системному рівні й утримують її від обчислювальної мережі, щоб два робочі навантаження не завдали шкоди одне одному.

Theв-мережі керування діапазономзабезпечує забезпечення, планувальник трафіку, реєстри, репозиторії та моніторинг. Theпоза{0}}-мережадосягає BMC, портів керування комутаторами та живлення стійки та має залишатися доступним, поки виробнича структура зламана. Розглядайте це як шлях відновлення та безпеки з власним висхідним каналом зв’язку, а не як залишковий низько{1}}трафік.

Що стосується вибору модуля, то практичним наслідком є ​​наступне: кожна структура створює власну кількість портів, власний профіль відстані та власний тип клітини, і вони часто відрізняються. Кластер може бути OSFP для обчислень і QSFP-DD для зберігання й керування без будь-яких помилок.

Крок 4. Виберіть 400G або 800G з обмеження, а не з тенденції

Порт 800G подвоює номінальну ємність. Це не зменшує трафік, який створює ваша програма. Його цінність майже завжди полягає в структурній - меншій кількості зв’язків, кращій радіксній ефективності або рідній кінцевій точці 800G.

400G залишається кращим виборомколи обчислювальні кінцеві точки початково мають 400G, поточна структура вже відповідає цільовому значенню блокування, кластер росте в межах доступного radix, кваліфікований модуль 400G і кабельна база вже існують, або обмеження живлення та охолодження роблять 800G непривабливим. Використовуючи 800Gвисхідні канали зв'язкувище серверів 400G все ще цілком розумно -, але виправдайте це арифметикою порту вище, а не міткою.

800G покращує дизайнколи сервери надають власні інтерфейси 800G, коли багато потоків 400G мають об’єднуватися в меншу кількість магістральних зв’язків, коли кількість портів комутатора є обов’язковим обмеженням або коли перехід від 800G до нижчих-швидкісних дочірніх інтерфейсів спрощує міграцію. Сказано точно: 800G може зменшити кількість фізичних з’єднань або портів комутаторау дизайнах, де обмежувальними обмеженнями є агрегація та основне визначення. Це не закон природи.

Comparison of 400G and 800G AI cluster network architectures

Змішана-швидкісна міграція потребує чіткої документації

Прорив — це місце, де змішані{0}}дизайни тихо зазнають невдачі. Сучасні мережеві карти роблять це настроюваним, а не фіксованим - ConnectX-8 від NVIDIAпорт-поділ документаціїпоказує, що одна клітка OSFP 800G перенастроюється на два порти 400GbE або вісім портів 100GbE, для кожного з яких потрібна зміна конфігурації-програмного забезпечення та цикл живлення. Ця гнучкість існує лише там, де постачальник перевірив і опублікував її.

Отже, у плані міграції для кожного порту має бути вказано: які порти працюють із якою швидкістю, чи підтримує хост запланований режим прориву, швидкість електричної смуги на обох кінцях, чи є прорив логічним, оптичним чи кабельним-, режим FEC, який потрібен кожному дочірньому інтерфейсу, чи можна повторно використовувати існуючу кількість волокон і тип роз’єму та як моніторинг ідентифікуватиме кожен дочірній порт. Вставлення нижчого-модуля швидкості не робить доступним кожен режим хоста.

QSFP-DD проти OSFP

Фактор рішення QSFP-DD ОСФП
QSFP-сімейна сумісність Рідний, де хост підтримує режим Можливо для деяких модулів через-спеціальний адаптер
Розмір модуля Менший Більший
Тепловий дизайн Конструкції-радіаторів; перевірити при повному населенні Вбудований або їздовий радіатор; MSA визначає вищі класи потужності
Типове використання AI-системи Комутатори Ethernet, змішані-швидкісні платформи Кілька високопродуктивних платформ GPU та InfiniBand
Правило прийняття рішень Надавайте перевагу, коли кінцеві точки є власними QSFP-DD і повторне використання QSFP мають значення Віддавайте перевагу, коли кінцеві точки є рідною OSFP або оптиці потрібен його конверт потужності

Дві вимоги потребують обмеження. По-перше, "OSFP не має зворотної сумісності" є надто широким -OSFP MSAдокументує сумісність QSFP через спеціальний адаптер, а його специфікація модуля визначає вищі класи потужності та вбудовані-варіанти радіатора, які забезпечують теплову репутацію OSFP. По-друге, репутація є межею специфікацій, а не гарантією. Чи може певний корпус справді працювати з модулями класу 30 Вт-у кожній клітці, залежить від конструкції клітки, напрямку повітряного потоку, температури на вході, політики вентилятора, зниження потужності сусідніх-портів і власних обмежень постачальника системи.

Ось чому повна-температурна перевірка заповнення не-підлягає обговоренню: модуль, який проходить через один порт, може перевищити ліміт температури-корпуса, коли всі 32 або 64 порти світяться, і знову, коли вентилятор або блок живлення виходять з ладу. Випробуйте заповнену систему за вашої реальної температури на вході.

Якщо сервером є OSFP, а комутатором є QSFP-DD, не відмовляйтеся від стандартизації. Адаптери додають увагу до механічного зазору, повітряного потоку, живлення,-цілісності сигналу, інвентарю та підтримки. Кваліфікований кабель із перехресним-форм-фактором або оптичне з’єднання з відповідними PMD і FEC на кожному кінці часто є чистішим, ніж заміна апаратного забезпечення, щоб зробити форми відповідними.

QSFP-DD and OSFP transceivers compared by size and thermal design

Крок 5: Виберіть з’єднання за виміряною відстанню та наявним волокном

Ємність і кінцеві точки тепер виправили швидкість порту та клітку. Відстань і встановлена ​​волоконна установка виправляють все інше. Як інженерна інструкція, а не правило, найкоротший технічно дійсний зв’язок, як правило, найпростіший в експлуатації -, але гнучкість, діаметр кабелю, зручність обслуговування та вимоги до розриву – все це суперечить цьому.

Маршрут Типовий варіант Що підтвердити
Внутріш-стійка, дуже коротка Пасивний ЦАП Точна довжина та тип кабелю підтримуються на обох кінцях; радіус вигину; вага
Короткий, але за межами пасивної міді AEC / ACC Потужність, додаткова затримка, блокування повітряного потоку, кваліфікація постачальника, підтримка режиму порту
Короткий оптичний, допустима фіксована довжина AOC Працездатність - при поломці замінюється весь вузол
Багатомодовий, від-ряду до сусіднього-ряду Паралельна оптика класу SR- Сорт волокна та межі охоплення; побачити нашПосібник щодо обмеження відстані OM1–OM5
Одиночний-режим, до-кілометра, потрібен прорив Паралельна оптика класу DR- Розмір MPO, полярність, полірування APC/UPC, відображення прориву
Один-режим, кілометровий масштаб FR-клас дуплексний або паралельний, залежно від продукту Тип роз’єму залежить від номера деталі; клас волокна - порівнятиOS1 і OS2 одномодове-волокно

Реалізація конектора тут є пасткою, оскільки вона не передбачається оптичною міткою. Постачальники постачають продукти 800G DR8 із подвійним MPO-12 або одним MPO-16, а також 2-кілометрові продукти класу FR із паралельним MPO або подвійним дуплексом LC. Обидва варіанти правомірні; їм потрібні зовсім інші кабелі. Перш ніж замовляти шини, свідомо вирішуйте питання роз'єму - нашПосібник з вибору MTP проти MPOохоплює механічні відмінності та різницю полярності, а такожНаправляюча кабелю відриву MPOохоплює відображення-виходу, від якого залежать порти роз’єднання.

Ще два елементи належать до тієї самої розмови. Втрати каналу повинні бути враховані в бюджеті відповідно до специфікації модуля з роз’ємами та з’єднаннями, що підраховуються, а не припускаються - див.як накопичуються внесені втрати в оптоволоконних мережах. І структурований кабель між рядами легше обслуговувати, якщо він побудований на попередньо-термінованійМагістральні кабелі MPO/MTPіз задокументованим методом полярності, а не зібраними-пробігами. Якщо використовуються дуплексні FR-зв’язки, якість торцевої поверхні роз’єму напряму впливає на зворотні втрати; вПосібник з роз’єму LCохоплює те, що перевірити.

Для кожного з’єднання запишіть: клітку хоста, швидкість смуги хоста, налаштовану швидкість порту, PMD або тип кабелю, роз’єм, тип і кількість волокна, максимальну втрату каналу, режим FEC, відображення прориву, код програми модуля, вимоги до CMIS і мікропрограми, максимальну потужність і статус кваліфікації. Цей запис за -посиланням важить більше, ніж будь-яке загальне правило про те, яка оптика куди йде.

AI network interconnect options from DAC cables to duplex optics

RoCEv2 або InfiniBand: вирішуйте це самостійно

Вибір протоколу є ортогональним форм-фактору, і його слід робити з робочих міркувань.

RoCEv2підходить для організацій, які вже використовують Ethernet у великих масштабах, із перевіреними функціями RoCE на платформі комутації та командою, яка може володіти QoS, контролем перевантаження, телеметрією та конфігурацією хоста. Застереження полягає в тому, що «ввімкнути PFC і ECN» не є планом розгортання. Документація NVIDIA Cumulus Linux описуєRoCE як складна конфігураціяохоплюючи пули буферів, класифікацію трафіку, відображення пріоритетів, порогові значення PFC і ECN і планування з режимом без втрат, що використовує разом PFC і ECN, і режимом із втратами, що використовує лише ECN -, і зауважує, що конфігурація, створена для одного покоління ASIC комутатора, не переноситься на інше.

InfiniBandпідходить для розгортань відповідно до перевіреної архітектури постачальника, де інтегроване управління структурою є цінним, а команда вже має інструменти та досвід.

Зробіть вибір на основі перевіреної поведінки додатків, навичок експлуатації, меж підтримки та загального дизайну системи. Відсотки ефективності маркетингу залежать від топології, версії програмного забезпечення, розміру повідомлення, стану перевантаження та конфігурації мережевої карти та рідко переходять до іншого кластера.

Перевірка: що перевірити, перш ніж купувати багаторазово

Репрезентативне лабораторне тестування охоплює чотири сфери, і порядок має значення - стабільність зв’язку, тому що показники продуктивності нестабільного зв’язку не мають значення.

Вивести-:холодне завантаження, гаряче перезавантаження, вставлення та видалення модуля, вимкнення/увімкнення порту, створення та видалення прориву, а також перезавантаження обох сторін у різній послідовності.Цілісність сигналу:pre-FEC BER, виправлені та невиправлені показники FEC,-помилки рівня смуги, PRBS або BERT, де підтримується, оптична потужність передачі та прийому, температура корпусу модуля та кількість-заслонок зв’язку під тепловим навантаженням.Продуктивність:постійна пропускна здатність, колективи та розміри повідомлень, які фактично використовують ваші завдання, одночасний багато{0}}залізничний трафік, трансляція,-сховище-плюс-обчислювальна боротьба та тривалий відпочинок.Помилка:єдине з’єднання, листовий перемикач, хребетний зв’язок, відновлення-циклу живлення, заміна кабелю та модуля, керування-втратою шляху.

Записуйте порогові значення, а не просто склав/не склав. Невиправні помилки FEC мають дорівнювати нулю на справному каналі зв’язку; pre-Коефіцієнти помилок FEC повинні знаходитися в межах заданого запасу модуля та залишатися там, коли температура корпусу підвищується під час витримки. Посилання, яке має тенденцію до зростання протягом 48-годинного витримування, є ланкою, яке не працюватиме.

Потім розгортайте за доменом збою - одну стійку, одну рейку, одну пару аркушів або один масштабований блок за раз - і відстежуйте зміни стану зв’язку, кількість виправлених і невиправлених FEC, температуру модуля, оптичну потужність, активність паузи PFC, маркування ECN, зайнятість черги та час-зв’язку на рівні завдання. Посилання, яке все ще працює, все ще може погіршуватися; підвищення виправленої-помилки та тенденції температури є найпершим попередженням, яке ви отримуєте.

Три сценарії дизайну

Розширення існуючої мережі 400G Ethernet.Кваліфіковані комутатори QSFP-DD 400G і структуровані кабелі вже встановлені; нові вузли виставляють 400G. Підтримуйте -зворотні зв’язки на сервері на рівні 400G, виконайте обчислення висхідного каналу вище, щоб перевірити коефіцієнт блокування, і запроваджуйте 800G лише там, де це купує ефективність опорного порту. Повторно використовуйте кваліфіковану оптику та волокно, де це дозволяє бюджет втрат, і перевіряйте кожну змішану-конфігурацію прориву швидкості перед покупкою. Основа перемикання керує цим рішенням, а не кількість GPU.

Створення рідного кластера 800G-.Сервери виставляють рідний 800G. Дотримуйтесь перевіреної топології постачальника сервера, вибирайте комутатори з відповідним власним каркасом, перевіряйте повну-теплову потужність заповнення при температурі на вході, вибирайте з’єднання з виміряної довжини маршруту та перевіряйте кожну комбінацію прориву та FEC перед виконанням. Тут 800G виправдовується самою кінцевою точкою.

Життя з двома форм-факторами.Сервери OSFP; частиною комутаційної мережі Ethernet є QSFP-DD. Порівняйте кваліфіковані крос{2}}форм-сборки DAC або AOC, оптичну сумісність із різними клітинками на кожному кінці, схвалені адаптери, наслідки живлення та тепла, запасний інвентар та право власності на підтримку. Заміна однієї сторони виключно для стандартизації форми модуля часто дорожча, ніж експлуатація задокументованого змішаного середовища.

Сім помилок, які спричиняють переробку

  • Починаючи з кількості GPU.Він не описує кількість мережевих карток, відображення залізниць, швидкість порту чи надмірну підписку. Розрахунок з серверних інтерфейсів.
  • Припустимо, що 800G швидше для кожної роботи.Це допомагає лише там, де його можуть використовувати кінцеві точки, топологія та шаблон трафіку. Порівняйте колективи, якими ви справді керуєте.
  • Обробка QSFP-DD як протоколу.Це клітка. Перевірте клітку, протокол, електричний режим, оптику та FEC окремо.
  • Ігнорування структур зберігання та керування.Швидка обчислювальна мережа не може компенсувати повільну доставку контрольної точки або недоступність BMC.
  • Читання оптичної етикетки як специфікації кабелю.DR8 і FR4 не вказують роз'єм, кількість волокон або конструкцію прориву. Використовуйте точні номери деталей і схему підключення кабелів.
  • Тестування одного порту.Повний-потік повітря та температура на вході є справжнім випробуванням.
  • Наведення відсотків продуктивності без методу.Опублікуйте топологію та метод тестування або залиште номер.

Створення моделі TCO, яку ви можете захистити

Капітальні витрати охоплюють NIC або DPU, перемикачі листів і хребта, трансивери, ЦАП, AEC і AOC, оптоволоконні магістралі та комутацію, стійки та організацію кабелів, тестове обладнання та запчастини. Експлуатаційні витрати охоплюють живлення модулів і комутаторів, охолодження, моніторинг, кваліфікацію програмного забезпечення, навчання, роботу по заміні та підтримку постачальника. Витрати на ризик - ті, які зазвичай опускаються -, охоплюють збої сумісності, затримку розгортання, зниження температури, нестабільність зв’язку, повторне-прокладку кабелів, перервані навчальні завдання та подовжений час відновлення.

Зворотна сумісність справді знижує витрати, але економію слід розраховувати на основі конкретного обладнання, яке можна повторно використовувати з необхідною швидкістю та режимом. Сумісність форм-фактора сама по собі не гарантує, що поточна ASIC, друкована плата, корпус, система охолодження, вбудоване програмне забезпечення або бюджет живлення можуть працювати з наступним поколінням. Ставтеся до майбутньої швидкісної міграції як до питання платформи, а не до конектора.

Часті запитання

Чи підходить QSFP-DD для навчальних кластерів ШІ?

Так, якщо він є рідним для вибраного комутатора або кінцевої точки, відповідає вимогам до тепла при повній заповненості портів і підтримує необхідний режим порту та оптичний інтерфейс. Сама по собі номінальна швидкість передачі даних не є причиною її вибору.

Скільки GPU потребують мережі 800G?

Немає порогу GPU. Розрахуйте на основі мережевих портів на сервер, швидкості портів, відображення залізничних каналів, топології, цілі надмірної підписки та трафіку додатків - за методом у кроці 2 вище.

QSFP-DD кращий за OSFP?

Ні те, ні інше не є кращим. QSFP-DD пропонує власну сумісність із сімейством QSFP-і менший розмір; Специфікація OSFP визначає вищі класи потужності та вбудовані-варіанти радіатора, і вона є рідною для кількох високопродуктивних платформ ШІ. Вирішує кінцева точка.

Чи може порт OSFP використовувати модуль QSFP?

Деякі реалізації OSFP підтримують модулі QSFP через затверджений адаптер, але сумісність, живлення, режим порту та підтримку постачальника потребують перевірки для конкретної платформи.

Чи можна QSFP-DD використовувати як для Ethernet, так і для InfiniBand?

Форм-фактор не визначає протокол. Хост-порт, мережна карта, комутатор, вбудоване програмне забезпечення, кабель і трансивер мають підтримувати призначений режим роботи.

Який трансивер 800G мені використовувати?

Почніть із виміряної відстані, клітини кінцевої точки, необхідного прориву, типу волокна, роз’єму, швидкості смуги, режиму FEC, класу потужності та кваліфікації постачальника. Назва оптичного інтерфейсу сама по собі недостатня.

Чи гарантує зворотна сумісність QSFP-DD легке оновлення 1.6T?

Ні. Порт хосту може прийняти модуль механічно, тоді як ASIC, друкована плата, клітинка, охолодження чи бюджет живлення не можуть підтримувати нову швидкість смуги. Підтвердити на рівні платформи.

Перш ніж підписати замовлення на купівлю

Перевірте клітинку кінцевої точки на обох кінцях кожного типу зв’язку; кількість і швидкість обчислювальних{0}}портів на вузол; відображення залізничного транспорту та цільовий коефіцієнт надмірної підписки; кількість портів листя та хребта, включаючи резервування; вимоги до всіх чотирьох тканин; режим роботи та, для RoCE, проект повного-контролю перевантаження; виміряний маршрут кабелю та результуючий вибір з’єднання; роз'єм, полярність і бюджет втрат; FEC і режим прориву; потужність модуля проти повних-теплових обмежень населення; сумісність прошивки та CMIS; статус кваліфікації постачальника; і лабораторні результати для тестування BER, продуктивності, перевантажень, відмов і витримки.

QSFP-DD добре підтримує масштабовану структуру AI 400G або 800G. Це все ще лише одна складова дизайну. Почніть з кінцевих точок і моделі трафіку, обчисліть топологію, виберіть фізичне з’єднання з виміряної відстані та перевірте зібрану систему перед виконанням навчальної роботи.

Методологія та сфера застосування

Цей посібник спирається на три типи джерел, і вони навмисно розрізняються у тексті вище.Стандарти та документи MSA- IEEE 802.3df, QSFP-DD і OSFP MSA специфікації апаратного забезпечення, а також угоди про реалізацію OIF CMIS - визначають форм-фактори, сигналізацію та поведінку керування.Документація продавця- Посібники з системи NVIDIA DGX, еталонні архітектури DGX SuperPOD, ConnectX-примітки щодо конфігурації 8 портів і документація Cumulus Linux RoCE - цитується як приклад конкретного постачальника, а не як універсальна поведінка; інші платформи відрізняються.Інженерні вказівки- порада щодо послідовності, перевага коротшим посиланням, порогові значення перевірки - є робочими рекомендаціями, отриманими з практики розгортання, і позначені як такі, а не представлені як специфікація.

 

Послати повідомлення