400G проти 800G NIC: який вибрати?

Вибір між 400G NIC і 800G NIC – це рішення, яке залежить від структури, а не порівняння-сторінки оформлення замовлення. Швидший адаптер окупається лише тоді, коли сервер, комутатор, оптика та кабельна мережа можуть забезпечити таку швидкість. Цей посібник розглядає-компроміси з точки зору розгортання та закупівлі, тож ви можете вирішити, перш ніж витрачати бюджет на адаптери, комутатори, трансивери, ЦАП, AOC, AEC або оптоволокно.

Коротка версія: мережевий адаптер 400G є зрілим,-ефективним за замовчуванням для більшості сучасних AI, HPC, сховищ і хмарних робочих навантажень, і він чітко відображається на хостах NDR InfiniBand і PCIe Gen5. 800G NIC заробляє свою перевагу, коли ви створюєте мережу штучного інтелекту наступного-покоління з більш щільними графічним процесором, інтенсивнішим східно-західним трафіком і планом переходу на XDR InfiniBand, 800G Ethernet і, зрештою, 1,6T.

400G проти 800G NIC

Виберіть 400G NIC, якщо ваші сервери, комутатори та оптична установка вже стандартизовані на 400G Ethernet або NDR InfiniBand, або коли робоче навантаження не насичує кожен шлях від -до-GPU. Це також безпечніший дзвінок, коли доступність, бюджет і час кваліфікації важливіші, ніж максимальна швидкість порту.

Виберіть 800G NIC, коли мережа стає вузьким місцем для широкомасштабного-навчання, високо-серверів GPU з високою-щільністю чи прискорювачів наступного-покоління. Це приблизно вдвічі зменшує кількість каналів зв’язку та оптичних модулів, необхідних для заданої пропускної здатності, і готує структуру для наступного оновлення.

Порт 800G варто купувати лише тоді, коли решта системи може його живити. Якщо хост не може надати достатню кількість ліній PCIe для адаптера, мережева карта 800G стає дорогим портом, що мало використовується, а не підвищенням продуктивності.

Що таке 400G NIC?

400G NIC — це мережевий адаптер, який передає до 400 гігабіт на секунду на порт. У середовищах штучного інтелекту та HPC він керує мережею кластерів GPU-, розподіленим навчанням, доступом до сховища, трафіком MPI, структурами RoCE та посиланнями NDR InfiniBand. Для більшості операторів 400G вже є значним кроком у порівнянні зі 100G або 200G і усуває очевидні вузькі місця, не вимагаючи перепроектування серверів і рівнів комутаторів.

Де сьогодні підходять мережеві карти 400G

Адаптери 400G є робочими за замовчуванням у навчальних кластерах штучного інтелекту на графічних процесорах поточного-покоління, високопродуктивних-обчислювальних структурах, високопродуктивних-мережах зберігання даних, мережах RoCEv2 Ethernet і InfiniBand, загальних групах хмарних серверів і оновленнях зі 100G/200G-до-400G у кімнатах змішаного покоління. У цих налаштуваннях 400G рідко є компромісом. Це просто правильний клас швидкості, коли розмір кластера, кількість GPU та бюджет не виправдовують додаткову складність 800G.

Чому 400G все ще має сенс

Вибір мережевої карти є системною-проблемою балансу. Якщо хост не може підключити адаптер 800G, якщо робоче навантаження пов’язане з обчисленнями- або пам’яттю-або якщо хребет усе ще становить 400G, то відмова від мережевих карт 800G підвищує вартість без зміни продуктивності програми. Добре-збудована мережа 400G із низьким надлишком підписки, чистою топологією, RDMA, якісною оптикою та налаштованим контролем перевантажень усе ще комфортно виконує вимогливі завдання AI та HPC.

Що таке 800G NIC?

NIC 800G забезпечує до 800 гігабіт на секунду на порт. Він націлений на центри обробки даних зі штучним інтелектом наступного-покоління, великі кластери GPU та гіпермасштабовані структури, де попит на зв’язок перевищує звичайні серверні мережі. Покоління 800G тепер стандартизовано:стандарт IEEE 802.3df, ратифікований у 2024 році, визначає 800 Gigabit Ethernet і підтримує суб-швидкості, такі як 1x800G, 2x400G і 8x100G, що робить змішану{8}}швидкісну міграцію практичною.

Цінність полягає не лише в подвоєній швидкості заголовків. 800G дозволяє архітекторам підвищити щільність пропускної здатності, скоротити кількість зв’язків і модулів і підтримувати більші навчальні структури з більш агресивним трафіком-to-все.

Чому кластери ШІ переходять на 800G

Велике-навчання моделі генерує величезний трафік із-GPU-GPU та сервер-на-сервер. Градієнтний обмін, усе-зменшення, суміш--експертної маршрутизації, контрольних точок і зберігання-важких конвеєрів — усе це руйнує структуру. Оскільки прискорювачі стають швидшими, мережа має йти в ногу, інакше дорогі графічні процесори простоюють в очікуванні синхронізації. 800G NIC відповідають на це, збільшуючи пропускну здатність на вузол, на прискорювач або мережеву лінію.

800G — це рішення, яке залежить від тканини, а не просто адаптер

Перехід до 800G змінює форму вибору перемикачів, оптики, планування охоплення, теплового дизайну, повітряного потоку та компонування стійки. Вибір оптики та міді, зокрема, стає суворішим: порт 800G може використовувати модуль OSFP або QSFP-DD, а модулі на стороні-комутатора та на стороні NIC-можуть відрізнятися за тепловою та механічною конструкцією навіть з однаковою швидкістю. Якщо на вашому заводі використовується структуроване волокно, заздалегідь підтвердьте типи модулів і роз’ємів; нашогляд форм-фактора QSFP-DDпокриває, де це підходить відносно OSFP. Розглядайте 800G як програму-рівня структури, а не як заміну одного рядка-елемента.

400G NIC проти 800G NIC

Коли вибрати 400G NIC

Виберіть 400G NIC, якщо метою є високо-продуктивна мережа зі зрілим апаратним забезпеченням, передбачуваним розгортанням і контрольованою вартістю.

Ви розбудовуєте існуючу інфраструктуру 400G

Якщо ваші комутатори, кабелі, оптика та серверні платформи вже стандартизовані на 400G, використання мережевих карт 400G скасує перевірку сумісності та дозволить повторно використовувати більшу частину поточної екосистеми. Це особливо актуально під час оновлення зі 100G або 200G, де продуктивність є значною, а екосистема набагато зрілішою, ніж 800G.

Ваше робоче навантаження ШІ не насичує структуру

Не кожна робота ШІ потребує 800 ГБ на сервер. Багато з них пов’язані з-обчислювальними ресурсами,-сховищами,-пам’яттю або обмежені ефективністю програмного забезпечення, а не пропускною здатністю мережі. Якщо профілювання показує, що мережа не є основним вузьким місцем, NIC 400G зазвичай забезпечує кращу віддачу.

Вам потрібен-рентабельний HPC

Багато робочих навантажень HPC чутливі до затримки,-передачі повідомлень і перевантаження мережі, а не до необробленої пропускної здатності. Добре-налаштована мережа 400G часто перемагає погано інтегровану 800G. Корисне питання полягає не в тому, який мережевий адаптер швидший, а в тому, який дизайн мережі забезпечує найкращу продуктивність програми за долар.

Вам потрібні швидші закупівлі-з меншим ризиком

Адаптери, оптику та кабелі 400G легше знайти та кваліфікувати на більшій кількості серверних і комутаційних платформ. Коли команда має обмежений час для перевірки, 400G є вибором із меншим-ризиком, який усуває більшість вузьких місць.

Коли вибрати 800G NIC

Виберіть 800G NIC, якщо програма, платформа графічного процесора та структура можуть фактично використовувати додаткову пропускну здатність.

Ви розробляєте навчальну структуру ШІ наступного-покоління

Великі навчальні кластери створюють інтенсивний зв’язок-до-всіх і схід-захід. У міру зростання розміру моделі, кількості GPU та паралелізму мережа стає обмежувачем. Тут мережеві карти 800G збільшують пропускну здатність на-вузол і зменшують ризик дроселювання графічних процесорів мережею.

Вам потрібна більша щільність смуги пропускання

800G зменшує кількість портів, посилань і модулів, необхідних для забезпечення певної пропускної здатності. Це має значення в щільних кластерах, де обмежено простір у стійці, кількість портів на передній-панелі, організацію кабелів і структуру комутатора. Менша кількість швидших з’єднань може спростити збірку, за умови, що комутаційна мережа та план кабелів розроблені для цього.

Ви плануєте використовувати платформи GPU наступного-покоління

Якщо дорожня карта включає сервери GPU наступного-покоління, вищу щільність живлення в стійках, рідинне охолодження та більші кластери, 800G є сильнішим стратегічним рішенням. Купівля 400G сьогодні все ще може бути розумною, але мережа повинна бути розроблена з можливістю переходу до 800G або далі.

Ви хочете зменшити довготривалі-зриви оновлення

Поетапна стратегія 800G зменшує труднощі майбутньої міграції. Спочатку розгорніть комутатори з підтримкою 800G-, підключіть існуючі мережеві карти 400G за допомогою проривних або змішаних-швидкісних проектів, а потім оновіть сервери до 800G пізніше. Це захищає поточні інвестиції під час створення тканини для наступного покоління.

Коли НЕ варто вибирати мережевий адаптер 800G

Це часто більш корисне запитання, і воно відфільтровує більшість покупок, про які шкодує. Відмовтеся від 800G, якщо виконується будь-яке з наступного:

• Хост не може відкрити повний шлях PCIe Gen6 класу x16 до адаптера. Порт працюватиме без роботи, і ви заплатите за пропускну здатність, яку серверна шина не може забезпечити.
• Хребет переплачений або ще 400Г. Швидший мережевий адаптер не виправляє обмежену структуру; це просто пересуває вузьке місце на один стрибок.
• Робоче навантаження залежить від затримки- або MPI-а не від пропускної здатності-. Додаткова пропускна спроможність мало впливає на завдання, пов’язані з синхронізацією чи невеликими-повідомленнями.
• Оптику, кабелі чи охолодження для 800G неможливо отримати та підтвердити на вашій шкалі часу. Некваліфікований модуль, який ламається під навантаженням, гірший, ніж повільніший зв’язок, який не працює.
• Сьогодні немає конкретної дорожньої карти зростання, яка виправдовувала б премію.

Якщо два або більше з них застосовні, 400G майже напевно є правильною відповіддю для цієї збірки, а 800G залишиться в резерві для наступного оновлення.

400G проти 800G NIC для хмарних центрів обробки даних

Хмарні тканини рідко скрізь працюють на одній швидкості. Вони сегментуються за класом трафіку, а вибір мережевої карти залежить від сегмента, а не від центру обробки даних у цілому.

• Передній-кінець / північ-південь трафік:400 Гбіт зазвичай достатньо для користувачів-та рівнів API, де -пропускна здатність потоку скромна, а кількість з’єднань домінує.
• Сховище та трафік на схід-захід:відповідь залежить від того, наскільки дезагреговано архітектуру. 400G охоплює більшість загальних пулів; 800G допомагає там, де великі розподілені накопичувачі мають стійке навантаження на схід-захід.
• ШІ висновок:400G достатньо для багатьох хмар висновків, тоді як 800G підходить для густої суміші--експертної маршрутизації або дезагрегованого обслуговування, де маркери переміщуються між багатьма вузлами.
• Багато{0}}матеріальна мережа:тут коефіцієнт надмірної підписки та ізоляція орендарів формують продуктивність набагато більше, ніж максимальний рівень мережевої карти. Збалансована тканина 400G із сильною ізоляцією часто перемагає швидшу, але завантажену.

Оскільки зростання хмари на схід-захід припадає на структуроване волокно, плануйте магістральні кабелі поруч із мережевою платою; нашпосібник з магістральних кабелів MPO/MTPохоплює-високу щільність. Як правило, використовуйте 400G для більшості зовнішніх-рівнів і загальних хмарних рівнів і зарезервуйте 800G для сегментів, де домінує щільне обслуговування ШІ або великі східно-західні пули.

Ключові фактори вибору, крім швидкості порту

Швидший мережевий адаптер не гарантує швидшого робочого навантаження, якщо його не підтримує вся платформа. П’ять факторів вирішують, чи буде порт 800G працювати чи простоюватиме.

Генерація PCIe та пропускна здатність хоста

Мережевий адаптер зв’язується з хостом через PCIe, і це з’єднання є жорсткою стелею. Для порту 400 Гбіт/с потрібно приблизно 50 ГБ/с на напрямок, який може забезпечити слот PCIe Gen5 x16 із приблизно 63 ГБ/с на напрямок. Порт 800 Гбіт/с потребує приблизно 100 Гбіт/с на напрямок, крім слота Gen5 x16, тому адаптери 800G зазвичай очікуютьспецифікація PCIe 6.0 від PCI-SIG(64 ГБ/с, до 256 ГБ/с двонаправлено на x16) або незвичайний дизайн x32. Перш ніж перейти на 800G, підтвердьте:

• PCIe покоління
• Підрахунок смуг і розводка
• Розміщення NUMA та шлях -GPU до-NIC
• Перевірка-постачальника сервера для адаптера
• Підтримка BIOS і прошивки

У серверах графічного процесора розміщення мережевих карт відносно центральних і графічних процесорів визначає, наскільки чисто переміщаються дані. Мережевий адаптер класу Gen6-, вставлений у слот Gen5 x8, є найпоширенішим вузьким місцем, яке виникає самостійно.

Switch Fabric і надмірна підписка

Швидкість мережевої картки має відповідати структурі. 800Адаптери G нічого не роблять, якщо кінцева-коренець перевантажена або висхідні канали слабкі. Перевірте швидкість кінцевого та стрижневого портів, коефіцієнт надмірної підписки, кількість мережевих рейок, шаблон схід-захід, невдалий-дизайн домену та необхідну пропускну здатність розділення навпіл. Для навчання нижчий коефіцієнт надмірної підписки зазвичай покращує продуктивність, ніж швидша мережева карта.

RoCE, InfiniBand і Ultra Ethernet

AI та HPC-компоненти спираються на RDMA, щоб зменшити навантаження на ЦП, а протокол формує мережеву плату, комутатор, контроль перевантаження та операції. Сьогодні NDR InfiniBand працює зі швидкістю 400 Гбіт/с на порт іXDR InfiniBand досягає 800 Гбіт/с на порт, яка прямо узгоджується з рівнями NIC 400G і 800G. На стороні Ethernet,

Специфікація Ultra Ethernet Consortium 1.0визначає стек RDMA-over-Ethernet, що охоплює мережеві адаптери, комутатори, оптику та кабелі, спрямований прямо на масштабування-ШІ та HPC.

Якщо ваша команда знає цю екосистему, виберіть InfiniBand для тісно інтегрованої високо-затримки HPC або штучного інтелекту. Виберіть Ethernet або RoCE для ширшого вибору постачальників і хмарної інтеграції. Подумайте про Ultra Ethernet, якщо вам потрібен стандартизований відкритий шлях для високопродуктивного Ethernet наступного-покоління-.

Оптика, форм-фактори та кабелі

У 400G і 800G фізична сумісність має таке ж значення, як і швидкість. Два модулі можуть мати спільну швидкість, але відрізняються форм-фактором, тепловим дизайном і вимогами до хоста. Перевірте OSFP проти QSFP112 проти QSFP-DD, плоский-верх чи ребристий-верхній OSFP, перемикач-сторона проти мережевої картки-вимоги до модулів, DAC, AEC, AOC або оптичний діапазон, підтримку прориву, а також кодування та мікропрограму постачальника. Не припускайте, що OSFP 800G, який працює в комутаторі, буде правильно розташовуватися і охолоджуватися в мережевій картці; багато комутаторів і модулів мережевих карт використовують різні термічні та механічні конструкції.

Потужність, повітряний потік і теплова перевірка

Компоненти 800G споживають більше енергії та працюють сильніше. Перевірте мережеву плату, оптику, порти комутатора та шлях повітряного потоку під тривалим навантаженням, а не в режимі холостого ходу. Перевірте потужність мережевої карти та оптичного-модуля, напрямок повітряного потоку та запас охолодження, максимальну температуру на вході, щільність кабелю та блокування повітряного потоку, а також припущення щодо повітряного- та рідинного-охолодження. Термічна нестабільність проявляється у вигляді перепадів зв’язку та збільшення частоти помилок, типу періодичної несправності, яку повільно та дорого шукати у виробництві.

Поширені помилки, яких слід уникати

Купуйте 800G просто тому, що це швидше

800G автоматично не є кращим. Якщо робоче навантаження, сервер або мережа не можуть використовувати пропускну здатність, додаткові витрати не перетворюються на продуктивність програми. Зіставте порт із фактично наявним вузьким місцем.

Ігнорування пропускної здатності PCIe

Мережевий адаптер може переміщувати дані лише так швидко, як це дозволяє хост-шина. Перевірте генерацію PCIe, кількість смуг і топологію сервера, перш ніж вибрати клас швидкості, а не після того, як надійде апаратне забезпечення.

Вибір невідповідного оптичного модуля

При таких показниках форм-фактор модуля та теплотехнічний дизайн є критичними. Неправильний варіант OSFP може не відповідати певній клітці або може підходити, але перегріватися під постійним трафіком, створюючи помилки, які виглядають як проблема з мережею.

Забувши про доступність кабелю

DAC, AEC, AOC, багатомодова оптика та одномодова-оптика обслуговують різні діапазони відстаней, а різні класи волокон передають різні відстані; нашрозбивка OM1 по OM5 досягає межпоказує, де кожна оцінка є верхньою. Вибір неправильного з’єднання збільшує затримку, збільшує вартість або переробляє.

Обробка мережевих адаптерів, комутаторів і оптики як окремих покупок

Замовте адаптер, комутатор, оптику та кабель як одну підтверджену специфікацію матеріалів. Невідповідність, виявлена ​​після розгортання, означає, що порт зв’язується, але закривається, або обладнання, яке потрібно повернути в-збірці, що є набагато більш руйнівним, ніж виявлення під час кваліфікації.

Остаточна рекомендація

Виберіть 400G NIC для перевіреного,-рентабельного адаптера, який підходить для сучасних AI, HPC, сховищ і хмарних мереж. Це практичний вибір для більшості існуючих кластерів графічних процесорів і змішаних-кімнат генерації. Виберіть 800G NIC, коли щільність пропускної здатності, широкомасштабний-зв’язок графічного процесора та готовність до оновлення переважують початкову вартість і коли для цього створено весь шлях.

Рішення ніколи не залежить лише від швидкості. Це залежить від того, чи зможуть ваші сервери, комутатори, оптика, кабелі, живлення та охолодження перетворити цю швидкість на продуктивність програми. Дисципліна, яка захищає бюджет, проста: перевірте мережеву плату, комутатор, оптику та кабель як одну систему перед тим, як розмістити замовлення.