Посібник з оновлення 800G Ethernet: оптика, волокно та комутатори

800G Ethernet – це високошвидкісний-інтерфейс Ethernet, який передає 800 гігабіт на секунду через один порт, створений із восьми електричних або оптичних ліній, що працюють зі швидкістю приблизно 100 Гбіт/с кожна. Він подвоює пропускну здатність на-порт 400G Ethernet, що дозволяє мережі передавати ту саму пропускну здатність через меншу кількість з’єднань між комутаторами, графічними процесорами та сховищами - або значно більшу пропускну здатність через ту саму кількість стійок.

Але в реальних розгортаннях важливо не те, що заголовок. 800G змінює оптику, яку ви купуєте, оптоволокно та з’єднувачі, які ви використовуєте, потужність і охолодження, які потребує кожна стійка, і спосіб перевірки зв’язків, перш ніж вони запустяться. Ставтеся до цього як до-лежачого поліцейського, і ви зіткнетеся з проблемами, яких можна уникнути; розглядайте це як архітектурне рішення, і це стане одним із найчистіших способів масштабування ШІ або хмарної структури.

Що таке 800G Ethernet?

800G Ethernet, також позначається як 800GbE, передає кадри Ethernet із загальною швидкістю 800 Гбіт/с. Жоден фізичний сигнал не несе такої повної швидкості. Натомість інтерфейс розподіляє дані по восьми паралельних смугах - вісім електричних смуг від ASIC комутатора до модуля та вісім оптичних смуг (або довжин хвиль) до оптоволокна - та представляє їх решті мережі як одне логічне з’єднання.

Кожна смуга використовує сигналізацію PAM4 зі швидкістю близько 100 Гбіт/с (106,25 Гбіт/с на дроті). Вісім із цих смуг дають вам 800 Гбіт/с. Ця структура 8 × 100G є визначальною характеристикою сучасного покоління 800G, і саме тому один порт 800G може замінити два порти 400G або вісім портів 100G - за умови, що комутатор, оптика, кабелі та пристрій на дальній стороні погоджуються щодо розподілу цієї ємності.

800G Ethernet проти 400G Ethernet: що насправді змінилося

Очевидна відмінність полягає в тому, що 800G передає вдвічі більшу сукупну пропускну здатність, ніж 400G. Практичні відмінності є тим, що керує планом проекту:

Єдиний рядок, який найбільше ігнорується, це вимога ASIC. Модуль 800G QSFP-DD800 механічно сумісний із кліткою QSFP-DD 400G, тому він фізично підходить -, але йому потрібна ASIC хоста, яка підтримує сигналізацію 100G-на-смугу. Вставте один у комутатор 50G-per-400G, і він не забезпечить 800G. Планування ємності починається там, а не з передньої панелі.

Чому 800G Ethernet важливий зараз

Раніше корпоративний трафік проходив переважно на північ-південь, між користувачами та програмами. Навчання штучного інтелекту, широкомасштабне-виведення та розподілене сховище перевернули це: інтенсивний трафік тепер схід-захід, між прискорювачами та між вузлами зберігання всередині структури. Коли тисячі графічних процесорів синхронізують градієнти або обмінюються параметрами, вузьким місцем стає мережа -, а не обчислення -.

Усиновлення відображає цей тиск. Відповідно доПрогноз перемикання центрів обробки даних Dell'Oro Group, поставки портів 800G перевищили 20 мільйонів одиниць протягом приблизно трьох років після першої поставки - етапний етап 400G знадобилося шість-сім років, щоб досягти - майже повністю за допомогою внутрішніх мереж штучного інтелекту-. Схил різкий саме тому, що робочі навантаження-вимагають пропускної здатності, як-обчислення загального призначення ніколи не були.

Тканини ШІ та машинного навчання

У фоновій-мережі зі штучним інтелектом справжнє питання полягає не в тому, чи 800G швидше, а в тому, чи зменшує він надмірну підписку між GPU, не створюючи нових теплових або кабельних вузьких місць. Колективні операції, такі як all-reduce, чутливі до найповільнішого шляху, тому структура, яка вдвічі зменшує кількість посилань, утримуючи затримку та перевантаження, безпосередньо покращує час виконання завдання. Ось чому 800G з’являється першим у висхідних зв’язках-to-leaf і GPU-to-leage links у кластерах, що працюють під керуванням RoCEv2, де поведінка без втрат і балансування навантаження важливі так само, як і необроблена пропускна здатність.

Хмара та гіпермасштаб

Гіпермасштабовані оператори використовують вищі швидкості портів, щоб збільшити пропускну здатність без зростання складності стійки з однаковою швидкістю. Один висхідний канал 800G замінює два канали висхідного зв’язку 400G, що означає менше кабелів, менше оптики для керування та більше простору для кожної стійки. У масштабі це призводить до меншої кількості точок збоїв і простішої кабельної установки - економія на експлуатації, яка часто переважує різницю в-вартості порту.

Щільність пропускної здатності та потужність

У міру масштабування мереж пропускна здатність однієї стійки стає жорстким обмеженням дизайну. Створення 800 Гбіт/с із багатьох повільніших портів спалює простір на передній панелі, збільшує кількість кабелів і додає операційні витрати. Консолідація цього в порти 800G може зменшити споживання енергії на переміщений біт -, але лише іноді. Фактична потужність на біт залежить від ASIC комутатора, типу оптики (модуль LPO з лінійним-приводом може споживати 4–10 Вт, тоді як модуль DSP споживає 14–17 Вт), радіусу дії та конструкції охолодження. Розглядайте «більш ефективний» як претензію для перевірки за допомогою вашої власної ASIC та оптики, а не як гарантію.

Стандарти 800G Ethernet: IEEE 802.3df, 800GBASE-R і архітектура Lane

На цьому багато оглядів 800G закінчуються. «800G» — це не окрема специфікація -, це набір пов’язаних стандартів, які визначають, як швидкість кодується, коригується та передається через мідь і оптоволокно.

Від 800GBASE-R до IEEE 802.3df

Перша офіційна специфікація 800G надійшла відEthernet Technology Consortium у 2020 році як 800GBASE-R. Замість того, щоб винаходити нову архітектуру, він перепрофілював два набори існуючої логіки 400G із IEEE 802.3bs, модифікованої для розподілу даних між вісьмома фізичними смугами 106-Гбіт/с, і зберіг стандартне пряме виправлення помилок RS(544 514), щоб нова швидкість залишалася сумісною з існуючим мисленням фізичного рівня. Це повторне використання є причиною того, що 800G з’явився так швидко: більша частина жорсткої логіки вже існувала в 400G.

Тоді IEEE ратифікувала офіційний стандарт.IEEE 802.3df-2024було опубліковано в березні 2024 року як поправка 9 до стандарту IEEE Std 802.3-2022, додаючи параметри MAC, фізичні рівні та параметри керування для 800 Гбіт/с (і додаткових фізичних рівнів 400 Гбіт/с) на основі сигналізації 100 Гбіт/с-на{-смугу по міді, багатомодовому волокну та одномодове-волокно. Електричний інтерфейс між ASIC і модулем відповідає IEEE 802.3ck для сигналізації 100G-на-смугу. Робота над наступним кроком - 200 Гбіт/с на смугу, увімкнувши чотири-смуги 800G і вісім-смуг 1.6T – триває в IEEE 802.3dj.

Що насправді роблять шари

Високо{0}}швидкісне з’єднання Ethernet — це більше, ніж кабель. Чотири рівні виконують справжню роботу, і розуміння їх — це те, що дозволяє правильно читати таблицю даних трансивера:

• MACобробляє форматування кадрів Ethernet і доступ до середовища.
• PCS(Physical Coding Sublayer) кодує дані та розподіляє їх по восьми смугах. У 800GBASE-R два екземпляри 400G PCS адаптовані для живлення одного 800G MAC.
• FEC(Форвардне виправлення помилок) виявляє та виправляє бітові помилки. На швидкостях PAM4 частота необроблених помилок достатньо висока, тому FEC не є необов’язковим - це те, що робить посилання придатним для використання, а тип FEC впливає на затримку.
• PAM4надсилає два біти на символ із використанням чотирьох рівнів амплітуди замість двох рівнів старішої сигналізації NRZ, подвоюючи швидкість передачі даних на смугу з тією самою швидкістю передачі - ціною значно менших запасів сигналу-до-шуму.

Типи PMD, які визначають 800G

На підрівні, що залежить від фізичного середовища (PMD), «800G» перетворюється на окремий модуль, який можна замовити. IEEE 802.3df-2024 визначає сімейство з восьми-смуг, 100G-на смугу PMD:

• 800GBASE-CR8- вісім смуг по міді (пряме приєднання).
• 800GBASE-KR8- вісім смуг над задньою платою.
• 800GBASE-VR8 / 800GBASE-SR8- вісім смуг через багатомодове оптоволокно, дуже короткий і короткий доступ.
• 800GBASE-DR8 і 800GBASE-DR8-2- вісім паралельних одно-смуг руху приблизно на 500 м і 2 км.

Одну загальну плутанину варто виправити: популярні модулі 800G "FR4" і "LR4"ні802.3df восьми-смуги PMD. На практиці вони поставляються як2×FR4і2×LR4- два незалежних оптичних двигуна 400G-FR4/LR4, що використовують довжини хвилі CWDM4 через дуплексне одномодове-волокно - або, в останньому поколінні, як справжня чотири-оптика, створена на основі сигналізації 200 Гбіт/с-на-смугу відповідно до IEEE 802.3dj. Коли постачальник вказує «800G FR4», підтвердьте, чи це група 2×400G чи частина 200G-на-смугу, оскільки вони взаємодіють із різними речами.

Оптика та форм-фактори 800G: OSFP проти QSFP-DD800

У 800G домінують два підключаються форм-фактори: OSFP і QSFP-DD800. Обидва мають вісім смуг на 100G PAM4. Різниця полягає в терміці, щільності та зворотній сумісності -, а правильна відповідь залежить від того, що ви будуєте.

ОСФП

OSFP (Octal Small Form-factor Pluggable) із самого початку був розроблений для восьми високо-швидкісних смуг і високого розсіювання потужності. Відповідно доOSFP MSA, форм-фактор підтримує 400G (8×50G), 800G (8×100G) і 1,6T (8×200G), вміщує до 36 портів на передній панелі 1U, а стандартний варіант поставляється з вбудованим радіатором для теплового запасу. Ось чому OSFP є стандартним у нових кластерах штучного інтелекту NVIDIA-класу, де модулі можуть працювати 12–17 Вт і більше.

Поєднується одна деталь розгортання: OSFP поставляється у версіях із вбудованим-охолоджувачем (IHS) і з-радіатором (RHS). NIC і деякі серверні порти потребують RHS; замовте модулі IHS для цих слотів, і вони фізично не встановляться. Перед покупкою перевірте тип радіатора на комп’ютері.

QSFP-DD800

QSFP-DD800 розширює перевірену сімейство QSFP-DD до 800 ГБ, зберігаючи той самий компактний розмір. Його основною перевагою є зворотна сумісність: якQSFP-DD800 MSAописує, порт QSFP-DD800 також приймає модулі QSFP+, QSFP28, QSFP56 і 400G QSFP-DD, що дозволяє операторам повторно використовувати модулі, на які галузь уже витратила приблизно 9 мільярдів доларів. Якщо ви модернізуєте встановлену нерухомість QSFP, а не будуєте нову територію, ця безперервність є цінною. QSFP-DD800 базується безпосередньо на ширшомуФорм-фактор QSFP-DD, тож клітини, панелі та операційне обладнання переносять на майбутнє. Модулі QSFP-DD800 на основі DSP- зазвичай споживають 14–17 Вт, а варіанти LPO — у діапазоні 4–10 Вт.

800G OSFP проти QSFP-DD800: що вибрати?

Чесне розділення таке: будувати для терміків і дорожньої карти 1.6T або будувати для щільності та повторного використання.

• Виберіть OSFPдля нових навчальних мереж штучного інтелекту, де кожен порт перегрівається, тепловий запас має значення, і вам потрібен чистий шлях до 1,6 Т (OSFP-XD / OSFP1600).
• Виберіть QSFP-DD800коли ви розширюєте існуючий комутатор QSFP-DD, вам потрібна щільність передньої-панелі та ви хочете захистити попередні інвестиції в оптику та кабелі.

Не вибирайте популярність. Рішення залежить від вибраної вами платформи комутатора, фактично доступної для неї оптики, відстані зв’язку, яку потрібно покрити, типу волокна та конструкції охолодження.

Типи оптики 800G за радіусом дії та волокном

Після встановлення форм-фактора оптику вибирають за відстанню та волокном, а не за швидкістю порту. Це єдина найбільш корисна таблиця вибору для проекту 800G - це різниця між замовленням модуля, який світиться, і модуля, який не може досягти дальнього кінця. Нижче наведено типові галузеві значення; завжди підтверджуйте відповідно до конкретної таблиці даних.

Кілька практичних правил випливають прямо з цієї таблиці. SR8 і VR8 є єдиними багаторежимними варіантами, іВстановлений клас OM3/OM4/OM5обмеження, як далеко вони досягають. Кожен-окремий оптичний режим, наведений вище, працює на OS2, і точнотип одномодового-волокнавпливає на втрату та відстань. Крім оптичних опцій, мідні й активні кабелі охоплюють дуже короткі відстані: пасивний ЦАП для пробігів до кількох метрів, активний електричний кабель (AEC) для діапазону приблизно 3–7 м усередині та між суміжними стійками та AOC, де зручним є фіксований модуль-плюс-волокно.

Прорив 800G: 2×400G, 4×200G та 8×100G

Однією з найбільш корисних властивостей платформ 800G є прорив. Оскільки порт має вісім смуг, його можна розділити. Залежно від комутатора, оптики та кабелю, порт 800G може працювати як 1×800G, 2×400G, 4×200G або 8×100G.

Це важливо, тому що майже жодна мережа не переходить на 800G всюди одночасно. Реалістичне розгортання дає 800 Гбіт на основну частину або сервер -штучного інтелекту, тоді як кінцеві порти, сховище та серверні порти залишаються на рівні 100 Гбіт, 200 Гбіт або 400 Гбіт. Наприклад, порт 800G DR8 зазвичай розходиться на 2×400G-DR4 або 8×100G для живлення менш{16}}швидкісних пристроїв, тоді як модуль 2×FR4 з’єднує дві існуючі кінцеві точки 400G-FR4 взагалі без розривного кабелю.

Прорив також є місцем, де припущення помиляються. Роз’єм, полярність оптоволокна, відображення смуг, версія комутатора NOS, тип оптики та підтримувані швидкості – все це має бути узгоджено -, і не кожен порт 800G підтримує кожен режим розриву в кожному випуску програмного забезпечення. Плануйте фізичну сторону завчасно: вибірправий проривний кабель MPOоскільки поділ, який ви збираєтеся, такий же важливий, як і сам модуль, і ширшийРішення з роз’єму MTP проти MPOвпливає на щільність і працездатність всієї тканини.

Де використовується 800G Ethernet - і що вимагає кожен випадок

Варіанти використання збігаються, але вимоги, що стоять за ними, відрізняються. Відповідність оптики та топології робочому навантаженню – це те, що відрізняє робочу мережу 800G від дорогої.

• Навчання штучному інтелекту та тканини висновків.Пріоритетом є низька, передбачувана затримка за інтенсивної синхронізації, транспортування без втрат (RoCEv2) і чистого балансування навантаження (ECMP) у мережі. Досяжність зазвичай невелика, тому домінують SR8 всередині стійки та DR8 поперек хребта-; терміки штовхають їх до OSFP.
• Хмара та гіпермасштаб.Пріоритетом є масштабована, повторювана пропускна здатність мережі. 800G консолідує хребтові-висхідні канали зв’язку та між-пропускну здатність модулів; зворотна сумісність і простота експлуатації часто скеровують їх до QSFP-DD800.
• Високопродуктивні-обчислення.Пріоритетом є передбачуваний рух даних між обчислювальними вузлами та вузлами зберігання, а це означає, що контроль перевантажень і перемикання з низькою-затримкою важливіші за пікову пропускну здатність.
• Зберігання та аналітика.Пріоритетом є стійка пропускна здатність для переміщення великих наборів даних і контрольних точок; обмеження, як правило, полягає в тому, наскільки швидко сховище та тканина можуть залишатися живими, а не швидкість порту.
• Інтерконнект ЦОД.Пріоритет зміщується до охоплення, наявності оптоволокна та бюджету електроенергії. Тут 2×FR4 (2 км), 2×LR4 (10 км) і когерентний ZR/ZR+ (80 км+) є відповідними варіантами, які часто переносяться на велику-кількість-волоконМагістральні кабелі MPO/MTPв хребті.

Коли слід оновити 400G до 800G?

800G завойовує своє місце, коли є помітне вузьке місце -, а не тоді, коли воно просто доступне. Шукайте конкретні сигнали, перш ніж здійснити:

• Вихідні канали зв’язку 400G стабільно працюють із завантаженням приблизно на 50–70%, оцінюючи 95-й процентиль, а не піки.
• Надмірну підписку на Fabric не можна вирішити, перебалансувавши трафік або додавши кілька посилань.
• Кластер графічного процесора масштабується до рівня, де попит на пропускну здатність на-прискорювач перевершує те, що надає 400G без значної надмірної підписки.
• Кількість портів хребта або шляхи волокон наближаються до виснаження.
• Нова збірка на основі комутації класу 51.2T-, де 800G є просто рідною швидкістю порту.

400G все ще є правильною відповіддю, коли зв’язки недостатньо використовуються, програми не-прив’язані до мережі, поточні комутатори не мають 100G-PAM4-сумісних ASIC (тому 800G вимушує оновити навантажувач), або живлення та охолодження не готові до 12–17 Вт на порт за високої щільності.

Приклад сценарію міграції.Команда використовує 400-граммовий хребетний-тканин, який був зручним протягом двох років. Новий кластер графічного процесора з’являється в режимі онлайн, трафік на схід-захід зростає, а 95-й-процентиль використання магістральних висхідних каналів становить близько 80%. Замість того, щоб пере-прокладати більше з’єднань 400G, вони запроваджують лише 800G на магістралі: 800G DR8 у режимі одинарного-для 500-метрової магістралі--кінцевої лінії, з кожним портом 800G, розбитим на 2 × 400G, де він приземляється на існуючі листові комутатори 400G. Доступ до сервера залишається на рівні 200G. Перемоги реальні - кількість зв’язків на хребті приблизно вдвічі зменшується, а резерв повертається -, але в першу чергу проект має три речі: новий комутатор потребує 100G-PAM4 SerDes, кожен порт додає ~15 Вт тепла, яке повинні поглинати стійки, а для зв’язків DR8 потрібне одномодове-волокно, тому будь-яке багатомодове працює, що залишилося від попереднього епохи повинні бути замінені, а не повторно використані.

Як спланувати оновлення 800G Ethernet

Оновлення 800G – це проект архітектури мережі, а не оновлення апаратного забезпечення. Ці кроки рухаються в порядку від «чому» до «підтвердити».

Крок 1: Визначте проблему дорожнього руху

Почніть із вузького місця, а не з порту. Чи висхідні канали зв’язку 400G перевантажені на постійній основі? Чи рух на схід-захід переростає структуру? Штучний інтелект або робочі навантаження на сховище різкі? Підписка на тканину перевищена, чи у вас закінчилися порти чи волокно? Якщо ви не можете вказати на конкретну проблему ємності чи перевантаженості з даними, що стоять за нею, 800G передчасно.

Крок 2: зіставте топологію

Вирішіть, куди в першу чергу піде 800G. Звичайними точками входу є висхідні канали-до-листя, серверні-мережі AI, агрегація-високої{5}}ємності, зв’язки DCI та агрегація сховищ. Більшість команд запроваджують 800G у хребті або штучному інтелекті, зберігаючи доступ до сервера на рівні 100G, 200G або 400G, з проривом, який поєднує обидва.

Крок 3. Перевірте можливості комутатора та ASIC

Два комутатори з портами 800G не рівні. Перевірте кількість портів 800G, підтримувані форм-фактори, комутаційну ємність, затримку та поведінку буфера, підтримку прориву, функції RoCEv2 / без втрат, телеметрію та автоматизацію, зрілість NOS та тестування сумісності постачальника. Для штучного інтелекту та HPC поведінка перевантаження під навантаженням є таким же вирішальним, як і необроблена пропускна здатність.

Крок 4: Виберіть правильну оптику

Використовуйте таблицю охоплення-і-волокна вище. Зіставте оптику з відстанню, типом волокна, роз’ємом, бюджетом потужності, температурним діапазоном, потребами прориву та перевіреною сумісністю комутатора -, а потім перевірте час виконання, який був реальним обмеженням для оптики 800G і DSP. Перед замовленням завжди перевіряйте таблицю даних трансивера відповідно до матриці сумісності комутатора.

Крок 5: Перевірте оптоволокно та кабелі

800G виявляє слабкі сторони, повільніше з’єднання допускається. Перед оновленням перевірте тип і клас волокна, стан і чистоту роз’єму, полярність, ємність патч-панелі, радіус вигину та вплив повітряного потоку щільнішого кабелю. Перш за все, переконайтеся, що посилання залишається в межахбюджет втрат-вставки- у PAM4 маргінальний з’єднувач або брудний торець, які пройшли на нижчій швидкості, можуть призвести до помилок у з’єднанні. Швидкий порт нічого не вартий, якщо фізичний рівень не чистий і стабільний.

Крок 6: Планування живлення та охолодження

Оптика та перемикачі 800G посилюють потужність і температуру. Щільний комутатор 800G може споживати близько 700–1000 Вт, а кожен порт додає приблизно 12–17 Вт тепла. Перевірте потужність стійки, потік повітря від-до-заду, моніторинг температури модулів, поведінку вентилятора, закупорку кабелю, конструкцію гарячого/холодного проходу, а також те, чи потрібне рідинне чи розширене охолодження. Ігнорування цього призводить до дроселювання, нестабільності з’єднання або скорочення терміну служби обладнання.

Крок 7. Перевірте перед масштабуванням

Перевірте в контрольованому пілотному режимі перед розгортанням: запуск-зв’язку, поведінку FEC, затримку, втрату пакетів, обробку перевантажень, поведінку прориву, телеметричну видимість, температуру оптики, взаємодію-від багатьох постачальників і відновлення після відмови. Пілот виявляє проблеми, які набагато важче виправити, коли тканина вже у виробництві.

Поширені помилки 800G, яких слід уникати

• Розглядаючи 800G як надходження-.Для цього може знадобитися нова оптика, оптоволокно, охолодження, конфігурація комутатора та моніторинг -, а також ASIC комутатора, що підтримує 100G на смугу.
• Ігнорування деталей прориву.Перед замовленням перевірте програмне забезпечення комутатора, оптику, кабелі, дальні -пристрої та карту смуг. Порт 800G, який «підтримує вихід», може не підтримувати саме той режим, який вам потрібен на тій NOS, яку ви використовуєте.
• Вибір оптики по дальності.Потужність, термічні характеристики, тип роз’єму, сумісність і доступність мають значення -, а змішування типів оптоволокна є класичною помилкою, оскільки DR8/FR4/LR4 потребує одномо-режимі й не працюватиме на багатомодовій установці.
• З видом на контроль заторів.Для AI та HPC пропускна здатність сама по собі не гарантує продуктивності; транспортування без втрат, управління перевантаженнями та балансування навантаження вирішують це.
• Операції забування.Для високо-швидкісних з’єднань потрібна потужна телеметрія -: оптична потужність, температура модуля, помилки FEC, відкидання пакетів, глибина черги та стабільність з’єднання — усе це потребує уваги.

Ключові висновки

800G Ethernet став основоположною інфраструктурою для центрів обробки даних епохи штучного інтелекту-, визначених восьми-смугами, 100G-на-смугу архітектури IEEE 802.3df-2024 і 800GBASE-R. Він забезпечує вищу пропускну здатність на порт і практичний шлях масштабування для штучного інтелекту, хмари, HPC і щільних мереж, а також чітку злітну смугу до 1,6 Т.

Але успішне оновлення 800G залежить не тільки від швидших комутаторів. Це означає узгодження форм-фактора (OSFP або QSFP-DD800) з робочим навантаженням, вибір оптики за діапазоном і волокном, підтвердження того, що ASIC комутатора підтримує 100G на смугу, перевірку волоконно-волоконної установки на менші бюджети втрат і планування 12–17 Вт тепла на порт. Якщо ваша мережа наближається до ліміту 400 ГБ або ви створюєте для ШІ та високо-продуктивних робочих навантажень, почніть з аналізу трафіку, перевірте фізичний рівень, пілотуйте обмежене розгортання, а потім масштабуйте за чіткою дорожньою картою міграції.