Штучний інтелект змінює дизайн центрів обробки даних. Основна увага приділяється графічним процесорам, прискорювачам і охолодженню, але рівень, який тихо вирішує, чи вдасться решта збірки, це кабелі. У кластері штучного інтелекту фізичний рівень визначає, чи справді ви можете досягти 400G і 800G, чи залишаються високошвидкісні-зв’язки достатньо чистими, щоб пропускати трафік, чи повітряний потік витримує повністю заповнену стійку, і чи ваш наступний стрибок швидкості буде заміною картки чи оновленням навантажувача.
Цей посібник написано для команд з-інфраструктури та оптичних мереж. У ньому пояснюється, чим відрізняються кабелі штучного інтелекту, вимоги, важливі для реальних цифр, як порівнювати DAC, AOC і структуроване волокно, покроковий--процес планування, що потрібно підготувати перед переходом на 400G або 800G, а також контрольний список, який ви можете використовувати. Наведені тут технічні посилання базуються на поточних стандартах IEEE 802.3 і ANSI/TIA-942.
Чому робочі навантаження AI змінюють вимоги до кабелів центру обробки даних
Традиційні корпоративні центри обробки даних будували навколо досить передбачуваного трафіку додатків, більша частина якого прямувала на північ-південь, переміщаючись між користувачами, програмами та зовнішніми мережами. Кластери ШІ інвертують цей шаблон. Під час навчання та широкомасштабного-виводу домінуючим потоком є схід-захід: графічні процесори постійно обмінюються градієнтами та активаціями один з одним за допомогою колективних операцій, таких як all-reduce, зазвичай через структуру віддаленого прямого доступу до пам’яті (RDMA).
Це видно в еталонних дизайнах постачальників. NVIDIA будує обчислювальну мережу графічного процесора як структуру-на основі RDMA-основи за допомогоюrail-оптимізована топологія, щоб будь-який графічний процесор був щонайбільше одним переходом від будь-якого іншого, що забезпечує ефективність зв’язку з кількома-графічними процесорами в масштабі. Наслідком підключення кабелю є величезна кількість портів: один вузол із вісьмома-GPU може представити вісім портів 400G (або 800G) east-west, а навчальний модуль із кількома листовими комутаторами на стійку дуже швидко розмножує магістральне оптоволокно та патчі.
Коли фізичний рівень недостатньо-запланований, проблеми не виявляються в перший день. Вони з’являються пізніше, як перевантажені шляхи, які перекривають потік повітря, як ізоляція несправності, яка займає години замість хвилин, і як переробка під час першого циклу оновлення. Деталь, яка виглядає тривіальною, наприклад перевернута полярність MPO або забруднений торець, може вивести всю рейку з ладу. Для інфраструктури штучного інтелекту прокладання кабелів належить до архітектури з самого початку, а не як останнє завдання перед введенням в експлуатацію.
Традиційні та -підтримувані штучним інтелектом кабелі центру обробки даних
Різниця між традиційними кабелями та кабелями, готовими-з штучним інтелектом, полягає в зміні пріоритетів дизайну, а не лише у збільшенні кількості кабелів. Традиційні конструкції оптимізовані для сучасного підключення; Конструкції -з підтримкою штучного інтелекту оптимізують швидкість міграції, щільність, передбачувану якість зв’язку та зручність обслуговування протягом кількох циклів оновлення.
| Фактор дизайну | Традиційна кабельна розв'язка центру обробки даних | Кабельні-підтримувані штучним інтелектом центри обробки даних |
|---|---|---|
| Схема руху | Передбачуваний, часто північ-південь сильний | Інтенсивний трафік зі східного-західного GPU-до-GPU через мережі RDMA |
| Планування швидкості | Розмір для поточної швидкості мережі | Заплановано для 400G і 800G, з переходом до 1,6T |
| Щільність | Помірний порт і щільність волокна | Паралельне волокно високої-щільності, MTP/MPO на основі 8 і 16 |
| Проведення кабелів | Розглядається переважно як організація | Враховується як частина повітряного потоку, часу безвідмовної роботи та технічного обслуговування |
| Шлях оновлення | Часто потрібно відтягнути-кабель | Модульний: поміняти оптику та касети, залишити волоконний завод |
| Технічне обслуговування | Трасування вручну, повільніше | Перевірено, марковано, задокументовано, з визначеними шляхами |
Метою є волокнистий завод, який зможе поглинути принаймні один стрибок швидкості та одне розширення потужності без перепроектування.
Основні вимоги до кабелів для центрів обробки даних ШІ
Плануйте фізичний рівень для 400G і 800G, а не лише для сьогоднішньої швидкості
Кластери штучного інтелекту швидко просуваються вгору по швидкісних сходах від 100G до 400G, 800G і, зрештою, до 1,6T. Інтерфейси 400G і 800G тепер офіційно стандартизовані:IEEE 802.3df, затверджений у 2024 році, визначає MAC, фізичний рівень і параметри керування для 400 Гбіт/с і 800 Гбіт/с Ethernet, включаючи такі типи фізичних носіїв, як 800GBASE-SR8 і 800GBASE-DR8. Що стосується обладнання, 400G зазвичай працює у форм-факторі QSFP-DD або QSFP112, тоді як 800G використовує OSFP або QSFP-DD800. Якщо ви порівнюєте упаковку трансивера та відображення смуг, цеТехнічний огляд QSFP-DDє корисною відправною точкою.
Практичне правило: тип волокна розміру, кількість волокон і основа конектора, щоб рослина вижила під час наступного стрибка. Магістраль, розмір якої відповідає лише сучасній швидкості порту, стає вузьким місцем у той момент, коли зміна кремнію та оптики рухаються вперед.
Використовуйте оптоволокно високої-щільності MTP/MPO для підключення кластера-GPU
Високо{0}}швидкісні канали штучного інтелекту — це паралельна оптика, а паралельна оптика відображається безпосередньо на кількості волокон. З’єднання 400G-DR4 використовує чотири смуги або вісім волокон, які зазвичай завершуються наконечником MPO-12. З’єднання 800G-SR8 або 800G-DR8 використовує вісім смуг або шістнадцять волокон, часто MPO-16 із торцевими поверхнями APC. Магістралі MTP/MPO Base-8 і Base-16 у поєднанні з касетами об’єднують сотні цих зв’язків у стійку та перетворюють розгортання в повторювані, перевірені на заводі кроки, а не з’єднання на місці. Попередньо припиненоМагістральні кабелі MTP/MPOі розривні вузли (MPO до LC або MPO до MPO) є основою цього підходу.
Щільність все одно потрібно планувати, а не максимізувати. Упаковка оптоволокна в стійку, не думаючи про заповнення каналів і повітряний потік, створює зворотний-тиск на вихлопі обладнання та унеможливлює обслуговування портів. Встановіть коефіцієнти заповнення та правила-керування слабиною до, а не після першого встановлення.
Керуйте втратами, чистотою роз’єму та полярністю
Високошвидкісна оптика зі штучним інтелектом- менш поблажлива, ніж попередні посилання. Сигналізація PAM4, що використовується на 400G і 800G, працює з меншим бюджетом втрат каналів, ніж старі канали NRZ, і кожна сполучена пара MPO або LC додає внесені втрати, часто кілька десятих децибел на з'єднання. У структурованому каналі з декількома точками підключення та довжиною оптоволокна цей бюджет швидко зникає, тому кількість роз’ємів є змінною конструкції, а не запізнілою думкою. Варто зрозуміти різницю між внесеними втратами та зворотними втратами, а також те, чому вони мають значення для паралельної оптики, перш ніж завершувати створення каналу; цей пояснювач навнесені втрати в оптоволоконних мережахохоплює механіку.
Забруднення є однією з головних причин несправності польових з’єднань, тому кожну торцеву поверхню слід оглянути та очистити перед з’єднанням. Для полярності потрібна чітка схема (метод A, B або C), а одно-режимові паралельні канали зазвичай використовують кутові з’єднувачі APC для контролю зворотних втрат. Радіус вигину має значення для щільних панелей, де волокно, нечутливе до вигину, має перевагу. Надійність тут — це дисципліна встановлення та обслуговування, а також вибір компонентів.
Створіть модульну, масштабовану структуровану-кабельну архітектуру
Інфраструктура штучного інтелекту змінюється за короткий цикл, тому завод, який важко модифікувати, сповільнює кожне майбутнє розгортання. Структуровані кабелі, створені з магістралей, касет, корпусів і визначених шляхів, дозволяють командам додавати пропускну здатність або пере-змінювати структуру, не-витягуючи кабель.ANSI/TIA-942 визначає мінімальні вимоги до телекомунікаційної інфраструктури для центрів обробки данихі топологія кабельної розводки, призначена для майбутніх додатків, що є саме тією позицією, яка потрібна збірці ШІ. Завдяки цій основі більшість оновлень швидкості стає питанням заміни оптики та касет, а не перебудови фізичного рівня.
Прокладіть кабелі для потоку повітря та охолодження в стійках високої-щільності
ШІ стійки гарячі. Щільність потужності в найщільніших стійках GPU може перевищувати 100 кВт, і на таких рівнях перевантажені кабелі безпосередньо спричиняють рециркуляцію та локальні гарячі точки.Вказівки ASHRAE TC 9.9 створюють термоконтроль навколо входу ІТ-обладнання та чисте розділення між проходами гарячого-/холодного-, і кабельна розв’язка або підтримує це, або працює проти нього. На практиці це означає підвісні оптоволоконні шляхи, де це можливо, чіткий розподіл живлення та даних, вертикальні та горизонтальні диспетчери, розмір яких відповідає реальній кількості кабелів, дисципліновану слабину та маршрут, який ніколи не блокує задню витяжну трубу чи шафу для димоходу. Організація кабелів, яка забезпечує відстеження зв’язків, також запобігає помилкам людини під час переміщень і змін.
DAC, AOC або структуроване волокно? Матриця вибору кабелів центру обробки даних AI
Немає єдиного найкращого середовища для кластера ШІ; правильний вибір залежить від досягнень і ролі. Усередині стійки мідь з коротким{1}}досяжністю все ще виграє за вартістю, потужністю та затримкою. Оскільки зв’язки охоплюють ряди та коридори, одномодове-волокно стає масштабованою основою. Наведена нижче матриця порівнює загальні варіанти так, як їх фактично зважує огляд дизайну.
| Варіант | Типовий охоплення | Типова швидкість | Де підходить | Носій і роз'єм | Вартість і потужність | Найкращий-випадок використання |
|---|---|---|---|---|---|---|
| Пасивний ЦАП | Приблизно до 3 м | До 400G (наприклад, 400G-CR8) | Внутрішня-стійка та суміжна-стійка верх--стійки | Мідь Twinax, інтегровані кінці | Найнижча вартість, найменша потужність, найменша затримка | Графічний процесор або сервер для переходу в ту саму або наступну стійку |
| AOC | Від кількох метрів до приблизно 30 м, у деяких випадках довше | 400G і 800G | В ряду, через сусідні стійки | Багатомодове ядро, фіксовані кінці трансивера | Низька потужність, без очищення торця поля | Постійний сервер-для-залишення посилань за межами досяжності DAC |
| Багатомодове структуроване волокно (OM4/OM5) | Десятки метрів, приблизно до 100 м, коротше при 800G | 400G і 800G SR/VR | Лист{0}}хребет у залі | OM4/OM5 з MTP/MPO та LC | Багаторазовий і ремонтний | Короткі зв’язки від-до-корінця та-до-рядка |
| Одно-модове структуроване волокно (OS2) | Від 500 м до 2 км (DR/FR), до 10 км (LR) | 400G і 800G DR/FR/LR | Хребет, поперечна-кімната, поперечна-будівля | OS2 з MTP/MPO (APC) і LC/APC | Найвищий охоплення та масштабованість | Spine uplinks, cross{0}}hall і більші GPU-матеріали |
Ось чому таке загальне твердження, як «волокну завжди надають перевагу», потребує застереження: волокно є масштабованою основою для тканини, але пасивний ЦАП все ще є кращим інженерним вибором для-метрового стрибка всередині стійки.
Як крок за кроком спланувати кабельну розводку центру обробки даних AI
Крок 1: зіставте робоче навантаження ШІ та топологію мережі
Почніть з навантаження. Велика навчальна група, високо-система визначення пропускної здатності, кластер HPC і-важке розгортання сховища не мають однакового профілю трафіку. Потім зіставте, де підключаються обчислювальні GPU (схід-захід), сховище, північ-південь і-поза-мережі керування. Для розгортання чистого висновку може взагалі не знадобитися велика східно-західна структура, тоді як багато-стійкова навчальна капсула знадобиться. Проектуйте відповідно до реального транспортного потоку, а не лише до висоти стійки.
Крок 2. Зафіксуйте поточні та майбутні цілі швидкості
Визначте як першу фазу, так і наступну. Якщо стручок працює 400 Г сьогодні і 800 Г наступного року, волоконний завод має бути розрахований на 800 Г зараз. За цим горизонтом робота над Ethernet-класу терабіт уже триває:Робоча група IEEE P802.3dj визначає роботу 200G, 400G, 800G і 1,6 Тбіт/с з використанням сигналізації 200 Гбіт/с-на-смугу. Знаючи, куди прямує дорожня карта, ви дізнаєтеся, скільки волокон і пропускну здатність шляху потрібно зарезервувати.
Крок 3: Виберіть носії та роз’єми з полями
Питання OS2-проти-OM4 — це здебільшого питання досягнення. OM4 підходить для зв’язків лист-хребет менш ніж 100 м, але радіус дії зменшується зі збільшенням швидкості, тому, коли зв’язки перетинають ряди чи коридори, або якщо вам потрібен запас 800G DR/FR, одномодовий OS2 є безпечнішою основою. Оглядмежі відстані від OM1 до OM5 багатомодового волокнаробить компроміс-конкретним. Зіставте базу MPO (12 проти 16) з картою оптичного волокна та плануйте полярність заздалегідь; для панелей високої-щільності цеПосібник з вибору MTP проти MPOохоплює важливі відмінності. Якщо трансивер і швидкість порту не узгоджуються, плануйте прориви (від MPO до LC), а не імпровізуйте під час встановлення.
Крок 4: Сплануйте щільність стійки, шляхи та потік повітря разом
Розташування стійки, прокладання кабелів і охолодження — це одне рішення в -середовищі штучного інтелекту, а не три. Перед встановленням підрахуйте, скільки кабелів входить у кожну стійку та виходить із неї, вирішіть, де розташовуються патч-панелі, сплануйте провисання та переконайтеся, що технік може дістатися до порту та замінити його, не порушуючи живі з’єднання. Залиште запас для росту в лотках і співвідношеннях заповнення. Стійка, яка виглядає чистою під час введення в експлуатацію, стає непридатною для експлуатації після двох циклів оновлення, якщо шляхи були максимально вичерпані в перший день.
Крок 5: Тестування, документування та підтримка до спец
Перевірте кожне посилання на специфікацію проекту, що для високо-швидкісного волокна означає перевірку втрат-втрат, OTDR, якщо це необхідно, перевірку полярності та перевірку торця. Задокументуйте кожен порт, магістраль, касету та шлях, включно зі схемою полярності, довжиною та виміряними втратами, за допомогою міток, які відповідають -збудованим кресленням. Тоді технічне обслуговування стає рутиною: очищення торцевих поверхонь, періодичні перевірки, контроль етикеток і змін. Наступний звукпрактика монтажу оптоволоконного кабелюдля радіуса натягу та вигину захищає бюджет втрат, який ви тестували.
До чого підготуватися перед переходом на 400G або 800G
Міграції не вдаються на фізичному рівні частіше, ніж на оптичному. Перш ніж обрізати, виконайте такі дії:
- Перевірте тип і кількість волокон, а також переконайтеся, що існуючий OM4 все ще досягає цільової швидкості, оскільки підтримувана відстань зменшується зі збільшенням швидкості лінії.
- Переконайтеся, що основа роз’єму відповідає новій оптиці (MPO-12 проти MPO-16) і чи дотримується схема полярності.
- Повторно обчисліть бюджет втрат зв’язку для PAM4, потім зменшіть кількість з’єднань, де це можливо, і повторно-перевірте кожну кінцеву грань.
- Підтвердьте шлях і ємність лотка для доданих кабелів, а також підтвердьте теплову стійку для оптики з більшою-потужністю.
- Сценічні касети, багажники, етикетки та план тестування заздалегідь, щоб заміна була заміною-, а не повторним-витягуванням.
Поширені помилки, яких слід уникати
Розмір лише для сьогоднішньої пропускної здатності.Завод, побудований для сучасних швидкостей, швидко старіє. Побудуйте реалістичний шлях до вищої швидкості та більшої щільності портів.
Розгляд кабелю як косметика.Акуратна розводка кабелів корисна, але управління насправді стосується потоку повітря, доступу та усунення несправностей, а не зовнішнього вигляду.
Пожертвування доступом для обслуговування заради щільності.Висока-щільність не є «максимально компактною». Якщо технік не може безпечно відстежити та замінити з’єднання, конструкція буде коштувати вам під час реальних операцій.
Купівля комплектуючих окремо.Кабелі, роз’єми, панелі, трансивери, стійки та шляхи утворюють один канал. Частина, яка виглядає дешево сама по собі, може закривати всю тканину, коли вона масштабується.
Контрольний список-готовності кабелів із штучним інтелектом
Опрацюйте їх перед масштабуванням GPU. Кожен елемент має конкретну умову проходження, а не розпливчасті «так» або «ні».
- Запас швидкості:Чи може встановлене волокно підтримувати принаймні один стрибок швидкості (наприклад, 400G до 800G) без повторного-витягування, і чи кількість волокон відповідає карті смуг оптики (вісім або шістнадцять волокон)?
- Бюджет збитків:Чи кожен високошвидкісний-канал входить до свого-допуску втрат PAM4 із перевіреним підрахунком з’єднань і перевіркою торцевої поверхні?
- Щільність проти обслуговування:Чи може технік дістатися, відстежити та замінити будь-який порт, не порушуючи струмоведучу рейку?
- Потік повітря:Чи захищають шляхи задню вихлопну трубу та камеру проходу, і чи живлення та дані розділені?
- Документація:Чи кожне з’єднання перевірено та записано зі схемою полярності, довжиною та втратою та позначено відповідно до-вбудованих креслень?
- Масштаб:Чи оптимізована топологія leaf-spine, rail-розповсюджується на наступний блок без редизайну?
- Припасування медіа:Чи вибрано кожне середовище зв’язку за охопленням, швидкістю, термічним впливом і зручністю обслуговування, із ЦАП у -стійці та OS2 у різних залах?
Якщо кілька відповідей негативні, перепроектуйте фізичний рівень до масштабування робочих навантажень ШІ, а не після першого розширення.
FAQ
З: Які кабелі потрібні для мереж 400G і 800G AI?
A: Вони працюють на паралельній оптиці через волокно MTP/MPO. З’єднання 400G-DR4 використовує вісім волокон, зазвичай MPO-12, тоді як 800G-SR8 або 800G-DR8 використовує шістнадцять волокон, часто MPO-16 з APC. OM4 або OM5 охоплює короткий діапазон, OS2 охоплює більший діапазон, а пасивний ЦАП обробляє найкоротші стрибки в стійці. Самі інтерфейси визначені в IEEE 802.3df.
З: Одно-модове чи багатомодове волокно краще для центрів обробки даних ШІ?
A: Це залежить від відстані. Багатомодовий OM4 або OM5 економічно-ефективний для листових-хребтових ланок менше приблизно 100 м, але підтримувана відстань зменшується на 800G. Однорежимний-режим OS2 є кращою основою, якщо зв’язує перехресні ряди чи коридори, або коли вам потрібен охоплення 800G DR/FR і майбутній запас 1,6T. З цієї причини багато великих мереж стандартизовані на OS2.
З: Коли в центрі обробки даних ШІ слід використовувати ЦАП, АОС або оптичні трансивери?
A: Використовуйте пасивний ЦАП для з’єднань приблизно до трьох метрів усередині або між суміжними стійками, де це забезпечує найнижчу вартість, потужність і затримку. Використовуйте AOC для постійних з’єднань від кількох метрів до приблизно десятків метрів. Використовуйте підключаються трансивери зі структурованим волокном, коли вам потрібен охоплення, повторне використання та можливість обслуговування зв’язку.
З: Як обчислити бюджет втрат у кабелях для високо-швидкісних з’єднань?
A: Почніть із дозволу на втрату-каналу, визначеного стандартом трансивера (наприклад, 800GBASE-SR8 або 800GBASE-DR8). Відніміть затухання волокна, помножене на довжину, плюс втрати кожної пари сполучених роз’ємів, що часто становить кілька десятих децибел, плюс будь-які з’єднання, і збережіть запас у резерві. Бюджети PAM4 менші, ніж у старих каналів NRZ, тому кількість з’єднань і чистота кінцевої поверхні безпосередньо визначають, чи пройде канал.
З: Як кабелі впливають на охолодження в -стійках штучного інтелекту з високою щільністю?
A: Перевантажені пучки кабелів перешкоджають потоку повітря, створюють зворотний-тиск на вихлопах обладнання та спричиняють рециркуляцію та гарячі точки, що має значення при щільності стійки GPU, яка може перевищувати 100 кВт. Підвісні шляхи, розділене живлення та дані, менеджери правильного розміру та маршрути, які зберігають вихлоп і герметичність вільними, все це захищає конструкцію охолодження.
З: Чи підходить мідь для центрів обробки даних штучного інтелекту?
A: Так, для коротких з’єднань-стійки та суміжних-стійок, де ЦАП є ефективним вибором. Висока-щільність і більші пробіги переходять на оптоволокно для пропускної здатності, охоплення та масштабованості.
Питання: Чому роз’єми MTP/MPO є поширеними в кабелях AI?
A: Вони несуть від восьми до двадцяти-чотирьох волокон в одному наконечнику, що є саме тим, що потрібно паралельній оптиці, і вони забезпечують-завершені канали для швидкого повторюваного встановлення з високою-щільністю.
Ключові висновки
Робочі навантаження штучного інтелекту змінюють вимоги до кабелів центрів обробки даних навколо вищої пропускної здатності, щільнішого паралельного оптоволокна, обмежених бюджетів втрат, маршрутизації -з урахуванням повітряного потоку та коротких циклів оновлення. Фізичний рівень сам по собі не зробить графічні процесори швидшими, але неправильний рівень обмежує продуктивність, надійність і швидкість оновлення всього середовища.
Найбезпечнішим принципом проектування є планування оптоволоконного заводу, пропускної здатності шляху, архітектури виправлення та моделі документації до посадки стелажів GPU, а не після першого циклу розширення. Створюйте принаймні один стрибок швидкості, вибирайте носії відповідно до ролі, а не за звичкою, і розглядайте чистоту роз’єму, полярність і потік повітря як першокласні-обмеження дизайну. Перш ніж розгортати чи розширювати, перевірте поточну кабельну мережу відповідно до контрольного списку вище; для структурованих кабелів і компонентів MTP/MPO ознайомтеся з нашимиволоконно-оптичні рішення.
