InfiniBand проти RoCE для мереж AI Inference

ВиберітьInfiniBandколи ваше робоче навантаження логічних висновків живе або вмирає через передбачувану затримку хвоста, і вибирайтеRoCE(RDMA через конвергентну мережу Ethernet), якщо вам потрібна ефективність класу RDMA-на мережі Ethernet, ви можете масштабувати, спільно використовувати та працювати з уже наявною командою. Жоден варіант не виграє всюди. Правильний вибір залежить від вашої моделі логічного висновку, цільових показників затримки p99 і p999, масштабу графічного процесора, бюджету та того, наскільки ваша команда фактично має досвід налаштування Ethernet-без втрат.

Чому мережа має більше значення, ніж очікують команди висновків

Протягом багатьох років висновок вважався легкою половиною історії графічного процесора: модель, завантажена на одному вузлі, запити обслуговуються незалежно, дуже малий трафік на схід-захід. Зараз ця картина застаріла. Сучасний висновок стає все більш поширеним, і кілька візерунків справляють справжній тиск на тканину.

• Тензорний паралелізмрозділяє один рівень між GPU, тож кожен крок маркера запускає всі-зменшення або всі-збирання операцій між ними. Це частий, чутливий до затримки-перехресний-трафік GPU, який GPU блокує під час очікування.
• Паралелізм трубопроводівпередає активації від одного етапу до наступного, часто між вузлами, додаючи між-залежності вузлів до кожного прямого проходу.
• Дезагреговані попередні заповнення та декодуваннявідокремлює фазу-важкого попереднього заповнення обчислень від фази-чутливого до затримки декодування, а потім переміщує кеш KV між ними. Ці передачі є великими та бурхливими, і будь-яка затримка безпосередньо відображається як менша затримка-до-першого-токена та між-токенами.
• Пошук{0}}доповненої генерації (RAG)додає східно-західний трафік до векторних і пошукових служб. Зазвичай це менша затримка-, ніж колективні операції, але все одно завантажує структуру, особливо при великому обсязі запитів.
• Багато{0}}обслуговування клієнтівпоміщає багато моделей і користувачів на одну структуру, де мікроспалахи та шумні-ефекти сусідів стають домінуючим ризиком.

Коли мережа є вузьким місцем, симптоми дорогі: більший час-до-першого-токена, графічні процесори зупиняються під час очікування даних, пропускна здатність, яка падає під час пакетів, і нестабільні p95 і p99. І ось те, що підриває тести: середня затримка приховує все це. Висновок про виробництво оцінюється за хвостом, а не за середнім.

InfiniBand проти RoCE: зведена таблиця для висновків AI

Що таке InfiniBand?

InfiniBand — це спеціально-створена мережева структура, розроблена з самого початку для низької затримки, високої пропускної здатності та зв’язку без втрат. Це не швидший варіант Ethernet. Він постачається з власними адаптерами хост-каналу, комутаторами, менеджером підмережі, кабельною екосистемою та-моделлю контролю перевантаження. Його визначальною цінністю є детермінована поведінка: багато графічних процесорів можуть обмінюватися даними з обмеженими часовими вимогами, а мережа продовжує працювати стабільно, навіть коли колективний трафік великий.

Сучасні платформи InfiniBand, орієнтовані на штучний інтелект-, розширюють цю базу за допомогою можливостей, спрямованих безпосередньо на великі кластери GPU. Наприклад, лінія Quantum InfiniBand від NVIDIA додаєадаптивна маршрутизація,-мережеві обчислення та контроль перевантажень-на основі телеметрії, які допомагають структурі розумно розподіляти трафік і ізолювати навантаження одного орендаря від іншого. Для висновку InfiniBand завойовує своє місце, коли робоче навантаження не терпить тремтіння або коли кілька вузлів графічного процесора повинні швидко й узгоджено обмінюватися даними.

Компромісами є вартість, концентрація екосистеми та операційна спеціалізація. Спеціальна мережа InfiniBand означає виділені комутатори, адаптери, кабелі чи оптичні модулі, а інженерам зручно керувати структурою InfiniBand. Для організації, яка вже використовує великі мережі Ethernet, з’єднання окремої мережі ускладнює закупівлю, планування запасних-частин і накладні витрати на моніторинг.

Що таке RoCE (RDMA через конвергентний Ethernet)?

RoCE забезпечує RDMA, прямий переміщення даних-до-пам’яті з низьким навантаженням ЦП на мережі Ethernet. RoCEv2, версія, яка використовується в сучасних центрах обробки даних, маршрутизується через IP-мережі рівня 3 і була стандартизованаТоргова асоціація InfiniBand. Саме ця можливість маршрутизації дозволяє RoCE природним чином вписуватись у конструкції кінцевої-системи Ethernet, повторно використовуючи знайомі мережеві карти, комутатори, оптику та інструменти моніторингу.

Заковика в тому, що транспорти RDMA передбачають мережу, яка майже-без втрат. Відкинути пакет, і транспорт повернеться до поведінки повторної передачі, що руйнує затримку хвоста. Таким чином, RoCE потребує Ethernet під ним, щоб поводитися як мережа без втрат, і це залежить від ретельного налаштування двох механізмів, зокрема:Контроль пріоритетного потоку (IEEE 802.1Qbb), який призупиняє один клас трафіку, щоб запобігти падінням, іЯвне сповіщення про перевантаження (ECN), який рано сигналізує про перевантаження, тому відправники сповільнюються до переповнення буферів. Додайте до цього керування чергами, розподіл буферів і відображення QoS, і стане зрозуміло, що високо-продуктивний RoCE — це не звичайний Ethernet.

Добре зроблений RoCE забезпечує достатню затримку та пропускну здатність для широкого спектру виробничих служб висновків, і багато робочих навантажень висновків менш тісно синхронізовані, ніж розподілене навчання, що йде на користь RoCE. Якщо це зробити неналежним чином, це спричиняє втрату пакетів, блокування--лінії, поширення перевантаження та нестабільні хвости, що безпосередньо призводить до погіршення якості обслуговування.

Затримка InfiniBand проти RoCE: що краще для висновку p99?

Обидві мережі можуть забезпечити мережу з високою-пропускною здатністю та низькою-затримкою. Вони відрізняються тим, як туди потрапляють. InfiniBand є детермінованим за своєю конструкцією, тому тремтіння залишається низьким навіть за змішаного навантаження. RoCE може відповідати йому для багатьох робочих навантажень, але результат залежить від мережі Ethernet і того, наскільки добре вона налаштована.

З точки зору розгортання, справжньою проблемою у виробництві рідко є пікова пропускна здатність. Він тремтить під час змішаного, бурхливого, багато-трафіку. Тканина RoCE, яка успішно проходить чистий тест на пропускну здатність у стилі iperf-, все одно може не досягти цілі p99 у той момент, коли виникають мікроспалахи та суперечка. Цей розрив між лабораторним тестом і виробничим SLA є місцем, де живе більшість сюрпризів.

InfiniBand, як правило, має перевагу, коли:

• Служба має суворі цілі затримки p99 або p999.
• Висновок охоплює кілька вузлів графічного процесора за допомогою тензорного або конвеєрного паралелізму або використовує дезагреговані попередні заповнення та декодування.
• Використання графічного процесора дуже чутливе до затримки мережі, тому зупинки є дорогими.
• Кластер виконує невелику кількість високо{0}}пріоритетних робочих навантажень, де передбачуваність переважує гнучкість.

RoCE зазвичай достатньо хороший, коли:

• Запити здебільшого незалежні, або зв’язок слабкий.
• Робота виконується в межах вузла або невеликої кількості вузлів.
• Пакетна пропускна здатність важливіша за над-низьку затримку хвоста.
• Команда вже використовує Ethernet, і гнучкість щодо вартості або постачальника є пріоритетом.
• Кластер підтримує кілька орендарів або змішані навантаження.

RoCE проти вартості InfiniBand: що насправді сприяє TCO?

RoCE часто називають дешевшим варіантом, але ціна комутатора є невеликою частиною картини. Реалістичне порівняння розглядає весь стек: мережеві адаптери або HCA, комутатори, оптичні модулі, DAC, AOC і волоконно-оптичні кабелі, топологію стійки, живлення та охолодження, мережеву операційну систему, моніторинг і телеметрію, час розробки, запасні частини, підтримку постачальників і шлях до 400G або 800G.

InfiniBand зазвичай має вищу початкову вартість, оскільки для цього потрібна спеціальна тканина та спеціалізовані компоненти. У середовищах, де детермінована поведінка є головним пріоритетом, це може зменшити зусилля з налаштування та усунення несправностей, яких вимагає мережа Ethernet без втрат. RoCE знижує вартість апаратного забезпечення, коли існуючу мережу Ethernet із належною підтримкою мостів центру обробки даних можна повторно використовувати, але зусилля спрямовуються на проектування, перевірку, моніторинг та усунення неполадок у структурі без втрат. Недорога-конструкція RoCE швидко стає дорогою, якщо спричиняє нестабільну затримку та повторне гасіння пожежі.

Вартість і ризик зосереджуються на фізичному рівні, оскільки швидкість зростає. На 400G і 800G оптика домінує як у режимах рахунків, так і в режимах відмов. Більшість високошвидкісних-портів приземляютьсяQSFP-DD або аналогічний форм-фактор, і відповідність праворучодно{0}}модова або багатомодова оптикадо вашого фактичного охоплення – це один із найпростіших способів уникнути перевитрат на мережу, яка не потребує-модулів на великі відстані.

Відверто кажучи: RoCE не є дешевшим варіантом, якщо вашій команді не вистачає досвіду роботи з Ethernet без втрат-. Економія на апаратних засобах може бути швидко знищена інженерними витратами на підтримку стабільності тканини.

Масштабованість і операції

Масштабованість — це більше, ніж кількість портів. Це включає в себе те, наскільки легко мережа розгортається, контролюється, розширюється та відновлюється, коли щось виходить з ладу.

InfiniBand є потужним, коли кластер з першого дня розроблено як спеціальну високопродуктивну структуру. Він забезпечує узгоджену поведінку в масштабі, але він очікує спеціальних інструментів InfiniBand-, таких як менеджер підмережі та уніфіковане керування структурою, а також персонал, який добре розуміється на концепціях InfiniBand. Це робить його природним додатком для централізованих кластерів штучного інтелекту, побудованих навколо робочих навантажень GPU.

RoCE входить у проекти центрів обробки даних Ethernet: топології-кінцевої ланки, IP-маршрутизація, ECMP і звичні методи моніторингу. Саме тому він привабливий для хмарного-стилю та багато-інфраструктури GPU. Дисципліна, яку вона вимагає, — послідовність. PFC, ECN, QoS, керування буфером і контроль перевантаження повинні бути розроблені узгоджено по всьому шляху, тому що невелика неправильна конфігурація в одному кутку інтерфейсу може поширити та погіршити багато робочих навантажень одночасно. Фізичний рівень також має чітко масштабуватися; висока-щільністьМагістральні та роз’єднувальні кабелі MPO та MTPзабезпечує керованість зростаючої лист{0}}короткої тканини, а не перетворює кожне розширення на головоломку з кабелями.

Варто сказати про дзеркальне{0}}відображення: InfiniBand важко виправдати, коли висновок здебільшого зберігається в межах одного вузла, а структура майже не працює.

Яка мережа для кожного робочого навантаження

Коли RoCE є достатньо добрим, а коли стає ризикованим

RoCE достатньо для незалежних або слабко зв’язаних запитів, пакетної-орієнтованої на пропускну здатність роботи та-кластерів із кількома клієнтами, де можна налаштувати ізоляцію, особливо якщо команда вільно володіє Ethernet-мостом центру обробки даних. Це стає ризикованим у певних, впізнаваних способах:

• Шторми PFC.Кадри паузи поширюються вгору та заморожують трафік, який не мав нічого спільного з початковим затором.
• Блокування--лінії.Грубе відображення пріоритетів дозволяє одному перевантаженому класу зупиняти інші, які спільно використовують чергу.
• Помилка ECN.Позначте занадто пізно, і ви отримаєте краплі; маркування надто агресивно, і ви без потреби зменшуєте пропускну здатність.
• Скупчення мікропоривів.Менше{0}}секундні пакети переповнюють буфери, але залишаються невидимими для моніторингу цих зразків із-секундною роздільністю.
• Неузгоджена конфігурація.Невідповідність налаштувань між листом і хребтом призводить до того, що затори поширюються, а не залишаються локальними.

Жодна з цих причин не є причиною уникати RoCE. Це причина для того, щоб розробити когерентну структуру без втрат і інвестувати в дрібну-телеметрію з мікроспалахами-перед масштабуванням.

Коли InfiniBand того вартий і коли ви перекуповуєте

InfiniBand вартий своєї премії за суворі цілі p99 і p999, тісно пов’язане обслуговування кількох-вузлів і-важливих робочих навантажень, де штрафні санкції за SLA високі, особливо на виділеному кластері графічного процесора, розробленому навколо інфраструктури. Ви, ймовірно, переплачуєте, коли висновок залишається в межах вузла, коли робота-орієнтована на пропускну здатність, коли вам потрібна одна і та сама структура для зберігання, керування та багато{6}}хмарного трафіку, або коли вам просто не вистачає робочих можливостей, щоб добре запустити InfiniBand.

Витрати, які не відображаються в пропозиції перемикання, є реальними: концентрація екосистеми, накладні витрати на роботу другої мережі паралельно з вашою мережею Ethernet та окреме планування запасних частин, оптики та моніторингу.

Як перевірити InfiniBand проти RoCE перед вибором

Не приймайте рішення щодо репутації протоколу чи специфікації. Визначте контрольний показник, який нагадує виробництво. Практична послідовність:

• Визначте SLA у хвостах.Установіть p50, p95, p99 і p999 для часу-до-першого-токена та затримки між-токенами, а не лише середнє значення.
• Повторіть реалістичний трафік.Використовуйте бурхливі, змішані розміри моделей і багато{0}}конкурентність клієнтів, а не один чистий потік.
• Навантаження до заторів.Проштовхуйте тканину, доки вона не стане справжньою, а потім виміряйте використання GPU. Якщо графічні процесори зупиняються в мережі, мережа є вашим вузьким місцем.
• Слідкуйте за правильними лічилками.Відстежуйте кадри паузи, позначки ECN, скидання пакетів, повторні передачі, лічильники помилок порту та, на 400G і 800G, помилки FEC.
• Перевірте фізичний рівень.Чисте, правильно встановлене волокно має значення;ретельний монтаж оптоволокназапобігає періодичним,-важко-діагностувати помилкам, до яких схильні високо-швидкісні з’єднання.

Якщо RoCE зберігає ціль p99 за реалістичного, конкурентного, багато-навантаження зі стабільними лічильниками, це надійний і економічно-вибір. Якщо він проходить лише чисті однопотокові-тести, ви ще не перевірили те, що вирішує ваше SLA.

Поширених помилок, яких слід уникати

• Припускаючи, що всі висновки є легкими мережами.Деякий висновок простий і незалежний; деякі є розподіленими,-чутливими до затримки та-потребують пропускної здатності. Ставлення до всього цього як до легкого призводить до недорозвиненої інфраструктури.
• Порівнюючи лише середню затримку.Висновок про виробництво залежить від хвоста. Завжди оцінюйте p95, p99 і p999 за реалістичного трафіку.
• Розглядання RoCE як plug{0}}and-Ethernet.Високопродуктивний RoCE потребує навмисного дизайну{1}}без втрат, контролю перевантажень і постійного спостереження.
• Вибір InfiniBand тільки тому, що він швидший.Найкращий варіант ефективності не завжди є найкращим варіантом для бізнесу. Якщо для робочого навантаження не потрібна детермінована поведінка, RoCE може забезпечити кращу цінність.
• Ігнорування фізичного рівня.На 400G і 800G кабелі, оптика, роз’єми та чистота оптоволокна створюють періодичні помилки, які важко знайти, а виправити їх дорого.

Підсумок

Для висновків штучного інтелекту InfiniBand і RoCE дійсні, і вони мають різні пріоритети. Виберіть InfiniBand, коли вам потрібна найбільш послідовна мережа з низькою-затримкою для реального-часу,-чутливого до SLA або тісно пов’язаного висновку. Вибирайте RoCE, якщо вам потрібна масштабована,-на базі Ethernet,-ефективна структура для пакетного аналізу, багато-сервіси GPU, робочі навантаження RAG і гнучка інфраструктура.

Рішення слід починати з робочого навантаження, цільової затримки, масштабу кластера, ваших операційних можливостей і плану оновлення, а не з протоколу. Якщо ваш кластер повинен підтримувати суворий рівень p99 під великим навантаженням, InfiniBand заслуговує на серйозну увагу. Якщо ваша мета полягає в тому, щоб економічно масштабувати висновки в центрі обробки даних Ethernet, RoCE зазвичай є більш практичним шляхом. У будь-якому випадку виконайте порівняльний тест у робочому стані-як завантаження перед тим, як фіксувати.