Посібник із з’єднання центрів обробки даних: порівняння параметрів DCI

Інтерконнект центру обробки даних, який зазвичай скорочується до DCI, — це мережева архітектура, яка з’єднує два або більше центрів обробки даних для обміну даними, реплікації робочого навантаження, спільного використання ресурсів і безперервності бізнесу. На відміну від загального підключення до глобальної мережі чи Інтернету, DCI спеціально-створено для високої-пропускної здатності, низької-затримки та стійкого з’єднання між середовищами центрів обробки даних - незалежно від того, розташовані вони в районі міста, сотні кілометрів чи з’єднують приватну інфраструктуру з публічними хмарними регіонами.

Для підприємств, які оцінюють DCI, перше питання рідко стосується лише пропускної здатності. Практичне рішення DCI залежить від доступності оптоволокна, відстані, терпимості до затримки, рівня безпеки, робочих можливостей і реалістичного шляху оновлення від сьогоднішніх каналів 100G до 400G або 800G. Цей посібник розбиває основні архітектури DCI, порівнює їхні компроміси-з конкретними критеріями вибору та пояснює оптичні компоненти, завдяки яким працює кожен підхід.

Що таке з’єднання центрів обробки даних?

Взаємозв’язок центру обробки даних – це мережеве з’єднання-високої пропускної здатності між двома чи більше центрами обробки даних. Це дозволяє додаткам, сховищам, серверам, хмарним платформам і мережевим службам працювати в окремих фізичних місцях як частину єдиної інфраструктури.

Мережа DCI може підключити:

• Два{0}}підприємства володіють центрами обробки даних в одному столичному районі
• Основний виробничий майданчик і географічно відокремлений об’єкт аварійного відновлення
• Кілька засобів спільного розміщення, які розподіляють робоче навантаження програми
• Корпоративні центри обробки даних і публічні хмарні регіони через приватне підключення
• Гіпермасштабні кампуси з великим трафіком на схід-захід між кластерами

За своєю суттю DCI відповідає на одне інженерне запитання: як центри обробки даних можуть надійно, безпечно та ефективно спілкуватися на відстані -, залишаючи при цьому простір для збільшення потужності?

Що не таке DCI

DCI іноді плутають із загальним підключенням до Інтернету або стандартним WAN-з’єднанням. Глобальна мережа об’єднує офіси, філії та додатки в великих корпоративних місцях. DCI є більш спеціалізованим: він націлений на високу-ємність, низьку-затримку, часто приватні зв’язки між середовищами центрів обробки даних, де такі вимоги, як реплікація сховища, міграція віртуальної машини, синхронізація бази даних і аварійне відновлення, вимагають гарантії продуктивності, яку не може надійно забезпечити спільний інтернет-шлях.

Чому з’єднання центрів обробки даних має значення

Безперервність бізнесу та аварійне відновлення

Однією з найпоширеніших причин розгортання DCI є аварійне відновлення. Підключивши основний центр обробки даних до вторинного сайту, організації можуть тиражувати дані та готуватися до відновлення після відмови. Дизайн DCI має відповідати моделі відновлення:

• Активний-активний:Обидва сайти обслуговують виробничий трафік одночасно. Це вимагає суворого контролю затримки та синхронної або майже{1}}синхронної реплікації -, яка зазвичай можлива лише для відстаней метро до 100 км.
• Активний-режим очікування:Один сайт бере на себе під час збою. Асинхронна реплікація допускає більшу затримку, але цільова точка відновлення (RPO) безпосередньо залежить від затримки реплікації.
• Резервне копіювання та архівування:Дані копіюються у віддалене розташування для-тривалого захисту. Пропускна здатність тут важливіша, ніж затримка, але зв’язку все одно потрібно завершити реплікацію в межах визначених вікон резервного копіювання.

Для будь-якого дизайну аварійного відновлення затримка, пропускна здатність і різноманітність маршрутів зв’язку DCI безпосередньо впливають на цільовий час відновлення (RTO), узгодженість даних і доступність послуг.

Низька-затримка продуктивності програми

Фінансові платформи, розподілені бази даних,-аналітика в реальному часі та конвеєри штучного інтелекту чутливі до затримок. Для цих робочих навантажень зв’язок із високою-пропускною здатністю з неефективним фізичним маршрутом або надмірною кількістю переходів перемикання все одно може спричинити проблеми з продуктивністю програми. Під час планування DCI завжди вимірюйте або оцінюйте --кінцеву затримку за реалістичних умов трафіку -, а не лише теоретичну відстань оптоволокна.

Яка пропускна здатність потрібна для з’єднання DCI?

Трафік центру обробки даних зростає завдяки віртуалізації, хмарній міграції, навчальним навантаженням ШІ, аналітиці даних і операціям резервного копіювання. Багато організацій починають із з’єднань 10G або 100G і виявляють потребу в 400G через два-три роки.

Дизайн DCI, який задовольняє лише сьогоднішній попит на трафік, часто стає вузьким місцем перед наступним бюджетним циклом. Для метро DCI, де доступне темне волокно, aАрхітектура на основі-DWDMдозволяє поступово додавати довжини хвилі - більш економічно-шлях зростання, ніж заміна всього зв’язку.

Загальні випадки використання з’єднання центрів обробки даних

Інтерконнект центру обробки даних Metro

Metro DCI з’єднує центри обробки даних у межах одного міста або столичної області, як правило, на відстані менше 80 км. Це найпоширеніший корпоративний сценарій DCI: два об’єкти спільного розташування, на яких працюють активні-активні програми, або основний сайт, пов’язаний із сусіднім сайтом DR для синхронної реплікації.

Для більшості корпоративних міських проектів DCI першим рішенням є не 100G проти 400G -, а чи має організація доступ до відповідного темного волокна. Якщо якісне темне волокно доступне на різних маршрутах, DWDM із когерентною оптикою, що підключається, часто забезпечує найкраще поєднання пропускної здатності, контролю та-довгострокової ефективності витрат. Якщо ні, керована служба довжини хвилі може бути практичною відправною точкою.

З’єднання-Центру обробки даних на великі відстані

Далеко-DCI охоплює регіональні чи національні відстані - сотень або тисяч кілометрів. Типові випадки використання включають географічне резервування для відповідності нормативним вимогам, розподіл вмісту між регіонами та резервне копіювання-сайтів.

Довго-DCI вимагає більш ретельного планування. Якість сигналу погіршується на відстані, що вимагає оптичного посилення (EDFA), компенсації дисперсії та, можливо, регенерації. Затримка збільшується із збільшенням довжини волокна (приблизно 5 мкс на кілометр волокна), а різноманітність маршрутів стає важче перевірити. Для-реплікації між країнами зазвичай необхідні асинхронні проекти, оскільки синхронна реплікація на відстані понад 100–200 км створює неприйнятну затримку запису для більшості програм.

Хмарне та гібридне хмарне з’єднання

Багато організацій підключають приватну інфраструктуру до загальнодоступних хмарних середовищ за допомогою спеціальних служб з’єднання (наприклад, AWS Direct Connect, Azure ExpressRoute або Google Cloud Interconnect). Хмарне з’єднання є частиною стратегії DCI, коли корпоративні центри обробки даних потребують надійного, приватного та передбачуваного підключення до хмарних регіонів - для гібридних додатків, хмарного-аварійного відновлення, аналізу даних або поступового переходу з-локальних на хмарні платформи.

Взаємозв’язок кластерів Hyperscale та AI

Середовища Hyperscale та AI просувають вимоги DCI далі, ніж традиційні корпоративні сценарії. Розподілені навчальні кластери GPU генерують масивні потоки трафіку на схід-захід, надзвичайно чутливі до затримки, тремтіння та втрати пакетів - навіть невеликі варіації можуть зупинити паралельні обчислення на тисячах прискорювачів.

У цих середовищах дизайн DCI наголошує на високій-щільності оптичного з’єднання (400G і 800G на порт), низькій і передбачуваній затримці, інженерії-трафіку на рівні фабрики та швидкому збільшенні ємності. Різниця між DCI та структурою внутрішнього-центру-даних-тут розмивається: деякі оператори гіпермасштабування розглядають між-інтерконнекти масштабу кампусу як продовження своєї хребта-кінцевої архітектури, а не традиційне з’єднання--точка DCI.

Порівняння архітектур і технологій DCI

Немає єдиної найкращої технології DCI. Правильний вибір залежить від власності на оптоволокно, необхідного рівня контролю, темпів зростання трафіку, операційних можливостей і структури бюджету. У таблиці нижче наведено основні параметри.

Темне волокно з DWDM

Темне волокно означає, що організація орендує або володіє неосвітленим волокном і активує його за допомогою власного оптичного обладнання.Щільне мультиплексування за довжиною хвилі (DWDM)дозволяє кільком оптичним каналам - часто 40, 80 або 96 довжин хвиль - проходити через ту саму пару волокон за допомогою слотів різних довжин хвиль у сітці частот ITU-T.

Цей підхід є стандартним вибором, коли організації потрібна висока потужність, надійний контроль інфраструктури та -довгострокова масштабована платформа. Це поширене явище в метро DCI та мережах постачальників послуг із високою-пропускною здатністю.

Темне волокно з DWDM є потужним, але вимагає ретельної оптичної інженерії. Команди повинні перевірити якість волокна (загасання, з’єднувачі, з’єднання), розрахувати бюджет оптичної потужності, оцінити дисперсію хроматичного та поляризаційного режимів для цільового охоплення, спланувати розподіл каналів і вибрати суміснітрансивери та транспондери, обладнання мультиплексора/демультиплексора, підсилювачі та інструменти моніторингу. Для сполучення метро на 20–80 км гарної-якостіодномодове-волокно, може бути достатнім пасивний мультиплексор/демультиплексор DWDM з когерентними роз’ємами. Понад 80 км або на старішому волокні з більшими втратами стають необхідними вбудоване підсилення та більш складна конструкція лінійної системи.

Керовані служби довжини хвилі

Керована послуга довжини хвилі надає спеціальну оптичну пропускну здатність, не вимагаючи від клієнта створення й експлуатації оптичного транспортного рівня. Постачальник послуг володіє волокном, обладнанням і експлуатаційною відповідальністю; клієнт отримує гарантовану пропускну здатність між сайтами.

Цей варіант добре працює, коли організації потрібне надійне високо{0}}швидкісне з’єднання, але не вистачає оптичного персоналу для керування обладнанням DWDM, або коли темне волокно недоступне на потрібному маршруті. Компромісом є-контроль: постачальник визначає час маршрутизації, захисту та оновлення. Для підприємств, які надають перевагу швидшому розгортанню та передбачуваним рівням обслуговування, а не володінню інфраструктурою, керовані довжини хвилі часто є прагматичним першим кроком - із можливістю переходу на само-керований DWDM у міру зростання трафіку та розвитку-власного досвіду.

DCI-на основі OTN

Оптична транспортна мережа (OTN), визначеніСтандарт ITU-T G.709, широко використовується в транспортних середовищах операторського-класу. OTN загортає клієнтські сигнали (Ethernet, Fibre Channel, SONET/SDH) у стандартизовану цифрову оболонку, яка забезпечує пряме виправлення помилок (FEC), моніторинг продуктивності (OAM), захисне перемикання та моніторинг тандемного з’єднання -, що є критично важливим для мереж із кількома-операторами, де має значення ізоляція помилок через адміністративні межі.

DCI на основі OTN-найбільш актуальний для постачальників послуг, операторів зв’язку та великих підприємств із складними вимогами до мульти{1}}сервісного транспортування. Для типового міського DCI підприємства, що передає лише трафік Ethernet між двома сайтами, OTN може додати непотрібної складності та вартості. Але для операторів, яким потрібно мультиплексувати різноманітні клієнтські сигнали, гарантувати надійність-ступеню SLA та забезпечити розділення послуг у спільній інфраструктурі, OTN залишається транспортним рівнем вибору.

Ethernet / IP / MPLS DCI

Деякі мережі DCI працюють на рівнях Ethernet, IP або MPLS -, розширюючи домени рівня 2, маршрутизуючи трафік між центрами обробки даних або інтегруючись із існуючою магістралью постачальника для послуг VPN. Цей підхід гнучкий і знайомий більшості мережевих команд.

Однак, коли основною вимогою є величезна оптична пропускна здатність між двома сайтами, дизайн рівня-чистого пакету має обмеження. Масштабування від 100G до багато-терабітного DCI зазвичай вимагає поєднання пакетного рівня з оптичним транспортним рівнем (DWDM або OTN) під ним. Рівень пакетів забезпечує гнучкість обслуговування та проектування трафіку; оптичний шар керує сирою ємністю та охопленням.

Когерентна змінна оптика для DCI

Когерентна змінна оптика - зокрема модулі, що відповідаютьУгода про впровадження OIF 400ZR- стали основним засобом створення спрощеного,-високоємного DCI. Модуль 400G ZR відповідає стандартуQSFP-DDабо слот OSFP на маршрутизаторі чи комутаторі, передаючи 400 Гбіт/с на довжину хвилі за допомогою когерентної модуляції DP-16QAM на відстані до 120 км (з посиленням) по стандартному одномодовому волокну G.652.

Ключовою перевагою є спрощення архітектури: розмістивши когерентну оптику безпосередньо на передній панелі маршрутизатора, оператори можуть усунути окремі полиці транспондерів і зменшити потужність, простір і вартість. Для метро DCI між двома маршрутизаторами з--волокном прямої видимості може знадобитися пара модулів 400G ZR і пасивний мультиплексор DWDM.

Однак 400G ZR не слід розглядати як універсальну заміну повної лінійної системи DWDM. Фактичне охоплення залежить від оптичної продуктивності хост-платформи, бюджету втрат зв’язку, якості оптоволокна та наявності підсилення. Для відстаней за межами діапазону метро або для роботи з гнучкою швидкістю (100G–400G) на регіональних і далеких-маршрутах, модулі OpenZR+ пропонують розширений охоплення та багато-можливість за рахунок дещо більшого енергоспоживання. Перед розгортанням завжди перевіряйте сумісність хоста, вимоги до мікропрограми та температурні обмеження.

Вибір рішення DCI: система прийняття рішень

Надійний план DCI починається з вимог, а не з продуктів. У наведеній нижче таблиці зіставлено загальні сценарії з рекомендованими вихідними точками.

Відстань і доступність оптоволокна

Відстань - перший фільтр. Коротке сполучення метро можна вирішити за допомогою оптики прямого-виявлення або пасивного DWDM. Довший регіональний маршрут може потребувати когерентної оптики, підсилення та керування дисперсією. Перш ніж вибрати обладнання, дайте відповідь на такі питання:

• Чи доступне темне волокно, і чи відома та перевірена якість оптоволокна?
• Чи існують фізично різні шляхи (різні канали, різні вуличні маршрути) -, а не просто логічно окремі контури, які мають спільний канал?
• Яка загальна втрата зв’язку, включно з втратою з’єднувача та з’єднання?

Резервне з’єднання, яке має той самий фізичний канал, що й основний шлях, не є справжнім рознесеним маршрутом. Перевірте фізичне розділення у постачальника оптоволокна, перш ніж припускати стійкість.

Вимоги до затримки

Не весь трафік DCI має однакову чутливість до затримки. Резервний трафік може допускати затримку в десятки мілісекунд. Активна-активна реплікація бази даних може потребувати менше{3}}часу зворотного проходження-мілісекунд. Затримка визначається фізичною відстанню волокна (приблизно 5 мкс/км), кількістю переходів комутації та маршрутизації, обробкою транспортного обладнання та будь-якими обходами мережі постачальника послуг.

Якщо затримка має значення, не покладайтеся лише на специфікації постачальника. Вимірюйте кінцеву-за-затримку за реалістичних умов трафіку, зокрема під час пікового завантаження та відмов.

Безпека та шифрування для DCI

Посилання DCI часто передають конфіденційні бізнес-дані - фінансові записи, бази даних клієнтів, медичну інформацію, інтелектуальну власність. Безпека повинна бути розроблена в архітектурі DCI з самого початку, а не включатися болтами після розгортання.

Для шифрування рівня 2 на швидкості з’єднання,IEEE 802.1AE MACsecзабезпечує конфіденційність і цілісність даних на каналах Ethernet з нульовою втратою продуктивності при реалізації в апаратних ASIC. MACsec добре підходить для з’єднань DCI «точка-точка», де обидві кінцеві точки перебувають під однаковим адміністративним контролем. Для шифрування рівня 3 у маршрутизованих або багато-шляхах IPsec залишається стандартним підходом, хоча він додає витрати на обробку та може зменшити ефективну пропускну здатність на високо-швидкісних з’єднаннях.

Для регульованих галузей (фінанси, охорона здоров’я, уряд) вимоги відповідності можуть вимагати певних стандартів шифрування, методів керування ключами або заходів безпеки фізичного волокна.

Вартість: CapEx проти OpEx

Вартість DCI значно перевищує ціну трансивера. Повна вартість має включати оренду або право власності на оптоволокно, оптичні модулі, транспортне обладнання, маршрутизатори та комутатори, встановлення, тестування, інструменти моніторингу, електроенергію та простір, обслуговування, витрати на оновлення та будь-які регулярні збори постачальника послуг.

Сам-темне волокно з DWDM зазвичай потребує вищих початкових капітальних витрат, але забезпечує нижчу вартість біт із часом із додаванням довжин хвиль. Керовані послуги зменшують початкові інвестиції та операційну складність, але створюють постійні операційні витрати та обмежують контроль інфраструктури. Правильний баланс залежить від траєкторії зростання трафіку,-власного досвіду та переваги організації щодо капітальних витрат чи операційних витрат.

Оптичні компоненти, що використовуються в мережах DCI

Фізичний рівень визначає охоплення DCI, ємність, щільність і гнучкість оновлення. Вибір правильних оптичних компонентів так само важливий, як і правильна архітектура.

Оптичні трансивери

Оптичнийтрансивериперетворювати електричні сигнали від комутаторів або маршрутизаторів в оптичні сигнали для оптоволоконної передачі. У мережах DCI категорії модулів варіюються від 10G SFP+ для застарілих з’єднань через 100G QSFP28 для поточного корпоративного DCI до 400G QSFP-DD/OSFP для наступного-покоління високої-з’єднання.

Правильний модуль залежить від хост-платформи, швидкості інтерфейсу, типу волокна (одиночний-режим є стандартним для DCI), вимог до охоплення та оптичного бюджету. Для короткого-DCI до 2 км може бути достатньо модулів прямого-виявлення, таких як 400G DR4. Для відстаней метро 10–40 км зазвичай використовуються модулі 400G FR4 або LR4. Для розширеного радіусу дії метро до 80–120 км поточним стандартом є когерентні модулі 400G ZR.

Оптика 400G DCI: який модуль для якої відстані?

Перед покупкою завжди перевіряйте сумісність модуля з конкретним комутатором або маршрутизатором. Модуль може відповідати відповідному стандарту, але все одно вимагає перевірки мікропрограми, певних температурних умов або певної конфігурації лінійної системи для надійної роботи у виробництві.

Системи Mux/Demux і DWDM

У DCI-на основі DWDM обладнання mux/demux об’єднує кілька довжин хвиль в одну пару волокон і розділяє їх на кінці прийому. Це дозволяє використовувати багато високошвидкісних-каналів -, кожен з яких передається окремотрансивер або транспондер- для спільного використання однієї оптоволоконної інфраструктури. DWDM необхідний, коли волоконно-оптичні пари обмежені або дорогі, а попит на пропускну здатність зростатиме.

Для простого метро DCI з кількома довжинами хвиль може бути достатньо пасивного мультиплексора/демультиплексора. Для більших розгортань або великих відстаней активна система DWDM з підсилювачами, моніторами оптичних каналів і програмним забезпеченням для керування забезпечує кращу масштабованість і видимість несправностей.

Рекомендації щодо волокна та фізичного рівня

Продуктивність DCI залежить від фізичного заводу волокна. Неякісне латання, забруднені з’єднувачі, надмірні втрати на вигині та незадокументовані точки з’єднання можуть погіршити продуктивність зв’язку та зменшити придатний для використання оптичний бюджет.

Ключові практики включають використання правильноготип одномодового-волокна(OS2 / G.652.D є стандартом для метро та далеких -DCI), утримуйте всі з’єднувачі в чистоті та перевіряйте, дотримуйтесь мінімального радіусу вигину, документуйте кожну лінію патча, моніторингвнесені втратиу кожній точці з’єднання та підтримка організованих коммутаційних панелей із чітким маркуванням. Ці деталі мають більше значення в DCI, ніж у коротших -посиланнях-центру даних, оскільки оптичний бюджет менший, а усунення несправностей на різних сайтах-займає більше часу.

Контрольний список розгортання DCI

Визначте вимоги до програми та SLA

Почніть із бізнес-вимог, а не з каталогу обладнання. Визначте, які програми використовуватимуть посилання DCI, чи є проект активним-активним чи активним-очікуванням, цільову доступність, вимоги RPO та RTO, прийнятну затримку, поточні та прогнозовані потреби в пропускній здатності та чи є шифрування обов’язковим.

Аудит оптоволоконного маршруту

Для проектів темного оптоволокна або приватного оптоволокна перевірте фізичний маршрут перед тим, як використовувати обладнання. Перевірте довжину оптоволокна, рознесеність маршрутів (фізичну, а не лише логічну), загальну втрату зв’язку, включаючи з’єднувачі та з’єднання, запас оптичного бюджету та доступність шляху захисту. Запитуйте документацію постачальника оптоволокна та, якщо можливо, виконайте незалежне тестування OTDR, щоб перевірити маршрут. З’єднання, яке на логічній схемі виглядає різноманітним, але має спільну трубу, що перетинає міст або шосе, є єдиною точкою збою, яка чекає, щоб її викрили.

Виберіть і перевірте оптику

Підберіть оптику та транспортне обладнання до фактичних - не теоретичних - вимог. Ключові фактори включають швидкість інтерфейсу та форм-фактор (QSFP-DD, OSFP), тип волокна, цільове охоплення, енергоспоживання та температурні обмеження, сумісність хост-платформи та підтримка постачальника. Для високо-швидкісного DCI зі швидкістю 400G тестування сумісності на певній платформі комутатора або маршрутизатора є важливим. Не думайте, що стандарт-сумісний модуль працюватиме без перевірки.

Тестування та моніторинг DCI: що перевірити перед-початком трансляції

Перед запуском у виробництво перевірте посилання в реалістичних умовах. Відстежуйте рівні оптичної потужності на кожному етапі, частоту бітових помилок (BER), кінцеву--затримку, втрату пакетів, помилки інтерфейсу, поведінку після відмови та використання трафіку під навантаженням. Після розгортання оновлюйте документацію - хороші записи скорочують час на усунення несправностей і підтримують майбутні оновлення. Встановіть базові показники продуктивності, щоб можна було виявити поступове погіршення (забруднені з’єднувачі, старіння оптоволокна, розповзання з’єднувача) до того, як це спричинить збій.

Поширені помилки проектування DCI, які збільшують затримку та час простою

• Розмір пропускної здатності лише на сьогодні:Зв’язок, якого сьогодні достатньо, часто стає вузьким місцем протягом 18 місяців, особливо якщо мережа DCI підтримує робочі навантаження штучного інтелекту, хмарну міграцію або збільшення обсягів резервного копіювання. Плануйте щонайменше 2–3-кратне збільшення поточного пікового трафіку.
• Ігнорування різноманітності маршрутів:Резервне з’єднання, яке йде за тим же фізичним каналом, що й основний шлях, не є справжньою стійкістю. Перевірте фізичне розділення, а не лише рознесення логічних ланцюгів.
• Змішування несумісної оптики:Не всі оптичні модулі однаково добре працюють з усіма хост-платформами. Завжди перевіряйте сумісність, версії мікропрограми та робочі обмеження перед розгортанням -, особливо для узгоджених модулів, де взаємодія мікропрограми DSP і програмного забезпечення хоста може спричинити незначні проблеми.
• Недооцінка потреб моніторингу:Канали DCI передають критичний трафік. Без проактивного моніторингу оптичної потужності, тенденцій BER і затримки команди можуть не виявити погіршення, доки це не вплине на користувачів.
• Розглядати безпеку як запізнілу думку:Шифрування, контроль доступу та моніторинг зв’язків мають бути частиною початкового дизайну DCI, а не додаватися заднім числом після того, як аудит відповідності виявить прогалину.