Материал: Строительство сети данных

·        Топология сети связи полносвязная, с возможностью перестроения.

·        Резервирование устройств агрегации каналов, а также устройств ядра сети должно осуществляться по схеме 2N.

·        Доступное количество портов на этапе включения не менее 600 с типом 100/1000BaseTX медных.

Используемые протоколы и службы должны иметь поддержку следующих сервисов и услуг.

·        MPLS Traffic Engineering на всех маршрутизаторах ядра.

·        Маршрутизация мультикаст-трафика.

·        Организация L2VPN и AToM транспорта поверх сети.

·        Возможность организации фильтрации нежелательного трафика.

·        Предоставление транзита пользовательских данных, а также стандартного доступа в сеть в пределах ЦОД и узлов связи.

II. Конструкторско-технологическая часть

1.      Реализация логической структуры сети центров обработки данных

.1      Функциональная схема работы сети

Проектное решение предполагает организацию узлов связи и центров обработки данных на сети. С точки зрения межсетевого взаимодействия, отдельный ЦОД можно рассматривать как узел связи, представленный маршрутизирующим оборудованием, подобранным для реализации сетевых сервисов на местах. Топологически ядро сети характеризуется полными резервируемыми связями (см. Рисунок 15)

Рисунок 155. Организация связей между объектами сети

Каждый канал передачи данных дублирован на физическом уровне, при этом логически, с точки зрения потоков данных, двойной канал связи представляет собой единое целое.

Для организации сети передачи данных внутри ЦОД используется связка коммутаторов доступа Nexus2000 Fabric Extender и коммутаторов агрегации каналов связи Nexus7700. На один ЦОД или резервный ЦОД используется два подобных устройства для обеспечения отказоустойчивости и достижения требуемой производительности сети. Два Nexus7700 используют модули типа:

·        N77-SUP2E маршрутизирующие процессоры для обеспечения «Control Plane» функционала на коммутаторах.

·        N77-F348XP-23 линейные карты для подключения 10Гбит/с или 1Гбит/с портов форм-фактора SFP/SFP+

·        N77-C7710-FAB-2 коммутационная фабрика для обеспечения функий форвардинга трафика

·        N77-F324FQ-25 линейные карты для подключения 40Гбит/с портов

·        Дополнительные модули, перечисленные в приложении, такие как блоки питания, вентиляторы, и т.п., не оказывающие влияния на проектирование сети передачи данных

Все роут-процессоры на данных устройствах дублированы в пределах шасси. Между собой коммутаторы агрегации каналов соединены двумя физическими каналами пропускной способностью 40Гбит/с, которые подключены в независимые линейные карты на шасси. Данные каналы объединены в один логический Ethernet-bundle для прозрачного представления этого линка с точки зрения маршрутизации. В 10Гбит/с порты на разнесённых картах каждого свича подключены Fabric Extenders N2K-C2248TP-E. Эти выносные платы имеют по 48 10/100/1000 портов, а также 4 10Гбит/с порта. При проведении работ по настройке, данные выносные коммутаторы доступа конфигурируются таким образом, чтобы их порты были представлены на агрегирующем коммутаторе напрямую.

От каждого Nexus7700 подключено два канала 40Гбит/с в сторону маршрутизатора ядра JuniperMX480, включение производится от разнесённых линейных карт и объединяется в логический канал Ethernet-bundle. Данные Core-faced линки на Nexus7700 являются каналами третьего уровня без возможности осуществления стандартной коммутации трафика. Каждый канал третьего уровня снабжается включенным MPLS форвардингом трафика, пропускная способность каждого интерфейса зоны 0 добавляется в пул протокола RSVP (Resource Reservation Protovol) из расчета 80% от максимальной пропускной способности интерфейса.

Маршрутизаторы ядра сети MX480 также имеют блочную легко масштабируемую структуру и состоят из:

·        MX SCB - коммутационная фабрика для осуществления функций форвардинга пакетов

·        MX RE - Routing Engine, плата для выполнения функций обработки траффика, маршрутизирующий процессор

·        MPC5EQ-40G10G - плата расширения с 6 40Гбти/с портами и 24 10Гбит/с портами

·        Дополнительные модули, перечисленные в приложении, такие как блоки питания, вентиляторы, и т.п., не оказывающие влияния на проектирование сети передачи данных

Два маршрутизатора ядра сети в пределах одного ЦОД объединены в один логический маршрутизатор с использованием технологии Virtual Chassis. Для этого в качестве межшассийных каналов используются два подключения 40Гбит/с на каждом маршрутизаторе на разнесённых платах. К единому маршрутизатору подключаются два коммутатора Cisco Nexus 7700 с использованием технологии vPC [Virtual Port Channel] таким образом, чтобы включение было произведено в различные шасси одного виртуального маршрутизатора. Со стороны каждого коммутатора настраивается объединение Uplink-портов в логический агрегат «Ethernet Bundle» с использованием протокола LACP [Link Aggregation Control Protocol]. Интерфейсы в сторону коммутаторов агрегации включены в OSPF процесс соответствующей ЦОД зоны. Между коммутатором агрегации и маршрутизатором ядра запущен также протокол iBGP c анонсированием маршрута по умолчанию. Включается протокол MP-BGP с в аналогичных коммутаторам подсемействах AFI/SAFI.

В качестве оборудования узлов связи выбрана модификация Juniper MX80. Данные маршрутизаторы используются как PE устройства для работы с конечными клиентскими сервисами. Устройство имеет такие же функциональные возможности, что и маршрутизаторы ЦОД, однако более компактно, что позволяет использовать его в серверных комнатах конкретных заказчиков, а также не строить собственную инженерную инфраструктуру отдельно в каждом городе и на каждом узле связи. На маршрутизаторе включен протокол маршрутизации OSPF для осуществления внутри доменной маршрутизации, а также iBGP для осуществления взаимодействия с устройствами ядра сети. При этом устройства ядра являются рефлекторами маршрутных обновлений для маршрутизатора узла.

Для использования на узлах связи коммутационного оборудования логичным является использования коммутаторов Cisco 2960X, поскольку именно они обладают наилучшими показателями по стоимости порта, а также имеют возможность стекирования без использования дополнительных модулей и подключений, как оборудование других производителей, что значительно упрощает установку и модернизацию оборудования на узлах связи.

С точки зрения ядра сети, подключение каждого центра обработки данных (основного и резервного), осуществляется по следующей схеме (см. Рисунок 16).

Рисунок 166. Функциональная схема ЦОД

Внутри каждого центра обработки данных используются агрегирующие коммутаторы Cisco Nexus7700, к которым подключены расширители фабрики Nexus2000. Они образуют облако из физических портов, которые на коммутаторах доступа представлены как непосредственно включенные в сами коммутаторы агрегации. Управление всеми портами датацентра возможно осуществлять из единой консоли коммутатора агрегации.

В центре обработки данных используется модифицированный вариант Top-of-The-Rack схемы. При этой реализации, сверху каждой серверной стойки вместимостью 48 юнитов, устанавливается коммутатор, в который подключается клиентское оборудование. В случае с Крымскими ЦОД планируется использовать один коммутатор доступа на две серверные стойки. Далее коммутатор по кабел-каналу соединяется с Nexus 7700, расположенным в отдельной телекоммуникационной стойке (см. Рисунок 17).

Рисунок 177. Порядок подключения стоек в ЦОД к сети

Организация пространства в центре обработки данных (см. Рисунок 18) выполнена на примере здания ЦОД Севастополь.

Рисунок 18. Порядок физического расположения оборудования в ЦОД на примере г. Севастополь

Для поэтапного разбора логической связности центров обработки данных и узлов связи, приведена схема:

Рисунок 19. Концептуальная схема связи уровней представления ЦОД

На схеме показан порядок инкапсуляции технологий сети передачи данных разного уровня. В ЦОД, использованы коммутаторы доступа Nexus2000, которые представляются как часть коммутатора агрегации Nexus7700. Маршрутизаторы собраны в виртуальное шасси, и также логически видны как единое устройство передачи данных. Каналы связи дублированы в единый логический канал Port-Channel, что позволяет работать обоим оптическим каналам в режиме одновременной активности. Транспондеры и мультиплексоры в ЦОД работают в прозрачном режиме таким образом, что всё сетевое оборудование воспринимает каналы связи как каналы типа «точка-точка» с точки зрения коммутации и маршрутизации.

1.3    Выводы

Согласно представленным схемам были сделаны следующие выводы.

·        Рекомендована к установке система Cisco Nexus 7700 и Cisco Nexus 2000 для организации уровней доступа и агрегации в центрах обработки данных.

·        Рекомендованы к установки стековые маршрутизаторы Juniper MX480 в качестве устройст ядра сети в центрах обработки данных.

·        На узлах и в центрах обработки данных необходимо установить ROADM мультиплексоры и использовать план частот для осуществления коммутации каналов между объектами сети центров обработки данных.

·        В качестве внешнего протокола маршрутизации используется BGP.

·        Сеть реализует MPLS сервисы для конечных клиентов, что в современных условиях является обязательным требованием к территориально распределённым сетям передачи данных.

·        Реализация протокола OSPF требует тщательного планирования зонной политики с целью обеспечения масштабируемости сети центров обработки данных.

2. 
Реализация физической сети передачи данных

2.1    Обоснование выбора магистрального оборудования сети передачи данных

Для работы на магистральной сети передачи данных было выбраны сетевые продукты российской компании Т8. Для принятия взвешенного решения в таблице 10 были определены критерии выбора, а также заданы альтернативы.

Таблица 10. Альтернативы и критерии выбора оборудования магистральной сети

Применяя фильтрацию альтернатив, было отброшено три производителя: Cisco Systems, Alcatel и Marconi, которые не коррелируют с поставленным проектным заданием по критериям пропускной способности, поддержки работы со стандартным оптическим волокном, а также наличию многовариантных топологий построения сети соответственно. Для оставшихся решений необходимо использовать один из методов принятия комплексных решений для проведения качественного непредвзятого выбора.

Выбирая метод принятия решений, необходимо учитывать, что наряду с небольшим оставшимся количеством альтернатив (три), имеется два нечисловых критерия, то есть критерии являются смешанными. Для подобных систем хороший результат даёт метод перестановок. Согласно данному методу, необходимо определить веса отдельных критериев, то есть чисел p(k) >=0, k = 1,2,..., m

В таблице 11 ЛПР были даны оценки критериев таким образом, чтобы показать насколько один критерий превосходит другой.

Таблица 11. Определение весов критериев принятия решений

Используя формулу (3) и формулу (4) получим значения весов критериев, которые представлены в таблице 12.

                                  (4)