Материал: Строительство сети данных

Первый метод, нативный протокол шестой версии, подразумевает создание второй, параллельной логической инфраструктуры рядом с существующей. То есть использование второго протокола внутридоменной маршрутизации, повторную нумерацию интерфейсов из адресного пространства 6 версии. Однако, поскольку сеть передачи данных ЦОД использует MPLS в своей работе, возможно использование т.н. сервиса 6PE. В этом случае, нативный IP шестой версии используется только на местах подключения, например, на узле связи, на котором клиент запросил IPv6, а в ядре сети подобный трафик пересылается с использованием дополнительной метки к IPv4 соседу. Такой подход позволяет также использовать все преимущества балансировки нагрузки посредством создания автоматических тоннелей, которые описаны в главе 4.2, а также иметь фактически полное соответствие политик маршрутизации трафика IPv4 и IPv6.

4.2    Методы балансировки нагрузки

Ключевым аспектом эффективного построения сети центров обработки данных является корректное распределение трафика между узлами связи исходя из загруженности физических каналов передачи данных. Базовый функционал такого распределения лежит на протоколе внутридоменной маршрутизации OSPF, который позволяет передавать трафик по кратчайшему пути.

Из представленных ранее схем понятно, что некоторые каналы передачи данных являются резервными и в стандартном случае начнут работать только при выходе из строя одного из основных каналов связи. Такой подход очевидно несёт в себе большой финансовый минус, ведь невозможно использовать резервный канал связи до тех пор, пока работает основной, то есть около половины соединений работает вхолостую. В качестве примера рассмотрим характер следования трафика от узлов в Российской Федерации к узлам в ЦОД Симферополь. Подобный трафик проходит через г. Керчь, а далее по прямому оптическому волокну следует в г. Симферополь. При необходимости увеличить пропускную способность такого оптического канала единственным решением будет добавление второго аналогичного канала.

Несколько улучшить ситуацию может реализация балансировки нагрузки по путям одинаковой стоимости, например, при подключении г. Алушта (см. Рисунок 26), существуют два пути одинаковой стоимости с точки зрения протокола маршрутизации.

Рисунок 24. Стандартная балансировка ECMP

Подобная балансировка работает по умолчанию и называется ECMP [Equal Cost Multipath]. Вследствие одинаковой стоимости путей, используются сразу оба оптических канала. Однако при подключении центров обработки данных существует лишь один лучший путь с точки зрения протокола маршрутизации и это прямой путь.

Для канала Симферополь - Керчь организовано подключение 2х40Гбит/с, а все резервные маршруты просто не используются пока работает основной канал передачи данных (см. Рисунок 27).

Рисунок 27. Неоптимальное использование резервирования в стандартной схеме ECMP

При необходимости расширения полосы от Симферополя до Керчи в стандартном режиме необходимо добавить оптический канал передачи данных, поскольку использование неодинаковых по стоимости OSPF-маршрутов не допускается во избежание петель.

Для преодоления подобных проблем, сеть связи использует балансировку нагрузки в ядре сети по технологии MPLS TE AUTOBW. Для этого каждый логический интерфейс, который соединяет одно устройство ядра сети с другим, или иными словами каждый интерфейс в зоне 0 протокола OSPF, включен в MPLS/IP домен. При этом, задана вручную пропускная способность каждого интерфейса передачи данных и внесена в пул доступных ресурсов протокола RSVP [Resource Reservation Protocol]. От виртуального интерфейса петли каждого устройства строится по четыре MPLS-туннеля, или LSP [Labeled Switched Path] - путь коммутации по меткам, до всех устройств ядра. Метрики протокола OSPF искусственно занижаются на созданных тоннелях и анонсируются в общий домен маршрутизации ядра сети. Включенная по умолчанию многопутевая балансировка трафика по путям с одинаковой стоимостью начинает работать таким образом, что трафик между устройствами начинает ходить по тоннелям, равномерно распределившись по всем созданным объектам (см. рисунок 28).

Рисунок 28. Включение MPLS TE между двумя устройствами сети

При этом сам тоннель строится исходя из логики работы протокола RSVP, которая заключается в запросе ресурсов полосы на каждом физическом канале связи, через который строится LSP. Полоса, которую запрашивает тоннель определяется динамически исходя из среднего числа бит, прошедших в секунду. Таким образом, в случае, если между двумя точками сети происходит перегрузка, протокол RSVP перестраивает конкретный тоннель с большим количеством трафика через другой физический канал, при этом не влияя на саму маршрутизации (см. Рисунок 29).

Рисунок 25. Перестроение LSP при использовании MPLS TE auto-bw

С точки зрения клиента данный функционал прозрачен и не виден каким-либо образом, однако позволяет справляться с перегрузками внутри сети между ЦОД в автоматическом режиме.

LSP предполагает назначение хвостовым маршрутизатором дополнительной метки, которая добавляется в стек или к пустому L2 кадру. Из-за того, что тоннели имеют одинаковую метрику OSPF, работает стандартная балансировка нагрузки по путям одинаковой стоимости, несмотря на то как простроен каждый конкретный тоннель. Как только физический канал становится перегружен, протокол RSVP сигнализирует о том, что ресурсы интерфейса кончились, а значит уже невозможно построить все четыре тоннеля через него. Происходит сквозной перенос канала через транзитный маршрутизатор.

4.3    Схемы и способы реализации типовых клиентских услуг в ЦОД и на узлах связи

Сервисы, которые способна предоставить сеть ЦОД весьма обширны и определяются широкими возможностями выбранного сетевого оборудования и наличием высокого спроса на современные телекоммуникационные услуги. Приведённые примеры показывают избранный функционал, который стал возможен благодаря иерархическому подходу к построению сети, а также использованию передовых технологий доступа.

В рамках услуги размещения оборудования заказчиков в центрах обработки данных, планируется поставить на обслуживание серверное оборудование крупнейших генераторов контента в Российской среде. Как было определено ранее, подобными генераторами контента для трафика из Крымского Федерального Округа являются:

·        Сервис Вконтакте;

·        Почтовые и социальные сервисы мейл.ру (включая сайт ok.ru)

·        Поисковые, почтовые и иные сервисы компании Яндекс

·        Поисковые, почтовые и иные сервисы компании Google

Процент попаданий подобных серверов составляет от 70-90%, т.е. наибольшая часть пользовательского трафика перейдет непосредственно на подобные серверы. При этом гарантируется полная прозрачность сервиса для конечного клиента, а также уменьшение времени ответа конечному клиенту. Сервера обучаются в автоматическом режиме, что означает то, что в случае отсутствия запроса контента на кеширующем сервере, он будет добавлен после первой загрузки и прохождения трафика по сети провайдера (см. Рисунок 30).

Рисунок 30. Взаимодействие Global Cache и ЦОД

Предположим, что Клиент 1 обращается через корневой ДНС сервер и запрашивает информацию о требуемом ресурсе, принадлежащем компании Google. Запрос достигает ДНС сервера Google и передается в их собственный датацентр. Далее требуемый ресурс передается клиенту по его запросу, а также на CDN-сервер, расположенный в ЦОД Крымского региона GGC [Google Global Cache]. Второй и любой последующий запрос попадает от клиента напрямую в тот ЦОД, в котором располагается сервер CDN, что сокращает задержку в несколько раз, т.к. трафик перестает преодолевать значительные расстояния по публичным каналам, а проходит по внутренней сети центров обработки данных. Аналогичная услуга может быть организована для всех существующих генераторов трафика Рунета и Интернета.

Услуга IPv4 Интернета (см. Рисунок 31) потенциально является самым популярным сервисом для заказчиков ЦОД, поскольку даёт базовую связность ресурсов клиентов с миром и Россией, в частности.

Рисунок 31. Предоставление услуг доступа в Интеренет в ЦОД на адресном пространстве сети

Суть решения в том, что клиенту выдаётся некоторый блок адресов из внутреннего пространства сети. Шлюз клиента резервируется протоколом VRRP таким образом, чтобы он был виртуально разделён на два сетевых устройства Nexus7700. Далее IPv4 сеть анонсируется вышестоящим провайдерам услуг связи цельным блоком. Подобный подход позволяет агрегировать сети с целью сокращения маршрутной информации, а также осуществлять резервирование первого узла связи от клиента к провайдеру.

В случае наличия собственного адресного пространства у заказчика, возможно использование услуг IPv4 транзита (см. Рисунок 32)

Рисунок 32. Осуществление IPv4 транзита сетей клиентов

Суть услуги в передаче клиентской сети, выданной регистрационными органами более крупным мировым и Российским операторам связи.

На сети передачи данных использована технология работы с мультикаст-трафиком. Данный тип трафика используется в рамках предоставления населению услуг телерадио вещания, а также репликации баз данных между центрами обработки данных. На точках обмена трафиком от операторов связи, имеющих лицензию на оказание услуг трансляции IPTV, принимается по протоколу MSDP [Multicast Source Discovery Protocol] список групп телеканалов с указанием адреса источника. Далее информация по активным каналам с помощью протокола PIM [Protocol Independent Multicast] попадает на устройства связи ядра сети. Выбрана т.н. sparse версия этого протокола, то есть канал вещается исключительно после приема IGMP запроса на вещание канала хотя бы от одного клиента, что существенно экономит полосу пропускания на сети. Для получения независимой маршрутной информации о телеканалах, с операторами, предоставляющими IPTV (Ростелеком, Укртелеком) поднимается BGP-соседство в мультикастовой адресной группе (см. Рисунок 33).

Рисунок 33. Организация услуги телевещания для городов региона

Локальному провайдеру ВИКС в г. Алушта предоставляется агрегированный список каналов по протоколу MSDP, включение или выключение каждого канала включается посредством приёма сообщения PIM Join на интерфейсе точка-точка в месте включения провайдера.

Организация любой сети центров обработки данных с получением лицензии на осуществление деятельности в области телекоммуникаций, предусматривает исполнение обязательств, наложенных государственными органами РФ по фильтрации ресурсов, попадающих в единый реестр запрещённых ресурсов РФ. Данный сервис выполняется в смешанном программно-аппаратном режиме. Ежедневно производится выгрузка данных из реестра по IPv4 адресам запрещённых ресурсов, после чего в ЦОД и резервный ЦОД добавляется маршрут до запрещенного адреса, указывающий в качестве адреса следующего маршрутизатора адрес 192.0.2.0. На каждом маршрутизаторе провайдера адрес 192.0.2.0 маршрутизируется в интерфейс ноль (NULL0), то есть трафик на данный адрес отбрасывается. Это позволяет вести фильтрацию всех ресурсов, перечисленных в едином реестре.

Услуги VPN могут на сети выполнены в нескольких вариантах. Организация каналов точка-точка или VPLS предоставляет заказчикам прозрачные каналы или группу каналов второго уровня от одной точки включения до другой. Для примера используется предприятие Массандра, которое располагает свои сервера в двух центрах обработки данных (Симферополь и Джанкой), а также подключает точку в г. Алушта в режиме канала второго уровня.

При организации подобной схемы (см. Рисунок 34), задается VPN-идентификатор и VPN-процесс, для которого в ручном режиме указываются PE устройства, которым необходимо доставлять трафик клиента с этим VPN. Клиентский трафик от всех точек тегируется специальной MPLS-меткой VPN-ID, на которую сверху записывается транспортная метка для осуществления дальнейшей доставки по сети.

Рисунок 34. Схема организации VPLS для предприятия «Массандра»

Вид со стороны клиента на услугу L2VPN показывает то, что на потребительской стороне каналы словно подключены в один коммутатор и один broadcast-домен, тогда как на стороне провайдера происходит значительно более сложные процессы.

Услугу L3VPN покажем на примере предприятия ОАО «Российский Национальный Коммерческий Банк». Банк имеет несколько офисов в разных городах, а также использует построенные центры обработки данных для обслуживание своего сетевого оборудования. Ключевая особенность реализации L3VPN в том, что устройства PE, в нашем случае это маршрутизаторы сети передачи данных, принимают участие в осуществлении маршрутизации трафика по клиентскому протоколу. Внутри ядра сети, маршрутная информация передается независимо для каждого клиента по протоколу MP-BGP. Идентифицировать каждого клиента позволяет VPN-ID метка MPLS, а уникальным префикс делает особый префикс, добавляемый к стандартному NLRI IPv4 unicast под названием Route-Target (см. Рисунок 35).

Рисунок 35. Организация услуги L3VPN на базе сети ЦОД

Объединение сетей одного заказчика происходит с помощью концепции VRF, которая позволяет использовать одинаковую адресацию в пределах одного клиента.

Способность оказывать и реализовывать различные комплексные услуги с применением одного набора оборудования говорят о высоком уровне масштабируемости сети передачи данных, а также о корректно выбранных сетевых компонентах при проектировании датацентров.

4.4    Реализация межсетевого взаимодействия с внешними сетями передачи данных

Сеть центров обработки данных обязана иметь выход во внешние сети для обеспечения населения доступом в Интернет, а также к российским и европейским ресурсам. Подобное взаимодействие было проработано с учетом обеспечения мер резервирования и отказоустойчивости. Точки обмена трафиком используют высокопроизводительные маршрутизаторы Juniper MX480 и линейные карты большой портовой ёмкости для осуществления подключений к вышестоящим операторам связи.

На узлах обмена трафиком используется два концептуально различных типа подключения. Первый тип - подключение к upstream-провайдеру (вышестоящему), что предполагает анонсирование в сторону подобного провайдера всех сетей клиентов и собственного адресного пространства, а также приём полной таблицы маршрутизации Интернет. Второй тип подключения - пиринговое подключение. Оно используется в случае стыковки двух равнозначных сетей передачи данных, при этом сеть ЦОД Крымского федерального округа осуществляет анонсирование своего адресного пространства, а также пространства своих клиентов, приём осуществляется по т.н. AS-MACRO пиринг-партнера, т.е. принимаются только downstream-сети пиринг-провайдера, а также собственное адресное пространство.

В качестве вышестоящих операторов, реализующих IPv4 транзит для сети датацентров Крымского Федерального Округа для подключения в г. Керчь выбраны операторы Ростелеком (AS12389), Эр-Телеком (AS9049), МТС (AS8359); в г. Красноперекопск Укртелеком (AS6849) и Евротранстелеком (AS35320).