Резервирование промышленных сетей Ethernet на втором уровне OSI: стандарты и технологии

Резервирование сетей Ethernet – это добавление избыточных линий связи с целью избавления от узких мест, то есть единственных каналов и узлов передачи данных, от работоспособности которых зависит функционирование сети. Очевидно, что организация дополнительных каналов связана с добавочными затратами на оборудование, кабель, монтаж и настройку. Однако в промышленности коллапс сети передачи данных часто означает остановку производственного процесса, которая может оказаться во много раз более затратной, чем расходы на сетевое оборудование и прокладку дополнительных кабелей. Поэтому именно в сетевом оборудовании для промышленного применения наибольшее развитие получила поддержка одновременно нескольких технологий резервирования.

Тот или иной способ резервирования канала связи базируется на одном или нескольких протоколах сетевого обмена. Сетевые протоколы вместе составляют стек, который, согласно модели OSI, принято делить на 7 уровней: от физического (кабели, бинарная передача данных) до уровня приложений (сетевые службы). Известные технологии резервирования базируются на 2-м (канальный уровень, MAC-адресация) и 3-м (сетевой уровень, IP-адресация) уровнях этой модели. Протоколы третьего уровня, такие как OSPF, RIPII, VRRP и пр., рассчитаны прежде всего на крупные сегментированные сети с применением маршрутизаторов и дорогостоящих коммутаторов 3-го уровня. Для промышленных сетей Ethernet предпочтительны средства резервирования, реализуемые на управляемых промышленных коммутаторах, то есть технологии, функционирующие на 2-м уровне OSI. Их реализации в конкретном устройстве могут иметь отличия, поэтому в качестве примера рассмотрим продукцию немецкого производителя Hirschmann – мирового лидера на рынке Industrial Ethernet. О преимуществах и недостатках коммутаторов, а также примерах реализации резервирования в этих устройствах пойдет речь далее.

Технологии резервирования и время восстановления

Смысл любой технологии резервирования – активизация резервного канала передачи данных при потере основного. Часто для оценки эффективности той или иной технологии используют параметр «время восстановления», который в разных версиях равен 10, 50, 300 мс. Чтобы понять, что он означает, рассмотрим процесс восстановления сети.

На рис. 1 изображена простая резервированная сеть Ethernet. Четыре коммутатора Sw 1–Sw 4 объединены в сеть с топологией «кольцо», к первому и третьему подключены рабочие станции PC1 и РС2. В штатном режиме рабочие станции обмениваются информацией по каналу Sw 1–Sw 2–Sw 3, в то время как путь Sw 1–Sw 4 зарезервирован. Предположим, что между коммутаторами Sw 2 и Sw 1 случился обрыв кабеля, и данные через него следовать не могут. В следующий момент активизируется запасной путь Sw 1–Sw 4, по нему посылаются тестовые пакеты. Этот первый этап можно назвать физическим восстановлением связи, однако он не означает восстановление обмена данными. Дело в том, что внутренние таблицы адресов (LAT), имеющиеся в каждом коммутаторе, «помнят» адреса старого пути и не направляют данные по новому. Например, в коммутаторе Sw 3 для связи с Sw 1 прописан порт 1, а резервный путь использует порт 2. Требуется время, чтобы коммутатор Sw 3 удалил из таблицы старое значение и, получив ответ от Sw 1, записал новое. Этот этап можно назвать логическим восстановлением связи, что означает начало обмена данными по резервному пути.

Логично предположить, что общая длительность этих двух этапов и составляет время восстановления. Однако всегда ли это так, сказать сложно. Дело в том, что стандарта или универсальной методики определения этого времени нет. Производители при расчёте могут указывать минимальное время, не принимая в расчет степень загрузки сети, которая, несомненно, это время увеличивает. Таким образом, минимальное время восстановления, указываемое производителями в спецификациях, не всегда подтверждается на практике, кроме того, значения этого параметра для оборудования различных производителей некорректно напрямую сравнивать между собой.

Иногда производители идут от обратного, указывая максимально возможное время восстановления, так сказать, худший случай. Примером может служить немецкая компания Hirschmann и её фирменная технология резервирования HIPER-Ring. Производитель указывает именно максимальное время восстановления обмена данными, полученное в ходе ряда экспериментов с различной загрузкой сети на демо-стенде из 100 коммутаторов Ethernet.

Время восстановления после сбоя – не единственный критерий оценки технологий резервирования. Рассмотрим характеристики для основных технологий.

RSTP (ускоренный протокол связующих деревьев)

Протокол RSTP (Rapid Spanning Tree Protocol) является, пожалуй, самым распространённым протоколом резервирования как в офисных, так и в промышленных сетях Ethernet. Он служит развитием предшествующего протокола STP, разработанного ещё в 80-х годах прошлого века. Последняя версия RSTP принята в 2004 году в виде стандарта IEEE 802.1D-2004. В общем плане протокол RSTP логически представляет сеть как древовидную структуру с множеством резервных связей. Так как этот протокол широко известен, опустим технические подробности и рассмотрим преимущества и недостатки.

Первое и главное его преимущество – он стандартизован. Сложно вспомнить хотя бы одного производителя Ethernet-оборудования, не обеспечившего поддержку IEEE 802.1D в своих управляемых устройствах. Его реализация в различном оборудовании идентична, что позволяет комбинировать устройства и создавать смешанные резервированные сети. Второе важное свойство RSTP – надёжность. Сеть коммутаторов, топология которой напоминает ветви дерева, распространяющиеся от корневого моста, укреплена множественными дополнительными линиями связи и не чувствительна к потере одного или даже нескольких узлов или линий. При этом топология автоматически перестраивается, обходя проблемные участки по запасным проложенным путям. Теоретически протокол даже не нуждается в настройке – коммутаторы самостоятельно способны определить взаимное положение, но на практике это будет не оптимальный вариант. Для повышения быстродействия сеть с применением RSTP требует тщательной настройки с определением свойств каждого порта и линий связи. Отсюда и следует главный недостаток RSTP – неопределённое время восстановления. В зависимости от размеров, сложности топологии сети и прочих факторов время восстановления колеблется от миллисекунд до нескольких секунд. Для офисных сетей это вполне приемлемо, но для промышленного Ethernet часто требуется бо'льшая детерминированность. Ещё одно огра­ничение RSTP – максимальный размер сети. Пакет данных может преодолеть до 39 узлов (коммутаторов) в пределах сегмента, по превышении этого порога он начинает дублироваться, и сеть может «встать».

Таким образом, RSTP может быть оптимален для новых сетей небольшого размера, где вероятны отказы более чем одного узла или кабеля, а также для расширения существующих сетей, использующих этот протокол.

HIPER-Ring (резервированное кольцо)

Не секрет, что на данный момент у многих производителей есть собственные технологии организации резервированного кольца Ethernet на базе собст­венных изделий, однако, как минимум, одной из первых является HIPER-Ring. Технология HIPER-Ring известна с 1990 года, когда компания Hirschmann работала совместно с Siemens. Данная технология предполагает объединение коммутаторов в сети по схеме «кольцо», в котором один коммутатор назначается менеджером. Задача менеджера – блокирование передачи данных по одному из направлений и постоянная рассылка тестовых пакетов для проверки целостности кольца. Блокировка замыкающей линии связи позволяет избежать возникновения коллизии, описанной в стандартном протоколе IEEE 802.3 Ethernet. При этом данные продолжают свободно проходить между всеми узлами логически, по линейной топологии. Менеджер кольца рассылает специальные тестовые пакеты в обоих направлениях и ждёт их возвращения по кругу. По их потере менеджер определяет разрыв кольца и активизирует заблокированную линию для передачи данных. Таким образом, при возникновении неполадок в любом месте кольца оно становится линейной структурой.

Основное достоинство HIPER-Ring – предсказуемость. Для резервированной сети из 100 и менее коммутаторов время восстановления всегда меньше 200 мс. Цифра подтверждена официальным документом, представленным разработчиками Hirschmann, что даёт больше уверенности в случае применения HIPER-Ring в сетях, чувствительных ко времени доставки данных. Ещё одно преимущество заключено в самой топологии: «кольцо» намного удобнее, чем RSTP, для географически растянутых сетей, проложенных, например, в тоннелях, вдоль конвейерных линий или трубопроводов. С кольцевой топологией значительно экономится кабель и снижаются расходы на прокладку и монтаж.

Ещё одно ощутимое достоинство HIPER-Ring – простота настройки. В общем случае достаточно переключить джампер RM (менеджер кольца) на одном из коммутаторов в положение ON и соединить все коммутаторы кабелем. Но и в случае необходимости персонализировать настройки – это несколько элементарных шагов в Web-интерфейсе коммутатора. Кроме того, кольцевая топология более наглядна, сразу понятно, что куда идёт, и такую сеть наиболее просто расширить новыми узлами.

Из недостатков HIPER-Ring можно отметить эффективность HIPER-Ring только в случае единичного отказа в пределах кольца. При одновременных отказах двух и более узлов сеть разделяется на несообщающиеся сегменты. Конечно, такие случаи почти невероятны, но крупные предприятия, использующие HIPER-Ring в больших производственных сетях, нередко строят отказоустойчивые магистрали по схеме «двойное кольцо».

Другим недостатком данной технологии является отсутствие стандартизации. Сеть с HIPER-Ring может быть построена только на оборудовании фирм Hirschmann и Siemens. Учитывая огромный ассортимент промышленного Ethernet-оборудования Hirschmann, это не является значительной проблемой. Тем не менее, стоит вспомнить о стандартизированной версии резервированного кольца.

MRP – резервирование по стандарту IEC 62439

Media Redundancy Protocol – стандартизированный протокол, являющийся частью IEC 62439. MRP также предполагает объединение коммутаторов Ethernet в кольцо по схожему с HIPER-Ring принципу. Его основные характеристики таковы: до 50 коммутаторов в кольце, максимальное время восстановления – 200 мс. Данный протокол может использоваться любыми производителями оборудования на основе покупки лицензии. Примером может служить оборудование Hirschmann, в котором MRP поддерживается наравне с HIPER-Ring для сопряжения с устройствами сторонних производителей. Несмотря на явную схожесть, комбинировать эти технологии нельзя, так как они используют разное представление аппаратных MAC-адресов. Если поместить в кольцо HIPER-Ring коммутатор с поддержкой MRP (или наоборот), сеть не сможет функционировать правильно. А именно, время восстановления может непредсказуемо возрасти за счёт невозможности для коммутатора-«чужака» обновить собственную таблицу адресов LAT. Стоит отметить, что в коммутаторах Hirschmann используется несколько модифицированный вариант MRP. Он имеет полную обратную совместимость со стандартным протоколом, но в случае применения оборудования Hirschmann позволяет объединять в кольцо уже до 200 коммутаторов с типовым временем восстановления 80 мс.

В остальном MRP имеет те же преимущества и недостатки, что и HIPER-Ring, за исключением того, что его настройка происходит только через Web-интерфейс.

Fast HIPER-Ring – кольцо со счётом на миллисекунды

Технология Fast HIPER-Ring является дальнейшим развитием HIPER-Ring и отличается от последнего более высоким быстродействием. Предсказуемость реакции является решающим фактором для использования её в сетях с жёстко ограниченным временем на доставку пакетов данных. Гарантированное время восстановления лишь незначительно зависит от количества коммутаторов в кольце Fast HIPER-Ring. Например, для кольца из 5 или 10 коммутаторов оно составляет соответственно 5 и 10 мс при любой загрузке сети. При дальнейшем увеличении количества оборудования в кольце время восстановления увеличивается очень незначительно: до 40 мс для кольца из 100 коммутаторов, до 60 мс – для 200. Чёткого предела максимального размера резервированного кольца Fast HIPER-Ring нет. Теоретически он составляет 20 460 коммутаторов, что, конечно, невозможно в реальных условиях. Но интересно знать, что даже при такой невероятно большой структуре время восстановления после сбоя составит менее 3 с.

Такой скачок в плане быстродействия стал возможен с появлением нового принципа аппаратной реализации Fast HIPER-Ring. Обычно за реализацию резервирования отвечает процессор коммутатора, однако новая технология «зашита» в специальном интегральном чипе на плате, что резко повышает быстродействие.

Точность и предсказуемость реакции Fast HIPER-Ring наиболее актуальны для резервированных магистралей промышленных сетей, для сетей электрических подстанций, промышленных сетей Ethernet химических предприятий и прочих сетей высокой степени доступности.

Пока Fast HIPER-Ring поддерживается только в коммутаторах для жёстких условий эксплуатации серий RSR и MACH1000 производства Hirschmann, но будет также поддерживаться в разрабатываемых новых линейках оборудования.

Redundant Coupling – дублированное соединение колец

Как видно из заголовка, основное предназначение технологии Redundant Coupling – дублированное соединение соседних сегментов сетей, в том числе колец HIPER-Ring. Данный приём также поддерживается только на оборудовании Hirschmann (хотя имеются и аналоги) и наиболее часто используется для соединения отдельных кольцевых сегментов центральной магистралью. Redundant Coupling можно организовать двумя способами, согласно рисунку 2, из трёх и четырёх коммутаторов соответственно.

Выбор способа зависит главным образом от географического расположения коммутаторов сети и сложности прокладки кабеля. Однако во втором случае достигается также резервирование коммутатора верхнего уровня.

Принцип действия Redundant Coupling прост: из двух линий связи активной всегда остаётся только одна, резервная линия активизируется только на время сбоя основной. Быстродействие этой технологии составляет вполне определённую величину порядка 250 мс.

Link aggregation (IEEE 802.3ad) – агрегирование каналов

Агрегирование каналов – это объединение нескольких (до восьми) физических линий связи между двумя коммутаторами в одну логическую. Цель этого действия – равномерное распределение трафика между физическими каналами для увеличения пропускной способности логического соединения. Максимальная пропускная способность для Link Aggregation составляет 8 Гбит/с и возможна при объединении восьми «гигабитных» портов в один канал, который называется «транк». Для портов Fast Ethernet максимальная пропускная способность составляет 800 Мбит/с. Первоначально протокол IEEE 802.3ad предназначался именно для увеличения пропускной способности, лишь с практикой внедрения стало понятно, что при потере одной из физических линий в канале протокол безболезненно перераспределяет трафик между оставшимися.

Таким образом, Link Aggregation применяется в промышленности для резервирования линий связи и в связи с наличием стандарта IEEE является кросс- платформенным. Недостатком можно назвать то, что время перераспределения трафика в IEEE 802.3ad при изменении количества линий в канале чётко не определено. В большинстве случаев он работает очень быстро, но чётко, как в случае кольцевых топологий, время перераспределения трафика предсказать нельзя.

Технологии резервирования в смешанных сетях

Для сетей Ethernet, охватывающих несколько распределённых сегментов, разные по характеру процессов участки (производственные, административные), всегда более актуально комбинирование нескольких технологий резервирования. Однако здесь возникает множество тонкостей, ведь некоторые из них не совместимы друг с другом, а совместное применение других, напротив, даёт мощный синергетический эффект. Их реализации на оборудовании разных производителей всегда различаются, поэтому в качестве примера рассмотрим оборудование Hirschmann.

Условные обозначения: Sw 1–Sw 6 – коммутаторы 1–6.

Представленная на рис. 3 схема сети состоит из комбинаций описанных в предыдущих разделах статьи технологий. Центральный мост между коммутаторами Sw 1 и Sw 2 образован по протоколу IEEE 802.3ad Link Aggregation. Эти же коммутаторы связаны с помощью дублированного соединения Redundant Coupling с двумя сегментами нижнего уровня (сплошной линией обозначены активные соединения, пунктирной – резервные). В устройствах Sw 1 и Sw 2 (коммутаторы Hirschmann MACH1000) используются разные порты для обоих соединений, и никаких конфликтов не возникает. Программное обеспечение, встроенное в MACH1000, позволяет выбрать любые свободные порты, как для дублированного соединения Redundant Coupling, так и для «транка».

Далее, на схеме показано, что в сегменте коммутаторов Sw 3…Sw 6 используется протокол RSTP, который также может работать совместно с дублированным соединением (здесь через коммутатор Sw 3). RSTP совместно с кольцевым соединением на одном коммутаторе не применяется по причине конфликта этих технологий. Вместо него для соединения резервированных колец HIPER-Ring и Fast HIPER-Ring используется Redundant Coupling или IEEE 802.3ad. По умолчанию у коммутаторов Hirschmann для соединения в кольцо отведены 1-й и 2-й порты, для Redundant Cou­pling – 3-й и 4-й, через Web-интерфейс можно задать другие значения.

Интересной возможностью для резервированной магистрали промышленной сети является совмещение HIPER-Ring и Link Aggregation. Совместное использование двух методов резервирования показано на рис. 4.

Условные обозначения: Sw 1–Sw 4 – коммутаторы 1–4.

Фактически кольцо HIPER-Ring образовано «транками», следовательно, пропускная способность магистрали может составлять до 8 Гбит/с. Применением протокола IEEE 802.3ad достигнуто также резервирование связей, что повышает стойкость кольца. Стоит учитывать, что повышенная пропускная способность обеспечивается только в нормальном режиме работы HIPER-Ring, когда резервная линия для передачи данных не задействована. Для резервной линии (обозначена пунктиром) протокол Link Aggregation неприменим, поэтому в случае полного отказа коммутаторов Sw 3 или Sw 4 максимальная скорость на этом участке составит до 1 Гбит/с.

Технология HIPER-Ring поддерживается на всех управляемых моделях Hirschmann, начиная с компактных 4-портовых моделей, однако указанная схема с протоколом IEEE 802.3ad может быть реализована только на сериях коммутаторов MACH4000 и Power MICE. Первые являются стоечными многопортовыми коммутаторами, предназначенными для скоростных магистралей, вторые – компактными модульными моделями, монтируемыми на DIN-рейку.

Применение комбинаций HIPER-Ring, RSTP, MRP, Link Aggregation, Redundant Coupling позволяет повысить отказоустойчивость как небольших сетей производственных участков, так и объединённых сетей крупных промышленных предприятий.

Такой разношёрстный набор технологий и стандартов, реализованный в одном промышленном коммутаторе, не избыточен. Специализированные технологии резервирования, такие как HIPER-Ring, оптимизированы для детерминированных по времени технологических процессов, стандартизированные аналоги (IEEE 802.1D, IEEE 802.3ad) удобны для объединения оборудования разных производителей, производственных и офисных подсетей. ● 

Автор – сотрудник фирмы ПРОСОФТ
Телефон: (495) 234-0636
E-mail: info@prosoft.ru