Этапы создания эффективной системы автоматизации подстанции. Часть 3

Современные системы автоматизации подстанций постоянно разрастаются и усложняются. Внутренние соединения различных устройств и узлов в таких системах построены по определённой сетевой топологии. На её однородность может влиять наличие двух разделённых сетей подстанции: сети станции и сети процессов. При этом ключевым элементом топологии в подавляющем большинстве случаев остаётся коммутатор Ethernet.

На практике топология в основном зависит от стоящих задач, условий, специфических особенностей и требований конкретного применения. На каждой конкретной подстанции может быть выбрана своя топология сети, например раздельные кольцевые топологии для сети станции и сети процессов – топология звезды для первой и HSR-кольцо для второй. Такого рода решения при всех своих различиях базируются на одних и тех же стандартных топологиях: шина, дерево, звезда, кольцо, смешанный тип (mesh). В зависимости от размеров, сложности сети и других критериев выбираются комбинации данных топологий.

Топология одиночной звезды

В соответствии с данной топологией каждый участник сети (станция) напрямую соединён с центральным узлом (коммутатором) сети (рис. 4). 

Передача данных между компонентами производится через коммутаторы. Данная топология – единственный вариант для применения неуправляемых коммутаторов Ethernet.

Топология одиночной звезды распространена благодаря следующим преимуществам соответствующих сетевых структур:

• простая диагностика и локализация проблем и возможность их быстрого устранения;
• слабое электромагнитное взаимовлияние;
• простой алгоритм устранения неполадок;
• лёгкость понимания и реализации;
• сохранение работоспособности всей сети при отказе любого конечного устройства;
• высокая пропускная способность;
• высокая ремонтопригодность;
• оптимизация с учётом широковещательного трафика, низкая латентность;
• простой запуск и подключение силового оборудования.

В то же время топология звезды не отличается высокой надёжностью, так как все устройства соединены с центральным коммутатором, который подвержен влиянию агрессивной внешней среды подстанции, а между прочим отказ именно центрального узла вызывает остановку всей сети. Кроме того, из-за распределённого характера узлов сети, каждый из которых несёт множество подключений, количество соединительных проводов в такой сети резко возрастает.

Топология двойной звезды

Для увеличения надёжности и доступности сети применяется топология двойной (или резервированной) звезды. Реализуется она двумя способами: либо конечные устройства имеют двойное подключение к сети, либо используется двойной набор коммутаторов Ethernet. Для логического построения двойной звезды каждый узел должен иметь два сетевых интерфейса, такие узлы называют DAN (Double Access Node).

В сети из DAN-узлов для обеспечения резервирования могут применяться протоколы RSTP (Rapid Spanning Tree Protocol) или PRP (Parallel Redundancy Protocol). Топология двойной звезды с двумя шинами станции, организованными с использованием протокола RSTP, показана на рис. 5.

Топология одиночного кольца

Кольцевые топологии используют соединения типа точка–точка. Коммутаторы Ethernet соединяются петлёй, конечные устройства подсоединяются к ним. Данные от источника к приёмнику передаются через узлы кольца в одном или двух направлениях. Каждый узел может одновременно посылать данные соседям.

Кольцевые топологии традиционно применяются в более крупных сетях. Латентность в таких сетях выше из-за увеличенного количества узлов и проходящего трафика. Для снижения латентности можно применить протокол HSR (High-availability Seamless Redundancy). В данном случае отказ одного узла влияет на всю сеть. Резервирование по протоколам RSTP и HSR эффективно против отказа линии связи, но не спасает конечные устройства, подключённые к узлу, в случае отказа последнего. Данную ситуацию частично может исправить кабельный концентратор, способный обеспечить сквозное подключение через отказавший узел.

Упростить архитектуру резервированной сети можно путём применения встраиваемых коммутаторов с поддержкой протоколов MRP (Media Redundancy Protocol) и HSR (рис. 6).

Топология множественных колец

Для обеспечения высокой доступности коммуникационной системы подстанции применяют топологию множественных колец, реализуемую с помощью многопортовых коммутаторов

Ethernet. Рис. 7–10 отображают несколько вариантов кольцевых топологий, включая параллельное кольцо, кольцо с субкольцами, кольцо в кольце.

Сравнение топологии звезды с кольцевой топологией

Для того чтобы выбрать оптимальную топологию, нужно учитывать множество факторов, например пропускную способность, возможность наращивания, латентность, надёжность и пр.

Таблица 1 позволяет сравнить две указанные топологии по главным факторам, по каждому из которых далее приведён краткий комментарий.

• Резервирование повышает надёжность сети путём добавления дополнительных маршрутов доставки данных. Кольцевая топология – простейший способ резервирования.

• Пропуская способность – комплексная величина, определяемая скоростью передачи, доступной полосой пропускания (способностью большего количества «хостов» одновременно передавать сообщения), внутренней связностью сети (сколько линий связи надо разорвать, чтобы сеть разделилась на 2 части).

• Диагностика включает в себя определение отказавшего устройства, устранение неисправности, решение сопутствующих проблем.

• Расширяемость подразумевает уровень сложности наращивания сети.

• Кабельное хозяйство характеризуется сложностью кабельной разводки, надёжностью доставки сигналов, простотой доступа к узлу.

• Латентность определяет производительность коммуникационной сети на основе общей задержки в доставке критически важного сообщения от источника к получателю. Требования ко времени доставки данных у шины станции и шины процесса сильно разнятся, поэтому и методы резервирования у них разные.

• Применение в больших сетях становится возможным благодаря тому, что резервированные кольца на каждом уровне шины процессов могут быть объединены в станционную шину по топологии дерева или смешанной кольцевой топологии.

• Применение в малых сетях обычно подразумевает внедрение на небольших высоковольтных подстанциях, где линий передачи со средствами релейной защиты меньше. Часто на отсек приходится только одно интеллектуальное сетевое устройство, и эти устройства логично объединить цепочкой в резервированное кольцо.

В идеале на подстанции все цепи и оборудование должны дублироваться из соображений надёжности. Технологии резервирования каналов связи используются для достижения максимальной надёжности с относительно небольшими инвестициями.

Потребность в резервировании каналов связи

Коммуникационная сеть подстанции относится к критически важным системам. Система в целом должна быть устойчива к единичным сбоям. Смысл резервирования каналов как раз и состоит в предотвращении появления каналов или узлов, единичный отказ которых приведёт к остановке системы. При отказе узла или канала связи система должна автоматически восстанавливаться в установленное (обычно очень короткое) время. При этом должен задействоваться один из резервных маршрутов доставки данных от отправителя к получателю.

На практике шины процессов и шина станции могут быть разделены. Каждая из них должна быть резервирована. Каналы и узлы связи между шинами станции и процессов тоже должны быть дублированы. Это может быть реализовано с помощью технологий дублирования каналов ring coupling на базе коммутаторов Ethernet или путём использования нескольких сетевых интерфейсов одного конечного устройства. Резервирование каналов связи позволяет свести к минимуму задержки в передаче данных и потерю кадров, одновременно серьёзно увеличивая значение параметра наработки системы на отказ (MTBF).

Принцип реализации технологий резервирования

Кольцевые топологии в сравнении с топологией звезды используют разные механизмы резервирования. Отказ в кольце может быть исправлен без остановки сети, поэтому его часто называют самовосстанавливающимся. При отказе в кольце одного канала кольцо превращается в цепочку, но все узлы по-прежнему остаются связанными друг с другом.

Так как Ethernet – широковещательный протокол, организация кольца без дополнительных протоколов связи невозможна. В зависимости от различных требований к шинам процессов и станции могут применяться разные протоколы кольцевого резервирования, отличающиеся по своим основным характеристикам.

Требования к шинам процессов и станции

Большинство протоколов резервирования регламентируют заранее определённое время восстановления системы после сбоя. Этот параметр называется временем восстановления. Так как он напрямую влияет на время передачи информации от отправителя получателю, время восстановления, регламентированное конкретным протоколом резервирования, всегда должно быть меньше максимально допустимой задержки в сети.

Шина станции обычно используется для передачи событийного трафика для SCADA-системы. Она охватывает всю подстанцию и соединяет центральные станции управления со всеми уровнями автоматики. Шина станции обычно передаёт GOOSE-сообщения (GOOSE – Generic Object Oriented Substation Event) и TCP/UDP-трафик. GOOSE-сообщения являются широковещательным тра­фиком второго уровня, TCP/UDP – это кадры, включающие сообщения MMS (Manufacturing Messaging Specification), SNTP (Simple Network Time Protocol) и SNMP (Simple Network Mana­gement Protocol). Сеть уровня станции допускает потерю отдельных кадров Ethernet благодаря использованию протокола TCP/IP, его механизмы позволяют выявлять потерянные кадры и пересылать их ещё раз.

Шина процессов используется для передачи измерительных данных в так называемой SV-форме (SV – Sampled Values). Данные передаются в маленьких Ethernet-кадрах, генерируемых, например, защитной автоматикой. Так как для расчёта необходимы все данные, потери SV-трафика недопустимы. При нормальной частоте тока 50 Гц и частоте дискретизации 80 Гц необходимая частота передачи данных получается 50 × 80 = 4000 Гц. Это означает, что каждые 250 мкс кадр с измеренной величиной, например, фазы тока должен быть передан по сети. Таким образом, канал передачи SV-данных должен быть фактически беспрерывным, иначе данные сразу потеряются.

Протоколы резервирования 

Протокол RSTP

Протокол RSTP – очень гибкий, позволяет резервировать сети с произвольной топологией. Однако для топологий, отличных от топологии одиночного кольца, вычисление времени сходимости становится непростым. В сети с топологией одиночное кольцо RSTP ведёт себя очень предсказуемо. Во время перестроения топологии пакеты с данными теряются, поэтому этот протокол можно применять только в шине на уровне станции. В шине процессов потеря пакетов не допускается, соответственно, протокол RSTP тут противопоказан. При проектировании сети рассчитывают и тестируют максимальное время восстановления – оно должно быть меньше допустимых задержек для критичного трафика, например GOOSE-сообщений.

Протокол MRP

Протокол MRP в сравнении с RSTP применим только к топологии одиночного кольца. Его нельзя применять для топологий с множественными кольцами и смешанных сетей без дополнительных протоколов. Так как протокол разработан специально для кольца, его производительность несравнимо выше, чем у RSTP. MRP определяет жёсткий набор параметров для коммутаторов-участников, благодаря чему максимальное время восстановления кольца определено заранее. Рекомендованное зна­чение этого параметра может быть установлено на уровне 10, 30, 200, 500 мс. Указанные значения гарантируются при любых наихудших условиях работы сети, а типовые значения времени восстановления, как правило, намного меньше.

Для реализации сложных топологий MRP-кольца можно прикреплять к ком­мутаторам Hirschmann, выполняющим роль менеджеров резервированных колец (рис. 11). Резервирование в дополнительных кольцах осуществля­ется независимо от главного кольца. Соответственно, время восстановления может быть задано в каждом кольце индивидуально, и процесс восстановления при сбое в пределах каждого кольца происходит независимо. Дополнительные кольца могут быть присоединены непосредственно к базовому кольцу для большей гибкости.

Согласно схеме на рис. 12 кольца можно соединять с помощью технологии ring coupling, реализованной на коммутаторах Hirschmann. Для этого используются два соседних коммутатора в режимах мастера соединения (ring coupling master). Один коммутатор поддерживает соединение со вторым кольцом в активном состоянии, дублирующее соединение (показано на рис. 12 пунктиром) держится вторым мастером в логически разомкнутом состоянии для предотвращения формирования циклических маршрутов в сети. 

Таким образом, данные идут только по основной линии. При возникновении сбоев в основном маршруте происходит переключение на запасную линию до восстановления основной.

Использование технологии ring coupling позволяет строить резервированное соединение между различными топологиями и оборудованием разных производителей.

Протокол PRP

Протокол PRP – наиболее подходящий для шины процессов. Вместо дополнительных каналов связи в сети он использует полностью дублированную сетевую инфраструктуру (рис. 13). 

Все конечные устройства, которые планируется подключать к PRP-сети, подключаются через так называемые DAN-шлюзы или сами имеют двойной сетевой интерфейс с аппаратной поддержкой PRP. Данные через дублированный интерфейс посылаются в сеть A и сеть Б синхронно. Пакеты дублируются DAN-устройствами, копии пакетов данных направляются по двум сетям независимо.

При возникновении сбоя в одной из сетей данные без задержек доставляются по второй. При исправной работе обеих сетей конечное DAN-устройство получает два дубля каждого пакета данных и фильтрует вторые копии.

Таким образом, PRP-протокол может использоваться в шине процессов, он устойчив к сбоям и обладает нулевым временем восстановления.

Протокол HSR

Протокол HSR целиком построен на концепции PRP. В отличие от последнего HSR не требует двойной сетевой структуры, а использует имеющуюся кольцевую топологию. Рис. 14 иллюстрирует прин­­цип, реализованный в PRP: копии каждого кадра Ethernet посылаются по двум направлениям для независимой доставки получателю. 

Вместо двойной сетевой топологии используются оба направления движения трафика по замк­нутому кольцу. При разрыве кольца в любом месте данные без задержки поступают к получателю по целой «дуге». Во избежание получения дублей кадров и образования петли в сети в каждом HSR-устройстве на аппаратном уровне реализован механизм фильтрации дублей полученных кадров, что предотвращает также их зацикливание и связанную с ними перегрузку сети.

Протокол HSR обеспечивает резервирование с нулевым временем восстановления и пригоден для применения в шине процессов (рис. 15).

Сравнение протоколов резервирования

Таблица 2 позволяет сравнить представленные протоколы резервирования по таким показателям, как детерминизм/ скорость восстановления, гиб­кость топологии, стоимость реализации. 

Далее приведены краткие комментарии оценок, выставленных каждому рассматриваемому протоколу по перечисленным показателям.

• RSTP. В плане предсказуемости скорости восстановления RSTP удовлетворяет требованиям станционной шины. Он поддерживается самым разным сетевым оборудованием, может быть реализован в любой топологии, однако вести себя быстро и предсказуемо может только в простых сетях.

• MRP. Этот протокол отличается хорошей предсказуемостью и малым временем восстановления, практически идеален для шины станции. Его единственное зна­чимое ограничение заключается в том, что допускается только одиночная кольцевая топология. Для дополнительной гибкости в топологии построении сети MRP можно комбинировать с другими про­токолами, а также соединять одинарные MRP-кольца с помощью технологии ring coupling.

• PRP. По сравнению с RSTP и MRP параллельное резервирование находится на качественно более высоком уровне по времени восстановления и предсказуемости поведения. В плане топологии PRP также серьёзно обгоняет протоколы RSTP и MRP: две сети, дублирующие друг друга, могут быть любой формы и топологии. Конечно, для этого требуется увеличенный в 2 раза набор аппаратных средств и устройства типа RedBox для дублированного подключения к сети, поэтому в плане стоимости реализации PRP проигрывает остальным протоколам.

• HSR. По детерминизму и скорости восстановления HSR идентичен протоколу PRP. Он ограничен в плане гибкости применением только в кольцевой топологии и так же как и PRP требует специальных устройств типа RedBox для подключения к HSR-сети устройств, не поддерживающих этот протокол на аппаратном уровне. Однако HSR более эффективен, чем PRP, в силу меньшей стоимости реализации, так как не требует двойного набора сетевого оборудования.

Выводы по части 3

Выбор оптимальной сетевой топологии и протокола для конкретного случая – задача сложная, особенно для больших и разветвлённых сетей. Тем не менее, правильная комбинация технологий резервирования способна удовлетворить все требования современной системы автоматизации подстанции к сети.

Данная часть знакомит только с общими положениями современных технологий построения сетей для автоматизации электрических подстанций. В последующих частях будут рассмотрены задача обеспечения усло­­вий реального времени для сети Ethernet на подстанции и вопросы кибербезопасности объектов энергетики. ● 

Перевод Ивана Лопухова, сотрудника фирмы ПРОСОФТ
Телефон: (495) 234-0636
E-mail: info@prosoft.ru