Фильтр по тематике

Многоканальная распределённая система синхронного сбора данных «жёсткого» реального времени, построенная на основе Ethernet-технологий

В статье рассматриваются принципы построения многоканальной распределённой системы синхронного сбора данных с использованием Ethernet-технологий в условиях «жёсткого» реального времени. Особое внимание уделено способам компенсации временных задержек и синхронизации съёма данных от большого числа источников. Система ориентирована на применение в составе судового оборудования, но принципы её построения универсальны и могут быть востребованы в различных отраслях.

Для вычислительных систем реального времени всегда остро стоял вопрос поиска рациональных вариантов построения системы информационного взаимодействия и управления работой удалённых источников информации. В настоящее время для решения указанной задачи в системах реального времени общего назначения широкое распространение получили Ethernet-технологии, основанные на использовании стандарта Ethernet TCP/IP с детерминированным временем передачи команд управления и приёма данных.

В [1] приводится анализ наиболее распространённых методов обеспечения работы по сетям Ethernet в реальном времени: Ethernet/IP, Ethernet Powerlink (EPL), PROFINET IRT, SERCOS-III и EtherCAT. Для рассмотренных методов характерными являются относительно небольшое число датчиков, их незначительная территориальная разнесённость и допустимое время отклика устройств до нескольких миллисекунд.

Многоканальные распределённые системы синхронного сбора данных «жёсткого» реального времени (например, гидролокационные, радиолокационные, навигационные системы, системы связи, распределённые средства контроля и управления и т.п.) имеют ряд принципиальных отличий от систем реального времени общего назначения. Рассмотрим основные подходы к решению задач построения многоканальных распределённых систем синхронного сбора данных «жёсткого» реального времени на примере систем, предназначенных для применения в составе судового оборудования.

Особенности систем «жёсткого» реального времени

В качестве определяющих различий в организации управления и информационного обмена для судовых многоканальных распределённых систем синхронного сбора данных целесообразно выделить такие группы факторов, как функциональные и временны́е,

Функциональные факторы:

  • наличие большого числа источников информации (до десятка тысяч) и их значительное удаление от центра обработки информации (до сотни метров);

  • необходимость обработки больших объёмов информации в режиме «жёсткого» реального времени;

  • обеспечение высокой достоверности и надёжности передачи данных.

Временны́е факторы:

  • необходимость одновременной выдачи команд управления и синхронизации на все источники информации;

  • необходимость синхронной регистрации (оцифровки) данных во всех источниках информации;

  • высокая точность синхронизации работы внешних устройств (в зависимости от назначения системы ошибка синхронизации источников информации должна находиться в пределах от десятков наносекунд до единиц микросекунд).

В связи с тем что в рассматриваемых системах время задержки передачи данных несоизмеримо мало по отношению к времени обработки информации и тем более по отношению к скорости контролируемого процесса (например, скорости перемещения объекта наблюдения), определяющим фактором здесь является не конвейерная задержка передачи данных (суммарная по тракту), а детерминированность времени поступления данных.

В общем случае структурную схему многоканальной распределённой системы синхронного сбора данных с использованием Ethernet-технологий можно представить в виде, приведённом на рис. 1.


Условные обозначения:
— каналы Ethernet 100Base-TX;  — каналы Ethernet 100/1000Base-TX; МОС — модуль обработки сигналов; БАД — блок агрегирования данных.

Информационный обмен

В соответствии с приведённой схемой информационный обмен реализуется следующим образом. Аналоговые сигналы от группы датчиков поступают в модуль обработки сигналов (МОС), где происходит их оцифровка и преобразование в UDP-пакеты. Сформированные в МОС пакеты данных по Ethernet-каналам передаются в блок агрегирования данных (БАД), где осуществляется объединение группы Ethernet-каналов в один канал Gigabit Ethernet. В этот канал, как правило, объединяются данные для отдельных режимов обработки.

Именно использование Ethernet-технологий для передачи информации позволяет путём последовательного агрегирования данных от большого числа пространственно разнесённых датчиков решить следующие задачи:

  • существенно сократить число используемых кабелей;

  • обеспечить высокую надёжность и достоверность передачи данных;

  • обеспечить агрегирование и упорядочивание в отдельный канал передачи данных для реализации определённого алгоритма обработки информации;

  • снизить требования к производительности вычислительных средств за счёт формирования упорядоченных потоков входных данных;

  • обеспечить возможность резервирования не только на уровне каналов передачи данных, но и на уровне потоков данных.

Синхронизация и управление работой внешних датчиков

Использование Ethernet-технологий для организации множественной синхронизации и управления большим числом внешних датчиков в системах «жёсткого» реального времени позволяет обеспечить следующие преимущества:

  • возможность общей, групповой и индивидуальной (раздельной) синхронизации работы большого числа датчиков;

  • возможность автоматической адаптации к временным задержкам территориально разнесённых датчиков;

  • возможность организации маркерного способа синхронизации, что обеспечивает высокую помехоустойчивость и надёжность работы системы при значительном удалении датчиков;

  • объединение в одном потоке команд управления и синхронизации;

  • реализацию механизма обеспечения синхронности работы всех датчиков и выравнивания времени поступления данных от них;

  • достаточно простую реализацию высокоэффективной системы контроля и диагностики работы большого числа внешних датчиков;

  • автоматическое обеспечение гальванической развязки источников информации за счёт использования физического уровня Ethernet.

Как было отмечено в [1], одним из основных условий использования Ethernet-каналов для задач синхронизации и управления является детерминизм времени передачи сигналов синхронизации и управления. В общем случае для выполнения указанного требования применительно к системам «жёсткого» реального времени должны быть соблюдены следующие условия:

  • организация передачи сигналов синхронизации и управления должна быть реализована по принципу «точка-точка», то есть по каждому Ethernet-каналу передаётся только один поток синхронизации и команд управления;

  • передача данных должна осуществляться по UDP-протоколу транспортного уровня;

  • используемое канальное оборудование должно обеспечивать детерминизм времени приёма, обработки и передачи данных;

  • при передаче данных и команд управления должна быть обеспечена сквозная синхронизация канального оборудования;

  • должен быть реализован механизм компенсации временны́х задержек приёма данных от различных источников информации.

Детерминизм времени обработки и передачи данных в стандартном коммуникационном оборудовании может обеспечиваться путём соответствующей доработки существующего комплекса программно-аппаратных средств или на основе синтезированных Ethernet-контроллеров.

Под сквозной синхронизацией понимается процесс, когда синхронизация всех канальных устройств коммутации, обработки и выдачи данных осуществляется только по синхропоследовательности, формируемой на передающей стороне.

В системах реального времени общего назначения задача сквозной синхронизации обеспечивается за счёт применения протокола IEEE 1588 [2].

Использование в стандартном канальном оборудовании детерминированных алгоритмов обработки и коммутации совместно с использованием метода сквозной синхронизации обеспечивает необходимую детерминированность времени обработки и передачи данных.

Способы синхронизации


Условные обозначения:

⊓⊓⊓⊓ — синхропоследовательность;  — импульс дискретизации; FE — канал Fast Ethernet; GE — канал Gigabit Ethernet; ▼n — номер способа синхронизации внешних устройств в перечне; АС — аналоговый сигнал; Д — датчик; МОС — модуль обработки сигналов;

БАД — блок агрегирования данных.

В общем случае можно выделить следующие основные способы синхронизации работы внешних устройств (рис. 2):

  • общая синхронизация работы всех источников информации (на уровне модуля коммутации);

  • синхронизация групп или отдельных каналов (на уровне блоков БАД);

  • синхронизация работы группы или отдельных датчиков (на уровне МОС).

Выбор способа синхронизации зависит от количества датчиков и их территориальной разнесённости, количества используемых режимов обработки и особенностей их программной реализации.

Формирование синхросигнала

В зависимости от способа синхронизации источником синхросигнала (импульса дискретизации) является одно или несколько задающих устройств. Наиболее рациональным является размещение задающего устройства в одном из вычислительных модулей многопроцессорного вычислительного комплекса (рис. 3).


Для формирования сигналов синхронизации в вычислительном модуле используется высокостабильное задающее устройство, на выходе которого формируется тактовая последовательность импульсов с частотой дискретизации. Задающее устройство может быть реализовано в ПЛИС одного из вычислительных модулей.

Для обеспечения точности синхронизации внешних устройств в рассматриваемой схеме используется метод конвейерной обработки, который подразумевает приём, обработку и формирование выходной последовательности в одном временном такте, а передачу — в следующем такте синхронизации. Этим обеспечивается синхронная выдача информации различными исполнительными устройствами. Задержка выдачи командного пакета на один такт при достаточно высокой частоте дискретизации является несущественной.

В соответствии с описанным методом формирование и передача синхронизирующего импульса осуществляется в два этапа.

На первом этапе по каналу глобальной синхронизации задающий импульс приходит на входы процессора и ПЛИС, реализующей Ethernet-контроллер соответствующего вычислительного модуля. При поступлении задающего импульса процессор формирует и записывает в выходную буферную память контроллера внешнего обмена командный пакет. Командный пакет содержит стандартную (фиксированную по длине) преамбулу, после которой следует фиксированный по длине синхромаркер. Определённое положение синхромаркера обеспечивает строго определённое время его выделения в МОС (рис. 4). 


Далее следует разделитель и блок с групповыми и индивидуальными командами. В данном блоке могут содержаться значения величин задержек формирования импульсов дискретизации, выдачи данных по прямому каналу и др., а также команды управления датчиками.

На втором этапе при поступлении следующего импульса дискретизации контроллер внешнего обмена по обратному каналу осуществляет выдачу записанного в его выходном буфере командного слова.

Варианты синхронизации работы внешних устройств

Одной из основных трудностей организации работы с большим числом территориально разнесённых источников информации является обеспечение их синхронной работы при условии, что разброс в съёме данных (оцифровке) не должен превышать десятков наносекунд. Кроме того, данные от одной и той же группы датчиков могут использоваться отдельными вычислительными модулями для реализации различных режимов обработки информации. В этих условиях для эффективной работы с внешними устройствами необходимо использовать метод множественной синхронизации, позволяющий наряду с возможностью общей синхронизации обеспечить раздельную синхронизацию работы отдельных групп датчиков или индивидуально каждого датчика. На рис. 2, например, приведена структурная схема организации групповой синхронизации работы внешних источников информации.

При общей синхронизации работы всех источников информации в модуле коммутации осуществляется выделение синхромаркера и одновременная его трансляция через все БАД на все группы агрегируемых каналов.

При групповой синхронизации выделение синхромаркера осуществляется в отдельных БАД, после чего он параллельно транслируется сразу на все исполнительные устройства данной группы.

При раздельной синхронизации синхромаркер для группы датчиков или отдельного датчика выделяется в МОС. После выделения синхромаркера в МОС (рис. 4) осуществляется формирование сигнала дискретизации, который передаётся на один из датчиков или параллельно на группу датчиков.

Компенсация временных задержек

Для синхронной работы источников информации необходимо обеспечить выравнивание времени поступления импульсов синхронизации и поступления данных от них на вычислительные модули.

Для решения указанной задачи целесообразно использовать многоступенчатый механизм компенсации временны́х задержек.

Уровень МОС

Компенсация неравномерности временны́х задержек передачи импульса дискретизации и поступления данных от датчиков осуществляется на уровне МОС. При выделении синхромаркера в МОС осуществляются следующие операции:

  • для каждого датчика формируется сигнал дискретизации, поступающий на датчик непосредственно после выделения синхромаркера или с задержкой, величина которой для каждого датчика может быть указана в командном пакете КП (обеспечивается выравнивание времени поступления импульса дискретизации на АЦП);

  • осуществляется выдача по прямому каналу сформированного в предыдущем такте пакета данных (обеспечивается синхронизация работы прямого и обратного каналов передачи данных); при наличии в КП задержки на выдачу пакета данных его выдача задерживается относительно импульса синхронизации на указанное число тактов; в начале блока данных передаётся КП, в состав которого входит синхромаркер, что позволяет на приёмной стороне определить различия во времени передачи пакетов по разным каналам.

При незначительной неравномерности поступления данных от датчиков компенсация временного разброса данных может осуществляться за счёт использования резерва пропускной способности группового канала (Ethernet-канала). 


В этом случае компенсация временны́х задержек осуществляется следующим образом (рис. 5):

  • независимо друг от друга поступающие от датчика данные (в параллельном или последовательном форматах) записываются в свои области памяти;

  • после поступления всех данных осуществляется формирование UDP-пакета;

  • сформированный пакет данных передаётся в канал связи при поступлении следующего импульса дискретизации.

В результате того, что приёмные устройства работают на частоте канала передачи (в данном случае Fast Ethernet), наличие резерва пропускной способности позволяет в течение одного такта осуществить приём, компенсацию временн'ого разброса, обработку и формирование UDP-пакета данных.

По опыту авторов статьи в разработке систем данного класса для обеспечения устойчивой работы Ethernet-канала и решения задач синхронизации целесообразно использовать его пропускную способность в пределах 60-70%.

Уровень БАД

На уровне блока агрегирования данных осуществляется компенсация временных различий в поступлении данных от группы Ethernet-каналов. Здесь тоже возможно использование управляемой задержки, формируемой за счёт буферизации данных, или запаса пропускной способности каналов Gigabit Ethernet.

Общее выравнивание времени поступления данных от всех датчиков может производиться в модуле коммутации путём задержки принимаемых пакетов относительно самых «медленных» данных или выполняться программным способом в вычислительном комплексе в случае раздельной обработки данных от различных групп датчиков.

Практическая реализация

Изложенные методы многоканальной синхронизации работы внешних источников данных достаточно хорошо апробированы ЗАО НПП «Авиационная и Морская Электроника» в ходе выполнения ряда опытно-конструкторских работ.

Для построения системы обработки информации и многоканальной синхронизации источников информации на предприятии разработан многопроцессорный вычислительный комплекс (МПВК) КВСБ.466539.001 [3]. МПВК в зависимости от требований по производительности может включать в свой состав до 7 модулей цифровых процессоров сигналов (МЦПС) КВСБ.467469.050 и модуль центрального процессора (МЦП) на базе одноплатного компьютера СРС502. Модуль МЦПС — изделие собственной разработки, а CРC502 — изделие, выпускаемое ЗАО НПФ «Доломант» по документации и под авторским надзором фирмы «Фаствел».

Каждый из модулей МЦПС может осуществлять самостоятельную обработку принимаемых данных. Для автономного приёма данных в каждом модуле предусмотрено четыре Gigabit Ethernet-канала. В ведущем МЦПС реализуется устройство, обеспечивающее формирование сигналов синхронизации и реализацию рассмотренных методов управления работой внешних устройств. С помощью МЦПС, как правило, производится первичная обработка данных и сигналов управления многоканальной распределённой системой синхронного сбора данных, а для вторичной обработки и отображения информации используется СРС502.


На рис. 6 приведён внешний вид базового модуля МОС (КВСБ.468157.010). С помощью данного модуля в соответствии с описанными ранее алгоритмами осуществляются оцифровка и преобразование данных, принимаемых по восьми аналоговым каналам, в один цифровой поток данных, который далее агрегируется в один канал Fast Ethernet. Нижняя часть модуля обеспечивает аналоговую, а верхняя — цифровую обработку данных.

Всё оборудование комплекса имеет группу исполнения 2.1.2 по ГОСТ РВ 20.39-304-98 и ГОСТ РВ 20.39.305-98, полностью отвечает требованиям, предъявляемым к корабельной аппаратуре.

Выводы

Таким образом, можно сделать следующие выводы.

  1. Для эффективного решения задач множественной синхронизации и управления в системах «жёсткого» реального времени можно и целесообразно использование Ethernet-технологий.

  2. Для обеспечения детерминированности времени передачи необходимо выполнение следующих условий:
    ● синхронизация работы, управление и информационный обмен для каждой группы внешних источников информации должны осуществляться по отдельным Ethernet-каналам;
    ● передача данных должна осуществляться на основе UDP-протокола канального уровня с использованием сквозного метода синхронизации;
    ● для приёма, передачи, коммутации и обработки данных должны использоваться устройства с детерминированным временем обработки.

  3. Для организации множественной синхронизации работы большого числа внешних устройств целесообразно использование многоступенчатого механизма компенсации временны́х задержек.

  4. Использование конвейерного метода позволяет обеспечить детерминированный цикл обработки и выдачи принимаемых данных и сигналов управления. ●

Литература

  1. Цвена К. Практические Ethernet-решения реального времени // Мир компьютерной автоматизации. 2006. № 3. С. 44-48.

  2. Дренкоу Г. Некоторые факты о скорости, пропускной способности и задержках в приборах стандарта LXI // Компоненты и технологии. 2007. № 1. С. 160-162.

  3. Севбо В., Орлов А., Лошаков А. Многопроцессорный вычислительный комплекс для задач «жёсткого» реального времени // Современные технологии автоматизации. 2007. № 3. 

Авторы — сотрудники ЗАО НПП «Авиационная и Морская Электроника»
Телефон/факс: (812) 347-8901, 347-8903, 327-4667

Комментарии
Рекомендуем

ООО «ПРОСОФТ» 7724020910 2SDnjdbfYK3
ООО "ГЕОЛИНК НЬЮТЕК" 7710494607 2SDnjcdM65f
ООО «ПРОСОФТ» 7724020910 2SDnjdbfYK3