Структура современных встраиваемых модульных систем с сетевой архитектурой

Модульная структура аппаратных и программных средств стала основополагающим принципом построения компьютерных систем автоматизации. Модули процессоров и модули ввода-вывода со встроенными элементами обработки сигналов обычно объединяют с помощью магистрали (шины процессора и специальных параллельных и последовательных шин с общей средой связи), формируя магистрально-модульные структуры. Модули процессоров с интерфейсными схемами сопрягаются с шиной для взаимодействия с другими модулями (ввода-вывода, памяти) или друг с другом через общую среду связи (каналы, память). Первое поколение программно-управляемых модульных систем компьютерной автоматизации обеспечивало ширину полосы частот до нескольких МГц, а процессоры с 8-разрядной шиной ISA были основой создания первых компактных встраиваемых систем. Однако типовые наборы измерительных и управляющих модулей требовали и использовали разрядность до 16-24 с мультиплексированием.

Переход на 16-разрядные процессоры и шины связи позволил увеличить производительность и пропускную способность систем управления. С развитием 32-разрядных процессоров параллельная шина стала основной в последующих магистрально-модульных системах высокой производительности и многопроцессорных структурах типа VME. 64-разрядные процессоры и шины системного сопряжения и связи ещё больше увеличили пропускную способность и производительность магистрально-модульных структур, однако в этом случае с ростом частоты передачи существенно обостряются проблемы, связанные с наводками и помехоустойчивостью. Ещё больше проблем возникает при проектировании плат модулей с таким большим числом параллельных линий связи и соединений, с такой высокой скоростью передачи и обработки сигналов. Проблема соединений в кристалле, модуле и системе становится всё серьёзнее.

Требование дальнейшего увеличения производительности модульных систем привело к формированию устойчивой тенденции перехода от систем с параллельными шинами к быстрым последовательным сетевым архитектурам.

Проблемы и особенности современных модульных систем

Изначально модульные системы создавались на базе процессорных плат, которые фактически являлись материнскими платами, исполнявшими функции активной объединительной панели для модулей ввода-вывода. С распространением 16- и 32-разрядных микропроцессоров появились компактные процессорные модули и типовые наборы модулей ввода-вывода с одинаковым интерфейсом на пассивной общей шине, объединяющей модули в магистрально-модульных системах (ММС). Представителем современных ММС являются системы PCI/PXI, VME/VXI. Следует признать, что ПК, промышленные компьютеры и серверы с параллельной архитектурой PCI ограничены по дальнейшему росту производительности традиционной параллельной шиной, разделяемой поочерёдно всеми модулями системы, хотя, по мнению многих экспертов, устойчивый спрос на них может ещё сохраниться в течение ближайших 5 лет.

С развитием технологии СБИС начали создавать компактные системы из 2-4 модулей с прямым соединением шинных интерфейсов непосредственно через разъёмы на модулях (PC/104). Другое направление развития модульных систем связано с секционированием большего числа модулей (до 16 и более) в крейтах (шасси, корпусах, субблоках и т.п.) с пассивной объединительной задней панелью (VME, CompactPCI и др.). В такой конструкции модули процессоров и ввода-вывода устанавливаются вертикально для обеспечения естественной вентиляции. Решения с пассивной объединительной задней панелью и требуемым набором модулей отличают гибкость, производительность, высокая надёжность, широкий диапазон рабочих температур, защищённость от вибрации, пыли и влаги, из-за чего они находят применение во многих системах автоматизации в промышленности, медицине, науке, военном деле и т.д.

Рассмотрим основные виды связи процессорных модулей в системах, различаемые по типу соединений.

1. Системы с магистральной структурой процессорных модулей на основе разделяемой среды связи могут использовать каналы параллельного, последовательного и параллельно-последовательного типов. Магистраль может быть фиксированной в секции для установки типовых модулей или произвольной для связи любых устройств. Магистральную фиксированную связь параллельного типа широко применяют, начиная с первого поколения модульных систем и до настоящего времени (CAMAC, PCI/PXI, VME/VXI). Примером произвольной параллельно-последовательной магистрали с разделяемой средой связи служит байтовая магистраль приборного интерфейса для передачи сообщений GPIB, на смену которой пришёл быстрый последовательный интерфейс USB. Примером последовательной магистрали служит классический вариант сети Ethernet и интерфейсы военного стандарта MIL-STD-1553 с разделяемой средой связи на физическом уровне. В таких магистральных системах модули и устройства на основе PCI и даже гигабитная сеть могут монополизировать всю полосу частот и ограничивать доступ к общим ресурсам.

2. Системы с разделяемой общей памятью используются в многопроцессорных системах для быстрого взаимодействия процессоров. Чаще всего они применяются в симметричных многопроцессорных системах, состоящих из набора процессорных модулей или 4-8 сигнальных процессоров на одной плате модуля обработки сигналов. Такие системы обладают тем же недостатком, что системы связи с разделяемой средой, так как ограничивают масштабируемость систем.

3. Последовательные и параллельно-последовательные двухточечные соединения («точка-точка») позволяют создавать быстродействующие соединения процессорных узлов благодаря передаче сигналов на высокой частоте и организации одновременных транзакций между многими узлами параллельной и конвейерной передачи пакетов и сообщений. Примером системы с архитектурой такого типа служит система масштабируемых когерентных соединений SCI, которая не ограничивает возможность одновременного взаимодействия многих узлов в распределённой сети.

4. Масштабируемая сетевая архитектура систем с коммутируемой средой связи и двухточечными соединениями обеспечивает максимальную скорость транзакций узлов, возможность конвейерной связи многих узлов одновременно, а при определённых модификациях сетевых методов связи – и параллельно-конвейерную связь узлов с широкой полосой частот. Новая архитектура стала возможной благодаря появлению высокопроизводительных процессоров СБИС-технологии и новых коммуникационных средств, а также интеграции вычислительных и коммуникационных методов и технологий связи. Эта архитектура обеспечивает масштабируемость и является основой для создания перспективных вычислительных модульных систем.

Архитектура современных модульных систем мигрирует от магистрально-модульных структур (PCI, VME и др.) к новым коммутируемым модульным последовательным структурам типа PCI Express (PCIe) с централизованным управлением коммутацией и далее к топологиям многосвязных сетей типа ASI (Advanced Switching Interconnect) и перспективным модульным архитектурам следующего поколения ATCA с топологией одиночной или двойной «звезды» или полносвязной сети.

Таким образом, различают три основных вида встраиваемых модульных систем: 1) самостоятельные процессорные модули и компьютеры для встраиваемых применений; 2) компактные модульные системы из набора процессорных модулей и модулей ввода-вывода, группируемых вместе непосредственным соединением плат без объединительной панели, например системы формата PC/104 и его расширений; 3) модульные системы с пассивной объединительной панелью, например PCI, VME. Для получения более высоких характеристик новое поколение встраиваемых модульных систем создают с коммутируемой средой связи.

Встраиваемые компьютерные модули и системы

Встраиваемые одноплатные компьютеры (SBC), компьютерные модули и системы обеспечили возможность создания надёжных и компактных решений для промышленной автоматизации. В своей основе они используют современные процессоры разных типов. В качестве примера в табл. 1 перечислены типы микропроцессоров, применяемых в модулях CompactPCI (cPCI), с указанием их доли в общем объёме за два последних года. Главным требованием к таким микропроцессорам было и остаётся низкое энергопотребление.

Особое место среди встраиваемых модулей занимают такие изделия, как одноплатные модули COM (Computer-On-Module, «компьютер на модуле») и SOM (System-On-Module, «система на модуле»). Компактный компьютер на модуле COM содержит все необходимые компоненты с интерфейсами для встраивания в систему, а система на модуле SOM является функционально полной и законченной системой с развитыми системными и сетевыми интерфейсами связи в модуле. Эти модули выпускаются в виде мезонинных плат определённого формата и характеризуются низким тепловыделением. Использование COM и SOM позволяет сократить время разработки специализированной встраиваемой системы и гибко подбирать требуемую функциональность её процессорной части. Внешний вид модулей COM трёх разных производителей данных изделий показан на рис. 1, 2, 3.

Другой подход связан с созданием магистрально-модульных систем из наборов типовых модулей в соответствии с определёнными международными стандартами (PCI/PXI, VME/VXI). Общей особенностью таких систем является архитектура на основе параллельных шин сопряжения и связи с общей средой, которая становится узким местом и ограничивает дальнейшее развитие пропускной способности системы.

Компактные компьютерные модули выпускают разные фирмы и в разных форматах, исходя из развития возможностей СБИС: PC/104, PC/104+, ETX, AMC, cPCI, EBX, EPIC и др. Всё разнообразие их размеров отражает табл. 2, где в качестве примера представлены наиболее распространённые форматы модулей. 

Широкую популярность приобрёл формат модульных систем PC/104. Компьютерный модуль можно объединять с модулями ввода-вывода в виде этажерки, используя прямые соединения. Развитием этого формата стал PC/104+, отличающийся шиной PCI 33 МГц и 120-контактным разъёмом. Компактные компьютерные модули EPIC ориентированы на процессоры с малым потреблением энергии типа Pentium M и Celeron M. Спецификация ETX, призванная в своё время поддержать шины ISA и PCI, получила развитие в виде ETX Express на базе PCI Express (PCIe). Новые спецификации EPIC Express и COM Express определяют переход на новые стандарты последовательной связи систем и ориентированы на 32-разрядные процессоры с малым энергопотреблением. EPIC Express поддерживает развитие стековых модульных систем, совместимых с распространёнными модулями формата PC/104. Спецификация COM Express, применяемая в одноплатных компьютерных модулях COM, ориентирована на последовательные интерфейсы PCIe и SATA.

Разработки новых систем связаны с переходом на новые архитектуры с быстрым последовательным сопряжением и коммутируемой связью модульных систем.

Компактные встраиваемые модульные системы PC/104

Объёмы выпускаемых процессорных модулей и модулей ввода-вывода формата PC/104 практически равны; из них 50% составляют изделия промышленного назначения, а 20% – оборонного. Общий объём данного сегмента рынка составляет 170 млн. долларов в год.

Небольшого размера модули PС/104 удобны для создания компактных встраиваемых систем, но такие системы ограничены по плотности компоновки модулей ввода-вывода и масштабируемости систем. Ввиду малого размера плат и плотной установки 2-4 модулей с прямыми соединениями ухудшаются естественная вентиляция и теплообмен внутри общей конструкции, а применение вентилятора для принудительного охлаждения снижает надёжность систем из-за его относительно низкого ресурса, в несколько раз уступающего ресурсу модулей. Поэтому рекомендуют устанавливать процессорный модуль крайним и процессором наружу, а также использовать для отвода тепла его контакты с металлическим корпусом; кроме того, иногда рекомендуют понизить рабочую частоту процессора.

С другой стороны, модули небольшого размера более устойчивы к вибрациям. Эффективным способом повышения их надёжности является запаивание микросхем процессора и памяти на плате модуля. Например, одноплатные процессорные модули CPC1600 фирмы Fastwel с запаянными компонентами выдерживают вибрации до 5g; кроме того, благодаря специальному покрытию эти модули устойчивы к коррозии, а также к попаданию влаги и соляного тумана.

В табл. 3 приведены основные технические характеристики процессорных модулей PC/104, выбранных в качестве примера среди продукции ряда известных производителей.

Первые модули PC/104 использовали 8-разрядный интерфейс ISA и имели 104 контакта. При переходе на PCI был утверждён новый стандарт PC/104+, согласно которому появился разъём на 120 контактов для нового интерфейса и сопряжения с 32-разрядными процессорами. Максимальное число объединяемых модулей – 4 объясняется нагрузочными возможностями шины PCI. Максимальная пропускная способность шины PC/104+ составила 132 Мбайт/c, а реальная – до 60 Мбайт/c. Но скорость 32-разрядного интерфейса оказалась недостаточной для быстрых систем обработки видеосигналов и гигабитных сетей, что привело к необходимости расширения интерфейса до 64 разрядов (стандарт PC/104++). Однако более перспективным решением представляется переход на коммутируемый интерфейс PCIe, обеспечивающий пропускную способность до 2,5 Гбит/c. В этом случае один канал последовательной связи между двумя узлами осуществляет передачу дифференциального низковольтного сигнала по 2 парам витых проводников с частотой 2,5 ГГц, сокращается число контактов для соединения модулей, а полосу частот можно увеличить за счёт использования параллельно 4, 8, 16 каналов. Новые ПК уже перешли на этот интерфейс. Фирмой Fastwel на основе модуля CPC1600 был разработан новый модуль CPC1700 с заменой интерфейса PCI на 4-канальный PCIe. Новая модульная система с коммутируемой средой обеспечивает широкие возможности по созданию компактных и высокопроизводительных гибких модульных систем реального времени.

Развитие магистрально-модульных систем

В настоящее время наибольшее распространение получили магистрально-модульные системы на основе шин PCI и VME.

Основной шиной сопряжения остаётся PCI. Постоянно растущие требования к полосе пропускания вызвали появление ряда спецификаций этой шины. Первоначально, работая на частоте 33 МГц при 32 разрядах, она обеспечивала полосу пропускания 133 Мбайт/с. Последующие спецификации предполагали увеличение частоты и/или разрядности. Так, 64-разрядная версия спецификации PCI-X была ориентирована на частоту шины 133 МГц. Группа PICMG расширила стандарты промышленных компьютеров и разработала версию CompactPCI (cPCI). Компактные системы cPCI обеспечили полосу пропускания 133-533 Мбайт/c. Это лучшие показатели для традиционной шины PCI, однако современные требования лежат уже в области нескольких гигагерц и даже выше. Поэтому неизбежен переход от параллельных шин к последовательным каналам сопряжения и быстрой связи: от PCI и PCI-X на последовательные PCI Express (PCIe) и ASI с широкополосными каналами связи.

Но прежде чем перейти к описанию архитектур на последовательных каналах сопряжения, остановимся на методе мостовой сегментации, реализация которого позволяет расширить возможности традиционных магистрально-модульных систем с параллельными шинами.

Метод мостовой сегментации магистрально-модульных структур предназначен для создания более производительных систем со многими ведущими. Он основан на использовании мостовых схем связи шин нескольких магистрально-модульных систем или секций для группировки модулей процессоров и контроллеров по подсистемам в большом вычислительном комплексе высокой производительности. В качестве базовых вариантов шин можно рассматривать VME, PCI, но лучше использовать надёжную современную систему CompactPCI, для которой существуют эффективные мостовые схемы связи параллельных шин. Синхронная магистраль этой системы имеет параллельные шины для передачи мультиплексируемых адреса/данных (32/64 разряда, скорость 33/66 МГц, с контролем) и мостовые схемы с интерфейсом PCI (PCI-to-PCI Bridge). Это позволяет создавать мощные системы со многими ведущими при независимой сегментации подсистем для параллельного сбора и обработки сигналов и данных с более высокой производительностью, увеличивая число слотов для установки модулей до 20. Однако при этом возникают проблемы жёсткого согласования сигналов для каждого подключения, так как при частоте 33 МГц уже недопустимы рассогласования более 2 нс, а при 66 МГц – более 1 нс.

Конфигурирование системных ресурсов (адресное пространство памяти, ввода-вывода, прерывания) осуществляется вызовом специальных функций (PCI BIOS) для управления шиной с учётом возможностей и требований конкретного устройства или в режиме автоматического конфигурирования (PnP). Локальная шина PCI является внутренней для подключения периферийных компонентов ввода-вывода на плате и может быть перегружена интенсивным источником данных, например сетевым модулем. Каждая такая шина может объединить ограниченное количество устройств (для PCI их может быть максимум 4). Мостовая схема позволяет увеличить число подключаемых процессоров и контроллеров в одной системе, реализуемой на физическом уровне как одна общая магистраль. Повторитель может увеличить число подключений ведомых устройств, а для работы нескольких ведущих такую функцию выполняет мостовая схема более высокого уровня. Мост используют и для связи разных магистралей систем с целью согласования их разрядности и скорости.

Мосты можно подключать в иерархические структуры, при этом главный мост (Host Bridge) подключается к ядру процессора, а остальные к нему. Каждый такой мост имеет первичную (ближе к Host) и вторичную адресуемую шину, при этом мост обозначают номером вторичной шины, а номер главного моста всегда нулевой. Главный мост выполняет функции центрального узла всех взаимодействий периферийных компонентов. Конфигурируемые главные мосты выполняют свои функции незаметно и как бы «прозрачно» (transparent) для пользователя модулей на общей шине в одном адресном пространстве, поэтому не требуют специального программного драйвера. «Непрозрачные» мосты работают с раздельными ресурсами адресного пространства в каждой подключённой подсистеме, поэтому при обращении к модулям на другой шине требуется преобразование адресов. Благодаря этим свойствам «непрозрачные» мосты используют в многопроцессорных системах. Такие структуры позволяют объединить несколько подсистем в конвейер или организовать параллельную обработку данных с высокой скоростью. В качестве ведущих здесь можно применять модули с одним или несколькими сигнальными процессорами, либо универсальные процессорные модули с возможными расширениями мезонинными субмодулями, либо контроллеры ввода-вывода. При этом не следует забывать о несимметричной организации сопряжения на системной шине PCI, в которой функции ведущего и ведомого различны.

Ведущий процессорный модуль при включении системы сканирует подключённые к шине компоненты системы и инициирует организацию конфигурации системы без конфликтов. При установке в системе двух ведущих на шине возникают проблемы, которые устраняются при применении «непрозрачных» мостов для разделения среды связи. Ведомые процессорные модули (Slave) включают «непрозрачный» мост и могут использоваться в периферийных слотах системы. После старта этому процессору доступны субмодули расширения, которые не обслуживаются стандартным драйвером. Универсальные модули процессоров (Master/Slave) с универсальным мостом могут работать в обоих переключаемых режимах (например CPC501 фирмы Fastwel, рис. 4). 

Возможна организация связи двух сегментов CompactPCI через «непрозрачный» мост с перекрёстным доступом к общим ресурсам, например при дублировании систем. Распараллеливание задач обработки данных необходимо при работе с многопроцессорными структурами систем. При этом важно, чтобы сама программа, как и аппаратура систем, была построена по модульному принципу с возможностью параллельного (или в другом случае – конвейерного) исполнения отдельных модулей.

Для межсегментного обмена данными через «непрозрачный» мост можно использовать программный пакет для коммутируемой связи шин задних панелей (CompactPCI/Packet Switching Backplane), соответствующий спецификации PICMG 2.16, которая определяет организацию связи системных шин объединительных панелей.

Если в дополнительные слоты CompactPCI установить коммутирующие модули сети Ethernet, то с помощью соединения всех слотов с коммутатором можно обеспечить дублированную сеть 10-Gigabit Ethernet и организовать масштабируемые системы нового поколения с теоретической скоростью дуплексной связи до 20 Гбит/c. Число коммутирующих модулей можно увеличить для повышения пропускной способности масштабируемых систем. При двух и более коммутирующих модулях с дуплексными интерфейсами связи 10-Gigabit Ethernet общая полоса возрастает в 2 раза и более, при этом формируется коммутируемая среда связи с топологией типа «звезда».

Этот же метод применим и к другим существующим стандартным магистрально-модульным системам, например VME. Однако для этого требуется создать новую коммутируемую среду сетевой связи.

Новые модульные системы с коммутируемой средой связи PCI Express

Микро- и наноэлектронные технологии служат фундаментом для создания нового поколения процессорных модулей и модульных компьютерных систем. Выпуск микропроцессоров с технологией 350, 180 и 90 нм позволил создать одноплатные компьютеры и разработать компактные встраиваемые модульные системы нового поколения. Новые технологии (90 нм) обеспечивают возможности создания законченного компьютера и сетевых коммуникационных средств на плате модуля и даже в микромодуле (кристалле).

Магистральные системные связи ограничивают дальнейший рост скорости передачи данных и возможности взаимодействия процессорных элементов в системе, в которой несколько компонентов разделяют общую среду связи. Сопряжение периферийных компонентов и процессоров становится актуальной проблемой, стоящей на пути роста производительности систем. Решение данной проблемы видится в переходе от параллельных шин к последовательным каналам сопряжения и быстрой связи. Для сравнения, если при передаче между компонентами на основе традиционной шины PCI (32 разряда, частота передачи 33 МГц) может быть достигнута максимальная скорость 133 Мбайт/с, то с переходом на новую последовательную архитектуру эта скорость может быть увеличена в 30 раз.

В 2000 году образовались две группы ведущих фирм для разработки модульных систем следующего поколения. В первую группу вошли компании Dell, Hitachi, Intel, NEC, Siemens и Sun, во вторую – Compaq, IBM, HP (позже присоединились Dell, Intel и Sun). Результатом работы первой группы стало создание PCI Express. Вторая группа пошла по пути создания новых систем с неограниченной полосой частот (InfiniBand) для торговой ассоциации ITA (InfiniBand Trade Association), которая планировала применять эту новую архитектуру и поддерживать её внедрение. В состав ITA затем вошли фирмы Cisco, 3Com и EMC.

Новые задачи и требования высокой производительности привели в 2005 году к созданию новых методов сопряжения и связи с расширенной полосой частот и к достижению более высокой производительности модульных систем. PCI Express (PCIe) был разработан фирмой Intel как интерфейс третьего поколения (3 GIO) для быстрой последовательной передачи данных по методу соединения «точка-точка». С 2006 года во вновь разрабатываемых системах осуществляют переход на более быструю последовательную связь для преодоления гигабитного барьера полосы частот.

Особенности последовательного сопряжения PCIe

Последовательное сопряжение PCIe обеспечиваeт полнодуплексные передачи с теоретическим пределом скорости 500 Мбайт/с. Создание быстрой последовательной связи компактных устройств в системах управления позволило сократить число контактов в соединителях и упростить связи компонентов системы, а реализация многоканальной (многополосной) связи привела к решению проблемы увеличения полосы частот и производительности новых систем в целом. Частота процессоров не является больше критерием оценки его производительности при многоядерной структуре процессоров.

В новом интерфейсе последовательной связи PCIe данные передаются последовательностью битов и могут быть получены всеми устройствами, что снижает затраты, а также сокращается объём и вес оборудования связи. Полоса частот была бы больше, если преодолеть ограничения передачи сигналов в медных проводах. В отличие от традиционной параллельной шины последовательная линия связи с коммутатором PCIe поддерживает конвейерный тип связи.

Более медленные устройства, например модули обработки графической информации, больше не задерживают работу устройств с более высокими скоростями. Линия связи (lane, двунаправленный проводной канал) состоит из 2 пар дифференциальных проводников для передачи и приёма сигналов. Несколько проводных линий (lane, до 32 максимум) можно сгруппировать в один групповой канал связи с более широкой полосой пропускания. Каждый такой канал (lane) обеспечивает скорость передачи 2,5 Гбит/с, а 32 канала в группе увеличивают скорость передачи до 16 Гбайт/с в двух направлениях. Возможные конфигурации группировки проводных каналов lane – х1, х4, х8, х16 (полоса частот пропорциональна числу каналов). Показательно, что чипсет для PCI-X, например, требует 127 контактов для сигналов на многослойной плате, а слот х4 PCIe обеспечивает в 2 раза большую полосу, используя всего 15 сигнальных контактов.

Интерфейс PCIe позволяет заменить традиционную параллельную магистраль последовательным каналом со значительно большей полосой частот (2,5 Гбит/с). Соединители PCI и PCIe несовместимы, однако благодаря схеме перехода на многих устройствах устанавливают оба интерфейсных разъёма. Спецификация PCIe допускает установку большего числа соединителей на плате. Применение PCIe открывает новые возможности создания систем реального времени на всех уровнях. В единой системе допускается одновременное использование узлов на основе PCI и на основе PCIe. Программы, написанные для PCI, могут успешно использоваться в таких гибридных системах.

Фактически PCIe – это следующее поколение интерфейса компьютерной периферии, разработанное для удовлетворения растущих требований к производительности и скорости связи быстродействующих систем. Интерфейс PCIe полностью заменяет традиционные параллельные шины PCI на новую коммутируемую среду, в которой все устройства соединяются между собой и с процессором по методу «точка-точка».

Физический уровень связи PCIe прозрачен для более высокого прикладного уровня программирования. Конфигурация устройств с интерфейсом PCIe и его программирование не отличаются от традиционных систем PCI. Фактически ОС может быть загружена без модификации архитектурных особенностей, при этом она способна обнаружить все подключённые устройства PCIe и распределить все ресурсы памяти, ввода-вывода и прерываний.

Спецификация PICMG 1.3 для PCIe определяет стандартизацию интерфейса нового поколения модульных систем для реализации возможности применения как существующих 32-разрядных процессоров с интерфейсом cPCI для периферии, так и новых 64-разрядных процессоров в гибридных структурах. Следовательно, существующие системные компоненты и модули могут быть установлены вместе с новыми, позволяя сохранить инвестиции в прежние системы, создаваемые и приобретаемые в течение 10 лет.

Использование шины PCIe в одноплатных компьютерных модулях COM (Computer-On-Module) определяется спецификацией COM Express. Примеры соответствующих изделий представлены на рис. 1 и 2, а также описаны во врезке.

В 2007 году была выпущена спецификация PCI Express 2.0, определяющая максимальную пропускную способность lane 5 Гбит/с и сохранение совместимости с PCIe. А к 2009 году должна быть утверждена спецификация PCI Express 3.0 с пропускной способностью lane 8 Гбит/с.

Компактные модульные системы CompactPCI Express

Компактный вариант нового сопряжения CompactPCI Express (cPCIe) обеспечил возможность создания систем с 4-16 lane (проводными каналами) на один интерфейсный канал для достижения полосы пропускания 4 Гбайт/c. Каждый канал lane является полностью двунаправленным, то есть позволяющим одновременно производить приём и передачу данных, за счёт чего его полоса пропускания расширяется с 250 до 500 Мбайт/с. Более высокие значения скорости передачи данных в системах cPCIe достигаются различными вариантами группирования каналов. Например, вариант «2х4 lane» соответствует двум независимым каналам cPCIe с четырьмя проводными каналами lane в каждом. При группировании каналов возможны различные варианты, но надо учитывать, что тут действуют свои правила и ограничения. Например, разрешается комбинировать каналы с разным числом lane, устанавливается минимально допустимое количество каналов. Если периферийный модуль cPCIe не может администрировать все доступные каналы lane системного модуля, то неиспользуемые каналы автоматически дезактивируются во время инсталляции.

Интерфейс cPCIe предназначен в первую очередь для ПК, SBC и серверов. Он основан на последовательной передаче сигналов по конвейерному методу связи типа «точка-точка», при этом от PCI сохранены сигнализация и технология программирования. Отдельные узлы соединяют коммутаторами, чтобы компоненты системы не разделяли одну общую полосу частот. Таким образом, параллельные магистрали с разделяемой полосой частот эффективно заменяются многополосными последовательными каналами связи для высокопроизводительных систем.

Спецификация cPCIe определяет 6 разных типов слотов, которые могут использоваться на задней объединительной панели. При этом от спецификации cPCI унаследованы соединитель для подключения питания и слот для установки периферийных модулей с параллельной шиной, которые соответствуют спецификации cPCI PICMG 2.0. Также новая спецификация cPCIe переняла у cPCI два основных формата модулей – 3U и 6U.

Наряду с сохранением некоторых разъёмов от предыдущих спецификаций модульные структуры cPCIe используют 3 типа новых соединителей:

• eHM – специализированный соединитель для подключения периферийных модулей разных видов и питания 3,3 В (2 А), 5 В (1 А) и 12 В;

• ADF – высокочастотный соединитель для дифференциальных каналов передачи данных;

• UPM – универсальный соединитель для подключения питания 3,3 В, 5 В, 12 В, 12 В (ток по каждому контакту питания – до 15 А) с тремя контактами для заземления.

Определённые спецификацией слоты позволяют использовать в составе системы cPCIe наряду с основным системным модулем (SBC) периферийные модули 4 видов: 2×PCIe, cPCI (32 разряда), cPCIe и гибридные (cPCI + cPCIe).

Спецификация перспективной системы связи ASI

Спецификация ASI (Advanced Switching Interconnect) разработана группой компаний ASI SIG на базе архитектуры PCIe для создания улучшенной коммутирующей среды прямой связи всех подключаемых устройств с поддержкой разных топологий сетей (одинарные или двойные «звёзды», сетевые структуры в виде полносвязного графа). В среде связи PCIe–ASI сначала формируется пакет PCIe, который затем инкапсулируется в пакет ASI, включающий последовательный порядковый номер пакета в сообщении, маршрутный заголовок для ASI, данные для инкапсуляции, поле циклического кодирования CRC и старт-стопные разряды.

Развитие быстро действующей модульной коммутируемой среды связи VME

Структуры на основе шины VME/ VXI являются другим распространённым видом модульных систем с магистральной архитектурой.

Эти структуры были оптимизированы для систем реального времени с 32-разрядными магистральными трактами данных и адресов и поддерживали много ведущих узлов с полным использованием полосы частот процессоров. Задняя магистраль VME обеспечивала гибкость подключения устройств ввода-вывода с помощью соединителей вместо контактов на плате, как у предыдущего поколения систем. Модули системы выполнены на стандартных платах формата 3U (160×100 мм) или 6U (160×233,35 мм).

Фундаментальные решения проблем быстродействия для VME базировались на том, чтобы адаптировать новые технологии и сохранить традиционные электрические и механические стандарты системы VME64, например, сохранить 64-разрядную шину, добавив третий 95-контактный соединитель для ввода-вывода на задней панели (6U). Первая попытка расширения была сделана Международной ассоциацией по торговле продукцией с VME-шиной (VITA) в виде стандарта VITA 41 (известного как VXS), предполагавшего замену разъёма с шагом 2 мм на высокочастотный разъём по требованиям новых технологий. Однако для полного удовлетворения этим требованиям необходимы новые разъём и формат модулей, которые несовместимы с предыдущими системами.

Совместимые расширения коммутируемой среды для систем VME

Целью новых расширений и спецификаций по стандартизации является требуемый рост производительности новых систем при их обратной совместимости. В 2005 году VSO (Организация по стандартизации VME) сформировала рекомендации и спецификации по увеличению пропускной способности модульных систем VME согласно новым требованиям.

Спецификация расширения систем VME (VITA 41.x) предназначена для развития технологий последовательной связи с коммутацией пакетов (VXS). Спецификация VXS определяет административное управление системой, возможность «горячей» замены модулей и установки дополнительных модулей связи с задней стороны секции. Ассоциация VITA подготовила серию стандартов, например VITA 46 (VPX) и VITA 48 (VPX REDI). Базовый стандарт VITA 41.0 определяет физические особенности расширения, допускающие высокую скорость передачи по последовательным линиям связи в системах VME. Задняя панель включает реализацию протоколов уровня InfiniBand (VITA 41.1), RapidIO (VITA 41.2), Gigabit Ethernet (VITA 41.3) и PCIe (VITA 41.4). Ключевыми моментами являются увеличение скорости передачи по параллельной шине 2eSST (VITA 1.5), многогигабитные коммутируемые последовательные соединения (VITA 41 и 46) и новые мезонинные модули (VITA 42). Ренессанс первой волны VME был основан на протоколе 2eSST, обеспечивающем возможность реализации шин с полосой частот до 320 Мбайт/с. На рис. 5 показан внешний вид одноплатного компьютера CPC600 формата VME64/VME64X 6U, разработанного и производимого фирмой Fastwel; архитектура этого компьютера базируется на центральном процессоре Intel Pentium M и поддержке протокола 2eSST по шине VME.

Расширенные системы VME должны по возможности сохранять совместимость с традиционными шинами, так как ряд причин (например то, что организация прерываний последовательных систем не лучшим образом реализуется для задач реального времени, или то, что арбитраж и обработка приоритетов в многопроцессорных системах, подобно прерываниям, лучше реализуются в параллельных структурах) оправдывает дальнейшее применение локальных параллельных шин. Ассоциация VITA нацелена на создание более производительных систем VME при условии сохранения обратной совместимости.

Последовательные быстрые передачи по спецификации VITA 46 привели к необходимости поддержания скорости передачи до 6,25 Гбит/с и замены соединителей в традиционных системах VME на более высокочастотные. В исходной конфигурации обеспечили четыре порта коммутирующей фабрики с частотой 10 Гбит/с каждый. Конфигурация фабрик предусматривает ёмкость до 20 портов. Спецификация расширяет возможности быстрого ввода-вывода и обеспечивает широкие возможности картографирования быстрых устройств или соединителей коммутирующих фабрик на мезонинных модулях (VITA 42) на задней панели. Высокопроизводительные системы с массовой передачей потоков данных ориентированы на задачи сбора и обработки больших объёмов информации, графических и видеоизображений высокого разрешения, требующих многогигабитных скоростей передачи. Новая модульная система VITA 46 отвечает таким требованиям и обеспечивает совместимость с существующими системами VME на уровне модулей формата 3U и 6U, но при установке нового типа разъёма.

Возможны следующие методы интеграции последовательной связи:

• централизованное размещение на двойной плате VME размером 6U соединений J0/J1, которые могут использоваться как для текущей связи по Gigabit Ethernet, так и для новых соединений StarFabric (VITA 31.x);

• установка нового соединителя на месте J0/P0 для подключения последовательных (VITA 41.x) физических линий связи и создания двойных колец и смешанных сетей;

• установка высокочастотных соединителей вместо 3- или 5-рядных разъёмов типа DIN и применение формата модулей AMF (Advanced Module Format) для организации быстрой последовательной связи (VITA 46).

Фундаментальные аспекты расширения VME и их практическая реализация в первую очередь связаны с выбором соответствующей технологии соединений и связи. Рабочая группа экспертов выделила преимущества гибридного подхода к выбору соединений на задней панели и шасси. Затем предложили адаптировать разъём MultiGig RT2 для поддержки скорости 5 Гбит/c, не уступающей скорости PCIe. Современные 5-рядные разъёмы VME-модулей имеют 335 контактов, а спецификация VITA 46 предложила соединение с 463 контактами, конфигурируемое как 164 дифференциальные пары и 135 однопроводных линий, со следующим распределением контактов:

• 104 контакта для параллельной шины VME;

• 64 пары для модулей ввода-вывода PMC;

• 32 пары для коммутирующих фабрик, поддерживающих по 4×4 порта;

• 16 пар для модулей быстрого ввода-вывода XMC;

• 4 пары для Gigabit Ethernet;

• 15 контактов для сигналов управления;

• контакты для 64 каналов (48 парных и 16 одинарных) устройств общего назначения.

Расширенные мезонинные субмодули XMC выполняют функции несущих плат процессорных модулей VME/VXS, в которых к стандартным PMC-модулям быстрого параллельного интерфейса RapidIO добавляются последовательные линии связи высокого быстродействия. Документы VITA 42.1 определяют ввод-вывод параллельного типа RapidIO, VITA 42.2 – быстрый последовательный ввод-вывод, VITA 42.3 – использование интерфейса PCIe.

Новая технология VME не ограничивает тип процессоров, число слотов и частоту синхронизации. Формат готовых изделий VME (COTS VME) выбирают с учётом конфигураций для расширения связи с помощью коммутирующих фабрик и других быстрых технологий ввода-вывода, обеспечивая совместимость с уже существующими в системе модулями VME и PMC.

Стандартные системы нового поколения VPX

Архитектура VPX была предложена для военных и аэрокосмических систем (2002 год) с целью расширения в перспективе применения спецификации VITA 46, обеспечения при этом совместимости с уже имеющимся аппаратным заделом и сохранения таким образом инвестиций в развитие модульных систем.

В VPX принят новый высокочастотный 7-рядный соединитель MultiGig RT2, обеспечивающий физически непрерывную среду связи со скоростью передачи до 6,25 Гбит/с, контролируемый импеданс, взаимные наводки на высокой частоте менее 3%. Соединители для высоких скоростей передачи могут конфигурироваться на задней панели, не ограничивая возможности эксплуатации модулей с передней панели. В системах VPX можно использовать 4 линии для организации коммутирующих фабрик со скоростью 10 Гбит/с каждая. Другой подход ориентирован на использование коммутирующих фабрик высокой производительности на базе технологий нового поколения PCIe, StarFabric и RapidIO.

Модуль VPX 6U имеет 6 разъёмов RT2 с 7 рядами и 16 колонками и один разъём с 7 рядами и 8 колонками (модуль VPX 3U – 2 разъёма RT2 с 7 рядами и 16 колонками и один разъём с 7 рядами и 8 колонками), что обеспечивает общее количество контактов модуля 707 (без питания). Для сигналов предназначены 464 контакта, которые распределены следующим образом:

• 64 контакта (32 дифференциальные пары) для быстрой связи;

• 104 контакта для шины VME64;

• 268 контактов ввода-вывода (включая 128 дифференциальных пар);

• 28 контактов для системных утилит и резерва.

Разъёмы выбраны с учётом применения стандартных модулей типа PMC и XMC, которые сохраняют совместимость с новыми системами VPX.

Существует проблема обеспечения питанием процессоров, потребляемая мощность которых постоянно растёт. Ранее каждый слот VME имел ограничение по мощности 90 Вт для 5 В, а VPX допускает потребление до 115 Вт для 5 В, до 384 Вт для 12 В и до 768 Вт для 48 В. Возросший бюджет мощности VPX даёт возможность разработчикам создавать новые модульные системы более высокой производительности. Однако возрастающие мощности приводят к новым проблемам охлаждения систем. Для VPX 6U предусмотрено кондуктивное охлаждение модулей (IEEE 1101.2). При необходимости соответствовать более высоким требованиям по охлаждению следует руководствоваться стандартом REDI (Ruggedized Enhanced Design Implementation), ранее известным как VITA 48, предусматривающим форсированную адресную вентиляцию и жидкостное охлаждение аппаратуры. Для улучшения рассеивания мощности и тепла увеличили расстояние между модулями.

Полагают, что новая система VPX для военных применений по своим параметрам приблизится к cPCI.

Коммутируемая сетевая среда связи InfiniBand

В заключительной части статьи следует уделить внимание относительно новой спецификации коммутируемой сетевой среды связи InfiniBand, которая способна оказать своё влияние на развитие модульных систем нового поколения.

Эта спецификация вводится стандартом PICMG 3.x – усовершенствованная архитектура для телекоммуникационных вычислений (ATCA). Базовая спецификация стандарта (PICMG 3.0) посвящена конструктивам ATCA. В качестве примера на рис. 6 показано 16-слотовое шасси (фирма Schroff), соответствующее стандарту PICMG 3.0 Rev. 2.0. 

Другие спецификации стандарта определяют для ATCA порядок картографирования коммутируемой связи в физические параметры: спецификация PICMG 3.1 посвящена Ethernet и Fibre Channel, PICMG 3.2 – InfiniBand, PICMG 3.3 – StarFabric, PICMG 3.4 – PCIe, PICMG 3.5 – RapidIO.

Спецификация InfiniBand для распределённых систем с практически неограниченной полосой пропускания определяет архитектуру взаимодействующих устройств, объединяемых в подсистемы ввода-вывода для серверов нового поколения. Этот индустриальный стандарт соответствует требованиям вычислительных систем и кластеров высокой производительности, преодолевающих ограничения в полосе частот традиционных систем путём миграции от архитектур с разделяемыми шинами к архитектурам коммутирующих фабрик, в которых два и более узла соединяются друг с другом через коммутируемую среду.

Спецификация InfiniBand определяет особенности архитектуры модульных систем нового поколения, в частности подсистем ввода-вывода и серверов высокой производительности, а также будущих настольных ПК (версия 1.0 а). Системы на базе InfiniBand обеспечивают требуемое выделение полосы частот и гарантированное обслуживание по каналам ввода-вывода для всех приложений Центра Данных (ЦД) индивидуально, включая память, сетевой сервис и программное обеспечение (ПО) промежуточного уровня (Middleware). Это позволяет эффективно консолидировать все устройства ввода-вывода в ЦД. Архитектура на основе сетевых каналов и коммутаторов хорошо может согласовываться с виртуальной серверной средой окружения, в которой множество виртуальных машин работают на одном физическом сервере и обслуживают много физических конечных устройств. Такие системы могут эффективно решать многие проблемы компьютерных систем высокой производительности, такие как виртуализация и большая сетевая память (электронные хранилища данных). Системные взаимодействия обеспечиваются коммутирующей фабрикой InfiniBand, что позволяет создавать ЦД, серверы и масштабируемые системно-ориентированные сети (СОС), в которых приложения могут выполнять вычисления (обработку) и обмен промежуточными результатами после каждой очередной итерации.

Коммутирующие фабрики InfiniBand состоят из сигнального коммутатора или набора коммутаторов и маршрутизаторов, обеспечивающих компактную платформу для создания современных серверов, ЦД, СОС, высокопроизводительных вычислительных систем, подсистем сетевой памяти и визуализации. Последовательные методы связи по принципу «точка-точка» (см. мою статью в «СТА» 1/2008) и применение открытых стандартов (Gigabit Ethernet, PCIe, ASI, RapidIO, InfiniBand) были основой развития новых архитектур компактных модульных систем, направленных на замену традиционных многоточечных архитектур на основе общей магистрали. Архитектура современных коммутирующих фабрик, построенная на основе коммутаторов и маршрутизаторов, обеспечивает полосу частот 25-30 Гбит/с, а также гибкость, масштабируемость и расширяемость при ограничении числа допустимых сбоев. ПО промежуточного уровня (Middleware) становится важной составляющей распределённых модульных системно-ориентированных сетей для многих промышленных и военных применений.

Коммутирующие фабрики InfiniBand используются в распределённых СОС и ЦД для реализации интенсивных коммуникаций и вычислений, распределённой параллельной обработки изображений и данных; также они находят применение в системах реального времени.

Выводы

1. Современные модульные системы переходят от магистральной к новой архитектуре на основе последовательных коммутируемых сред (например PCIe и cPCIe), однако централизация управления коммутацией приводит к необходимости совершенствования архитектуры с переходом на перспективную сетевую коммутацию типа ASI и структуры ATCA.

2. Для широко распространённых модульных систем VME предусматривается постепенный переход на новую архитектуру VPX с использованием на этапе перехода совместимого расширения систем на основе последовательных гигабитных коммутаций.

3. Применительно к модульным системам высокой производительности (масштабируемые системы, серверные кластеры, корпоративные центры данных) растёт популярность коммутируемой среды с практически неограниченной полосой пропускания InfiniBand и её расширения в виде коммутирующих фабрик.

4. Системное развитие Gigabit Ethernet (GE, 10GE, 100GE) остаётся одним из приоритетных направлений в создании коммутируемой инфраструктуры модульных систем нового поколения и высокопроизводительных комплексов.

5. Для построения высокопроизводительных серверных кластеров и центров обработки данных требуется эффективная организация взаимодействия всех подсистем с единой модульной масштабируемой архитектурой, включая кластеры процессоров, подсистемы памяти и коммутируемые подсистемы ввода-вывода. ●