Недорогие системы MicroTCA для особых применений

Стандарт Advanced Mezzanine Card 

Первоначально модули Advanced Mezzanine Card (AMC)  были разработаны PICMG (PCI Industrial Computer Manufacturers Group) как расширительное устройство ввода/вывода для систем AdvancedTCA (ATCA – Advanced Tele­communications Computing Architec­ture, или усовершенствованная архитектура для телекоммуникационных вычислений). Несущая плата ATCA с одним или несколькими слотами AMC устанавливается в конструктиве ATCA (рис. 1).

Управляющая плата AMC обеспечивает остальные модули питанием +3,3 В постоянного тока для питания встроенной системы управления платформой (Ma­nagement Power – вспомогательное питание) и питанием нагрузки +12 В постоянного тока (Payload Power – основное питание), соединяется с контроллером управления модулями по интерфейсу I²С (последовательная шина данных, используемая для соединения низкоскоростных периферийных компонентов), использует тактовый синхросигнал и обладает коммутатором с одним из последовательных Fabric-интерфейсов (шин передачи данных), как правило, Ethernet, SATA/SAS, PCI Express (PCIe) или Serial RapidIO (SRIO). 
Производители модулей AMC быстро пришли к выводу, что можно построить небольшую версию системы ATCA, используя только AMC-модули (рис. 2). 

В системе MicroTCA модули AMC подключаются непосредственно к объединительной плате. Вспомогательные функции, обычно выполняемые несущей платой ATCA, в системе MTCA выполняются специальными модулями. Функции питания и обнаружения присутствия модулей AMC в системе взял на себя модуль питания MTCA (Power Module, или PM). Концентратор Micro-TCA Carrier Hub (MCH) оснащён коммутатором Ethernet и Fabric и выполняет функции управления как несущей платой, так и установленными в неё периферийными, включая контроль температуры, напряжения и работы вентиляторов, а также является источником синхросигналов. Вентиляторный лоток ATCA превратился в блок охлаждения MTCA (Cooling Unit, или CU). В соответствии со спецификацией PICMG в системе MTCA предусмотрено максимум 12 модулей AMC, поэтому стандартные модули питания и модули концентратора MicroTCA Carrier Hub были разработаны с учётом этих требований. Являясь производным стандартом от ATCA, MTCA унаследовал все свойства системы с высокой степенью надёжности и коэффициентом готовности 99,999, в том числе функции «горячей» замены, резервирования и управления платами.

Системы MTCA: особенности конструкции  

Простейшая реализация модуля MCH выполняет исключительно функции управления системой, включающей до 12 модулей AMC, 2 модуля охлаждения и 4 модуля питания, а также, возможно, второй резервированный модуль MCH (рис. 3).

Условные обозначения: EMMC (Executive Module Management Controller) – управляющий контроллер модуля; MCMC (Module of Carrier Management Controller) – управляющий контроллер несущей платы; JSM (JTAG System Module) – модуль JTAG подчинённый/ведущий; Clock – источник тактовых сигналов; Common Options Fabric – стандартные коммуникации; Fat Pipe Fabric – быстрые коммуникации; Payload Power Converter – конвертер питания нагрузки; Mgmt Power Converter – конвертер питания управляющего модуля; Power Control – контроллер управления питанием.

Функции управления системой включают в себя контроль напряжения питания на всех сменных модулях в шасси, контроль охлаждения на основе данных, полученных от встроенных температурных датчиков, а также возможность использования системы электронной кодировки E-Keying для однозначного сопоставления портов и модулей AMC и MCH. Благодаря этому систему можно подключать к внешней сети и управлять ею удалённо, используя данные встроенных в систему датчиков. Всё это является жизненно важным для поддержания исправности и надёжности системы. 
При добавлении в MCH-модуль дополнительных плат каждый AMC-порт может быть обеспечен собственным Ethernet-коммутатором, кроме того, внешнее Ethernet-соединение может быть использовано для подключения инструментов управления. В зависимости от того, какой интерфейс Fabric необходим для AMC-модулей, MCH-модуль может включать печатные платы для коммутаторов SRIO, PCIe или Ethernet Fabric, что реализуется с помощью портов 4–7, 8–11 и 12–20 на AMC-модулях. Также в модуль MCH может быть добавлена печатная плата для распределения синхросигналов, например для шины PCIe. В конфигурации с резервированием один MCH-модуль подключается к портам 0, 4–7 и, возможно, к некоторым из портов 12–20. Второй MCH подключается к портам 1, 8–12 и к некоторым из портов 12–20 соответственно. Стоимость MCH-модуля широко варьируется в зависимости от выбранного функционала (табл. 1). 

Модуль питания может иметь исполнение с входным напряжением –48 и +12 В постоянного тока или же со входом для переменного тока; общая мощность варьируется от 400 до 1000 Вт. Модуль питания преобразует входное напряжение и подаёт напряжение +12 и +3,3 В на каждый модуль AMC, а также модули охлаждения, питания и MCH-модуль в шасси, при этом каждый выходной канал управляется индивидуально. Модуль питания на каждом выходе измеряет напряжение и ток, контролирует наличие подключения AMC-модулей в слотах и подаёт соответствующие выходные сигналы. Из-за пространственных ограничений модуль питания является сложным для разработки и охлаждения устройством.
Модули охлаждения в шасси MTCA обычно имеют избыточную мощность, поэтому они могут быть заменены без риска значительного падения эффективности охлаждения. Модуль охлаждения включает в себя управляющий процессор, измеряющий напряжение и ток внутри модуля, а также регулирующий скорость вращения каждого из вентиляторов.
В системе MTCA, где задействованы все 12 слотов, затраты на модули питания, охлаждения и MCH являются обоснованными. В небольшой системе, напротив, стоимость MCH-модуля и модуля питания составляет значительную долю от общих затрат, что может сделать стандарт MTCA неконкурентоспособным.

Когда MTCA помогает сэкономить 

MicroTCA Carrier Hub  

Большинство производителей модулей MCH используют модульный подход в реализации своей продукции. В оригинальную конструкцию MCH-модуля включён коммутатор Fabric. B SATA/SAS для дисковых накопителей, подключённых к краевому разъё-му 2 на MCH-модуле (рис. 4), пользователи быстро обнаружили, что этот коммутатор можно устранить, если соединения между процессором и слотами для AMC-модулей, использующие порт Common Options SAS/SATA [2:3], выполнены непосредственно через объединительную плату.

При выборе специализированных процессоров и слотов для AMC-модулей такого рода возникает некоторая потеря гибкости системы, но обычно это не вызывает никаких проблем.
Коммутатор порта Fabric Fat Pipe [D:G] (как правило, это шины Ethernet или PCIe) подключён к краевым разъёмам 3 и 4 на MCH-модуле. Краевой разъём 3 коммутируется с первыми шестью AMC-модулями, а разъём 4 – с оставшимися шестью (рис. 5). 

При построении небольшой измерительной системы с малым количеством слотов пользователи могут сделать выбор в пользу меньшего Fabric-коммутатора на MCH-модуле, соединённого только с краевым разъёмом 3. Если порт Fabric Fat Pipe не используется вообще, может применяться более дешёвый базовый вариант MCH-модуля, обеспечивающий только управление и подключение через порт Common Options [0:1], выполняющий функции Ethernet-коммутации. Если пользователи не работают с портами PCIe и не занимаются построением телекоммуникационной системы, они могут также исключить устройство распределения тактовых сигналов и дополнительно выиграть в цене.

Модуль питания  

Модули питания (PM), как правило, рассчитаны на входное напряжение –48 В и оснащены телекоммуникацион-ным разъёмом. Они преобразуют –48 В в +3,3 и +12 В для последующего использования AMC-модулями и модулями охлаждения. Дешевле всего использование модуля питания с входным напряжением +12 В, поскольку в этом случае необходимо лишь незначительное преобразование +12 В в +3,3 В (рис. 6).

Поскольку модули питания с входными напряжениями –48 и +12 В требуют внешнего источника питания, пользователи могут снизить общую стоимость преобразования напряжения с помощью модуля с питанием от сети переменного тока (рис. 7). 

Модуль охлаждения  

Если во время работы система не требует обслуживания, можно использовать только один модуль охлаждения (CU), снизив таким образом расходы на охлаждение вдвое.

Отход от стандарта ради снижения затрат  

Для повышения рентабельности небольших систем MTCA производители и системные интеграторы обходят правила, установленные спецификацией. При использовании в специальных приложениях и при тщательном учёте последствий отход от правил проектирования MTCA-систем может привести к значительному снижению стоимости всей разработки. 

MicroTCA Carrier Hub  

Идея наличия в MCH-модуле коммутаторов Ethernet и Fabric заключается в поддержке большого числа модулей AMC и исключении зависимости модуля от его расположения в шасси. Если в MTCA-системе необходимо наличие небольшого числа AMC-модулей, пользователи могут напрямую соединить порты Ethernet и Fabric, исключив затраты на коммутаторы в модуле MCH. Поскольку Ethernet-порт [A:B] подключается к модулям AMC с помощью интерфейса 1000Base-T, можно подключить Ethernet-порт [A:B] к разъёму RJ-45 и далее к внешней сети. Для работы Fabric PCIe необходим опорный синхросигнал, поэтому если порты PCIe соединяются непосредственно между процессорным и остальными AMC-модулями, процессорный модуль должен быть источником синхросигналов и посылать их в другие модули. Большинство процессорных модулей способно выполнять эту функцию. Для использования в подобных системах был разработан недорогой встраиваемый MCH-модуль с ограниченным функционалом, так называемый Embedded MCH (eMCH).
Встроенный MCH-модуль eMCH располагается в задней части корпуса и соединяется непосредственно с объединительной платой, обеспечивая внешнее подключение Ethernet и сервисных интерфейсов. Это устраняет необходимость наличия специального слота для MCH-модуля и делает систему более гибкой в проектировании. Такой модуль eMCH выполняет все обычные функции управления и обладает коммутатором для портов [A:B] Ethernet-каналов, но не оснащён коммутатором Fabric или источником синхросигналов. AMC-модули в системе, использующей встроенный MCH-модуль, не смогут определить, что ими управляет не обычный MCH, а модуль с ограниченным функционалом. 
Многие AMC-модули могут быть настроены таким образом, чтобы включаться без ожидания команды от MCH-модуля. Если все AMC-модули в системе поддерживают эту функцию, то можно полностью исключить MCH-модуль. При отсутствии в шасси MCH-модуля возникает также необходимость в автономно работающих модулях охлаждения и питания. 

Модуль питания  

Модуль питания (PM) обычно устанавливается в специально предназначенный для этого слот шасси. В небольших системах этот слот может быть ликвидирован и заменён на мезонинный модуль, расположенный позади объединительной платы (рис. 8). 

Мезонинный модуль питания обладает полным функционалом выделенного модуля питания, но дешевле в реализации. Наиболее выгодным с экономической точки зрения вариантом является бескорпусная реализация подобного устройства, при этом для модуля MCH никакой разницы не будет. 
Добиться ещё более низкой стоимости устройства можно, спроектировав модуль питания, работающий без участия MCH-модуля. Питание на AMC-модуль будет подаваться сразу после получения модулем питания сигнала о присутствии модуля в слоте. В этом случае всё управление питанием будет осуществляться компонентами, расположенными непосредственно на объединительной плате.

Модуль охлаждения  

Стандартный модуль охлаждения (CU) включает в себя мощный управляющий IPM-контроллер и предполагает двойное IPMB-соединение (Intelligent Platform Management Bus – интеллектуальная шина управления платформой) с MCH-модулем. Но, к примеру, компания Sсhroff использует менее дорогостоящие в реализации модули охлаждения для своих малогабаритных шасси: в них устанавливается небольшой процессор с частным подключением по I²C к MCH-модулю. В этом случае модуль MCH включает в себя специальное ПО, компенсирующее упрощённую конструкцию модуля охлаждения. С точки зрения пользователя, никакой разницы заметно не будет. 
Скорость вентиляторов, как правило, регулируется MCH-модулем: он считывает показания датчиков температуры на AMC-модулях и в шасси, а затем определяет оптимальную скорость вращения вентилятора.
Если модуль MCH будет изъят из системы, модуль охлаждения должен будет управлять вентиляторами автономно. В небольших системах MTCA модуль охлаждения также ожидает подключения к модулю MCH, а при его отсутствии регулирует скорости вращения вентиляторов на основании информации, поступающей от своих собственных температурных датчиков. В недорогих MTCA-системах обычно имеется два модуля охлаждения, один из которых является основным и управляет вентиляторами, принадлежащими второму модулю. Оптимальная скорость вращения определяется по перепаду температур внутри системы благодаря датчикам, расположенным на входе и на выходе системы охлаждения. Кроме того, модуль охлаждения может получать данные о температуре непосредственно с датчиков на модуле AMC и своевременно реагировать увеличением скорости вращения вентиляторов.

Примеры оптимизации систем MTCA  

Пример 1. Простейшая бюджетная MTCA-система  

На рис. 9 показан пример самой прос­той MTCA-системы.

Она рассчитана на два одиночных полноразмерных модуля AMC. Встроенный источник питания мощностью 150 Вт, расположенный в задней части шасси, предназначен для работы от сети переменного тока и на выходе выдаёт +12 В постоянного тока. Все порты модулей AMC соединены меж­ду собой. Объединительная плата с Fabric-интерфейсом поддерживает скорость до 10 Гбит/с. Функции управления полностью отсутствуют. Напряжение +12 и +3,3 В подаётся на AMC-модули, когда система обнаруживает их присутствие. Стандартные AMC-модули будут работать в этой системе до тех пор, пока не возникнет необходимость в управлении или обслуживании.

Пример 2. Снижение затрат и хороший функционал 

Эта система имеет MTCA-совместимые функции управления, но за счёт встроенных модулей питания, охлаждения и модуля eMCH позволяет снизить себестоимость (рис. 10).

Шасси с двумя слотами для AMC-модулей оснащено встроенным MCH-модулем, а встроенный бескорпусный мезонинный модуль питания расположен позади объединительной платы. Так как это шасси имеет нормальный функционал управления, к модулям AMC особых требований не предъявляется. 
Можно построить эту версию шасси и для большего количества модулей, но поскольку eMCH-модуль не оснащён функцией переключения, все связи между модулями будут выполнены как соединение точка–точка с помощью объединительной платы. Архитектура такого корпуса будет фиксированной для каждой конкретной объединительной платы.

Пример 3. Небольшая MTCA-система с полноформатным модулем MCH  

Другой недорогой вариант – это шасси MTCA высотой 1U, в котором содержится 6 одиночных модулей AMC среднего размера и нормальный полноразмерный модуль MCH (рис. 11).

Функции энергообеспечения возложены на установленный позади объединительной платы  встроенный бескорпусный мезонинный модуль питания. Такая конструкция избавляет от затрат на полноформатный модуль питания, но позволяет использовать весь функционал MCH-модуля. На объединительной плате отсутствует какая-либо дополнительная коммутация, и особых требований к AMC-модулям не предъявляется. 

Заключение 

Как мы убедились, существует множество реальных задач, при решении которых можно с успехом сэкономить не в ущерб качеству, применив недорогие и надёжные системы формата MicroTCA. Выбор в этой статье систем Schroff в качестве практических примеров не случаен: компания является мировым лидером в их разработке и производстве, что даёт системным интеграторам уверенность в надёжности оборудования и его полном соответствии действующим стандартам. ● 

Автор – сотрудник
фирмы ПРОСОФТ
Телефон: (495) 234-0636
E-mail: info@prosoft.ru