Модульные компактные HPC-системы и серверы ATCA для телекоммуникаций и промышленности. Часть 2

Перспективная сетевая масштабируемая модульная архитектура ATCA

Перспективная архитектура модульных систем ATCA (Advanced Telecommu-nication Architecture) разработана для создания мощных модульных серверных кластеров, центров обработки данных и больших масштабируемых систем в промышленности и телекоммуникационной отрасли. Системы создают на основе быстрой коммутируемой среды и набора несущих макромодулей, в которые могут устанавливаться компактные модули процессоров, ввода-вывода и памяти.

Компактные модули AMC (Advan-ced Mezzanine Card, или AdvancedMC) устанавливают в несущие (крейсерские) макромодули (платы), которые, в свою очередь, устанавливаются в секции или стойки с коммутируемой средой связи, где обеспечиваются питанием, охлаждением и мониторингом. При этом масштабируемые модульные серверы (blade-серверы) на основе наноэлектронных СБИС обеспечивают многопроцессорную обработку данных и быструю связь с другими узлами системы. Оптимизированы режимы использования модулей связи и обработки, предусмотрено последующее развитие систем на основе новых и перспективных технологий.

Современные модульные системы с коммутируемой средой и сетевой архитектурой эффективны для масштабируемых HPC-комплексов с сильными взаимодействиями процессорных узлов и функциональных модулей. Для реализации системных компонентов требуется интегральная модульная структура, обеспечивающая высокий жизненный цикл и эффективное взаимодействие всех узлов. Модульная структура систем высокой производительности включает набор серверных модулей (blade-серверы), объединяемых в кластеры для быстрой связи и обработки массивов данных, а также распределённые подсистемы быстрого ввода-вывода данных и многоуровневой памяти с малым временем досту-па. Программное обеспечение для организации интегральных систем обеспечивает быстрый ввод-вывод и гибкий доступ к большим хранилищам данных.

Первоначально ATCA рассматривали как новую спецификацию ввода-вывода для сокращения разрыва между желаемым и реальностью. Пиковое продвижение систем ATCA началось в 2006 году на основе эволюционного развития архитектуры и осознания ряда преимуществ разработки и проектирования модульных серверов и HPC-систем. Дальнейшие успехи вызваны массовыми требованиями и экономическими условиями в индустрии телекоммуникаций и промышленности, которые привели к созданию разнообразных масштабируемых сложных систем. Существует 2 подхода в создании таких систем: 1) формирование систем из готовых компонентов (платы, шасси) с последующим их конфигурированием; 2) создание интегрированных типовых платформ с конфигурированием на них по требуемым профилям прикладных систем высокого уровня. В качестве платформы широкого применения может эффективно служить архитектура ATCA, которая способна обеспечить конфигурирование многих прикладных систем (серверов приложений, медиасерверов, веб-серверов, биллинговых серверов, серверов управления сетями и др.). Она должна соответствовать функциональным требованиям несущих плат и компактных модулей для обеспечения гигабитной связи узлов и модулей с высокой доступностью и надёжностью, предоставляя возможности введения разных OC (Linux, Windows), избыточности и экономного повторного использования ресурсов.

Архитектура современных телекоммуникационных систем (TCA) основана на модулях форм-фактора Eurocard стандарта IEC 60297, включая несущие макромодули и встраиваемые компактные AMC-модули (рис. 6).

Спецификация перспективной архитектуры вычислительных телекоммуникационных систем ATCA (Advanced Telecom Computing Architecture) определяет состав и структуру несущих макромодулей, форм-фактор компактных модулей, заднюю панель для коммутирующих фабрик, питание, охлаждение, общесистемное административное управление и электромагнитную совместимость. Несколько серий спецификаций с новым форм-фактором в качестве перспективного стандарта ATCA были определены PICMG:

• PICMG 3.1 — картографирование локальных сетей (Ethernet и Fiber Channel);

• PICMG 3.2 — системы с неограниченной полосой частот (Infiniband);

• PICMG 3.3 — коммутирующие фабрики топологии «звезда» (StarFabric);

• PICMG 3.4 — быстрый интерфейс для ПК (PCI Express);

• PICMG 3.5 — подсистемы ввода-вывода RapidIO (RIO).

Новая спецификация ATCA определяет быстродействующую среду коммутируемой связи на задней панели, гарантирует высокую надёжность, обеспечивает организацию общего управления системой, «горячую» замену плат и упрощает организацию сервиса на основе коммутирующих фабрик. Данные коммутируются и передаются с мультигигабитной скоростью, при этом разработчики должны рассматривать параметры всех соединителей как часть линии передачи сигналов и учитывать их импеданс, время задержки передаваемых сигналов, перекосы при передаче сигналов и перекрёстные наводки. Задняя панель становится основной частью (ядром) взаимодействий между всеми модулями системы. 

На рис. 7 в качестве примера показаны задние панели (кросс-платы) системы AdvancedTCA фирмы Schroff, обеспечивающие соединения «точка-точка» независимо от протокола, имеющие 4 независимых сегмента для резервированного питания и поддерживающие топологии (рис. 8) «двойная звезда» (Dual Star) или «полносвязная ячеистая сеть» (Full Mesh). 

Несущая плата может быть пассивной или выполненной в виде одноплатного серверного компьютера (SBC). Кабельные соединения с задней панелью и мезонинными платами становятся частью инфраструктуры, обеспечивающей возможность работы на высоких скоростях. Вместо традиционной передачи сигналов по отдельным проводам вводится дифференциальный метод передачи сигналов, по которому сигнал передаётся в виде разности напряжений по выделенной паре линий. Для передачи каждого сигнала с низким уровнем напряжения выделяют две отдельные линии, что улучшает изоляцию от различных шумов (перекрестных и электромагнитных наводок). Соединители задней панели и мезонинных модулей должны контролировать импеданс сигнальной пары. Характеристический импеданс является функцией материала и геометрии соединений, поэтому варьирование этих параметров может привести к отражениям сигналов.

Экранирование проводников и заземление в значительной степени определяют общий импеданс. Каждая однопроводная линия имеет сопротивление 50 Ом (сигнал-земля), при дифференциальной передаче сигналов по двум проводам сопротивление составляет 100 Ом. Для управления импедансом, снижения наводок и улучшения согласования дифференциальных пар высокочастотные соединители включают в экранированные структуры, выполненные как двойные аксиальные кабели. Модули в новом стандарте ATCA устанавливаются с передней панели параллельно несущей плате в стандартных 19-дюймовых стойках. Контакты не устанавливают как соединители, а реализуют на плате (в виде Pad), что улучшает качество передачи сигналов между платами компактных модулей AMC.

Спецификация отражает также вопросы тепловых и механических условий работы системы.

Модульная система предусматривает в первую очередь решение проблем мониторинга и управления сетями и нацелена на высокую скорость ввода-вывода данных, коммутаций и пакетной обработки данных. Возможность управления платформой подразумевает конфигурирование и организацию таких приложений, как IP-медиа, управление беспроводными сетями, шлюзами и серверами обслуживания вызовов.

Комбинация несущих и компактных модулей нового поколения позволит проектировать и конструировать системы с новой архитектурой, ядром которых будет служить коммутирующая фабрика, позволяющая выбирать и смешивать различные технологии коммутируемой связи (GE, 10GE, Infiniband и др.). Стартовый базовый вариант фабрики может начинаться с GE. Современная платформа с архитектурой ядра на основе 10GE является лучшим решением, так как ориентирована на широкополосное обслуживание для мультимедиа при высокой плотности вычислительных ресурсов на слот. Ядро платформы может включать в свой состав коммутатор 10GE с модулем управления фабрикой, набором процессорных модулей (типа COM Express) и модулей дисковой памяти (SATA), а также со средствами реализации технологических функций контроля и управления (до 40 Гбит/с).

Преимущества модульной архитектуры ATCA могут быть расширены до их применения в больших и малых системах, в инфраструктуре мобильных средств и другого сложного современного оборудования. Эффективной является реализация вариантов малых систем на тех же компактных модулях, что и больших систем. Такой подход позволит повысить степень гранулированности систем с возможностью обеспечения «горячей» замены модулей в полевых условиях. Кроме того, интеграция большого числа одинаковых по архитектуре компактных узлов в единую систему создаёт условия для формирования легко масштабируемых аппаратных решений из унифицированных компонентов. Воплощением такого подхода является использование модулей AMC в микросистемах без несущих модулей (MicroTCA).

Основная причина успеха технологий ATCA и MicroTCA заключается в постепенном стирании границ между вычислительными системами и сетями, а также между цифровой телефонией (IP-телефонией) и передачей видеоинформации (включая IP-TV) в телекоммуникационной области. Гибкий модульный подход является принципиальным направлением дальнейшего развития конвергентных архитектурных методов в диверсифицированных системах нового поколения.

Методика построения будущих модульных серверов и HPC-систем различного назначения базируется на открытых международных стандартах.

Выпуск большого объёма продукции позволит снизить удельную стоимость компонентов, модулей и систем. Возможность «горячей» замены модулей в работающей системе является ещё одним достоинством таких систем. Мощные системы могут состоять из секций и стоек (шасси высотой до 13U), в которых устанавливают макромодули (несущие платы) с допустимой рассеиваемой мощностью до 200 Вт на каждый серверный (blade) модуль.

Набор модулей AMC оптимизируется для каждого конкретного применения, включая создание вычислительных кластеров или веб-серверов. Модульные системы ATCA позволяют расширять возможности коммутирующих фабрик по мере развития модулей на основе новых технологий, обеспечивая последовательные интерфейсы с различными протоколами связи. Они могут поддерживать взаимодействия типа «модуль — базовая плата» или «модуль — модуль» с суммарной скоростью связи до 200 Гбит/с. Отдельный blade-сервер может включать до 48 компактных процессорных модулей AMC, а шельф с 16 несущими модулями может объединять до 64/128 компактных модулей.

Перспективные компактные модульные микросистемы MicroTCA

Разработка перспективной архитектуры MicroTCA (микроTCA) для создания компактных модульных систем нового поколения началась в 2005 году. За основу были взяты недорогие модули AMC малого формата, объединённые задней панелью. Потенциальная область применения таких систем достаточно ши-рока и включает физические исследо-вания, решения инженерных задач, медицину и биологию, робототехнику, военные приложения и др. Общая концепция сводится к тому, что дочерние модули для ATCA могут применяться и в новой архитектуре MicroTCA (рис. 9). 

Статус спецификации новой разработки усилился благодаря включению её в программу COM, в результате чего был создан релиз COM.0, известный как COM Express. Он основан на расширенной спецификации EXT. Компактные системы должны обеспечить высокие скорости передачи между платами и устройствами ввода-вывода. Задняя панель становится ядром взаимодействия модулей в системе. Скорость передачи цифровых сигналов — до 5 Гбит/с, и ожидается дальнейший рост требований по повышению частоты передачи сигналов, что неизбежно должно привести к развитию технологии соединения модулей по задней панели. Проблема увеличения полосы частот связана с созданием соединителей с соответствующими ёмкостями, импедансами, индуктивностями, с допустимыми наводками и отражениями сигналов. Ряд промышленных производителей уже предлагает разъёмы, удовлетворяющие полосе частот до 2,5...3,187 Гбит/с для 10G Ethernet, 10G Fiber Channel (FС), Serial SCSI, Serial ATA 2 (SATA 2), Infiniband.

Новая спецификация стандарта MicroTCA и создаваемые модули AMC должны обеспечить огромные преимущества для будущих систем широкого назначения, а также систем промышленного и оборонного назначения.

Отдельные модули могут быть скомбинированы в новые макрокомпоненты для будущих систем. Процессорный модуль должен быть компактным и с малым энергопотреблением, чтобы не требовать особых систем вентиляции. Сетевые коммутаторы на основе компактных процессоров могут служить примером развития компактных модульных коммуникационных систем.

Методология создания систем сдвигается в направлении COM-технологии. Согласно данной методологии системы на основе модулей AMC и принципов ATCA обеспечивают снижение стоимости проектирования конечных изделий, включая аспекты общего управления, питания и охлаждения. Ключевыми особенностями модулей AMC являются возможность «горячей» замены и соответствие требованиям RAS (Reliability, Availability, Serviceability — надёжность, готовность, удобство обслуживания).

Сегментируя большой компьютерный комплекс на COM-составляющие, можно сконцентрироваться на несущих платах и подбирать компактные модули AMC в зависимости от быстро меняющихся технологий. В то же время несущие платы могут быть укомплектованы COM-модулями для достижения требуемой производительности. Такой вариант расширения мезонинного модуля может быть предназначен для подсистем ввода-вывода или для реализации дополнительных процессорных функций обработки и хранения данных на несущей плате.

Концепции развития единого семейства систем на базе компактных модулей AMC

Традиционные мезонинные модули PMC (сPCI) нашли широкое применение, но имеют ограниченное число контактов и не удовлетворяют некоторым современным требованиям. Например, при всём многообразии вариантов реализации модулей PMC они не удовлетворяют требованию «горячей» замены. Модули XMC как эволюционное развитие традиционных модулей PMC тоже имеют мало (по современным меркам) контактов для ввода-вывода. Стандарт COM XTX как результат дальнейших разработок вместо шины ISA использовал технологии PCIe, SATA и USB 2.0. Расширение 32-разрядной шины PCI новым интерфей-сом PCIe с четырьмя каналами связи (4 lanes) увеличило пропускную способность в 10 раз. Также в спецификацию XTX была добавлена совместимая последовательная версия ISA (SISA).

Модули могут выполняться в раз-личных стандартных форматах в зависимости от плотности монтажа на печатной плате. Де-факто утвердилось несколько расширений, например ETX и ESB, которые удовлетворяли требованиям следующего поколения модульных систем технологии COM.

Технология COM (Computer-On-Module) — это высокоинтегрированная структура, объединяющая компактно выполненные компоненты, включая ЦП, схемы северного и южного мостов, флэш-памяти. Компактные встраиваемые компьютерные системы в развитии своей технологии проявили тенденцию на сближение с индустрией ПК. В 2004 году и подкомитет PICMG COM Express начал разрабатывать новую спецификацию для объединения форм-фактора COM с преимуществами PCIe. Рабочая группа PICMG отражала широкие интересы многих пользователей из различных областей применений, более 40 компаний (AAEON, Advantech, Congatec...) приняли участие в создании спецификации COM Express. Ключевое преимущество этой спецификации для встраиваемых систем — возможность быстрого изменения части проекта благодаря полной модульности и независимости от остальной системы.

Технологию COM определяют как метод встраивания модулей ЦП посредством несущих плат, фактически являющихся макромодулями (макрокомпонентами) системы. Обычно COM-модули помимо ЦП имеют набор СБИС сопряжения (чипсет), ОЗУ, средства поддержки разных типов дисплеев, контроллер внешней памяти и др. Соединители для периферийных модулей остаются на несущей плате. Фактически COM-модуль имеют все функции и интерфейсы, типичные для встраиваемых ПК, но с экономией на внешних соединителях и на монтажном пространстве платы. К важнейшим особенностям следует отнести возможность «горячей» замены модулей, хотя это и не является требованием многих приложений на основе COM-технологии, а также возможность перехода к новому поколению систем без особых затрат на изменение проекта.

Перспективные компактные мезонинные модули AMC становятся новыми стандартными функциональными модулями для телекоммуникационных и промышленных систем ATCA. Технология применения модульной концепции на основе AMC может служить основой революционного развития архитектуры компактных модульных систем будущего.

Новые компактные модули AMC, подобно модулям XMC, используют относительно мало контактов в соединителях для создания коммутирующих фабрик, оптимальны для ATCA с малым числом контактов соединителей, обеспечивают хорошую масштабируемость и гибкость разрабатываемых систем. В рекомендациях ATCA определены требования к несущим платам и инфраструктуре оборудования систем высокой производительности.

Выбранный форм-фактор модуля AMC имеет площадь на 14% больше, чем у PMC. В зависимости от числа контактов различают модули AMC половинной высоты (HH — half height) и модули полной высоты (FH — full height), а также модули одинарной ширины (SW — single width) и полной ширины (FW — full width). Архитектура компактных модулей AMC поддерживается новыми протоколами связи на различных частотах. Интерфейсами таких модулей могут служить PCIe, Gigabit Ethernet, Advanced Switching, Serial RapidIO.

Основными спецификациями для модулей AMC являются следующие:

• AMC.0 — общие параметры (механика, питание, охлаждение, связь и управление);

• AMC.1 — применение интерфейсов PCIe для ПК и коммутации Advanced Switching;

• AMC.2 — интерфейсы Ethernet;

• AMC.3 — интерфейсы сетевой памяти типа FС.

Спецификации для проектирования мезонинных модулей AMC высокой производительности соответствуют требованиям ATCA по надёжности, готовности, удобству обслуживания (RAS), но не ограничиваются ими. Также спецификации AMC определяют инновации относительно модулей PMC.

Существует широкий класс компактных комбинированных устройств (карманные ПК, смартфоны, сотовые телефоны и т.п.), требующих развития телекоммуникационного сервиса для передачи голоса, изображений, MMS, видеоинформации. Модульные системы на основе стандарта ATCA позволяют решать такие задачи и уже применяются в современной аппаратуре. Благодаря открытым стандартам обеспечена свобода выбора готовых изделий, разработок новых или использования интегрированных в различных вариантах комбинаций систем. Одно из основных применений таких стандартов — это создание компактных шлюзов и медиасерверов высокой производительности, имеющее перспективной целью интегрировать отдельные системы для передачи голоса, изображения и данных в единую конвергентную инфраструктуру в составе универсальных коммутируемых пакетных мультимедийных сетей.

Архитектура компактных модульных систем на основе AMC, разработанная для ATCA, может успешно использоваться в системах MicroTCA, в которых модули устанавливаются прямо в секции без несущих плат (рис. 10). 

Возможно создание систем на 2 или 4 модуля либо мощных комплексов из 192 модулей AMC. Небольшие замещаемые модули повышают степень гранулированности системной архитектуры и оптимизируют расходы на конкретные решения. Возможности «горячей» замены, организации общего контроля и управления системой (как в ATCA) и организация коммутирующих фабрик содействуют созданию телекоммуникационных систем высокого быстродействия и HPC-систем на базе MicroTCA.

Методика взаимодействия модулей AMC является важным фактором при проектировании систем. Спецификация PICMG рассматривает четыре основных метода: PCIe, Advanced Switching, Giga-bit Ethernet, FC для памяти и быстрый последовательный ввод-вывод Serial RapidIO (спецификация AMC.4). Эти методы передачи реализуются на дифференцированных сигнальных парах, что позволяет сделать заднюю панель независимой от передаваемых сигна-лов. Контроллер-концентратор MCH (MicroTCA Carrier Hub) выполняет задачи коммутации и административного системного управления. Он должен поддерживать инфраструктуру в соответствии со стандартом для модулей AMC, создавая основу компактной системы. Спецификация AMC.2 требует от него поддержки, как минимум, 12 портов Gigabit Ethernet и интерфейса интеллектуального управления платформой (IPMI) для 12 модулей AMC. Возможна реализация до 60 каналов коммутирующих фабрик. Дополнительно контроллер-концентратор MCH обеспечивает распределение синхросигналов, а также поддерживает до 4 блоков питания и административное управление.

Степень гранулированности микросистемы определяется с шагом 12, то есть в каждой секции могут устанавливаться 12, 24, 48 или 60 модулей AMC. Избыточная система из 12 модулей и двух идентичных наборов по 6 модулей AMC может управляться одним контроллером-концентратором MCH и обеспечиваться избыточными источниками питания и вентиляторами охлаждения. Полная система может состоять из одного контроллера-концентратора MCH и набора модулей AMC.

Микросистемы MicroTCA необходимы для решения задач компьютерной автоматизации в сферах медицины, управления промышленным оборудованием, обработки изображений, обороны и телекоммуникаций.

Конструкция корпусов ATCA/MicroTCA и модулей AMC

Варианты конструкций модульных систем спецификации ATCA были разработаны в 2002 году, спецификации компактных модулей AMC — в 2004 году, микросистем MicroTCA — в 2006 году. Все они допускают гибкость при-менения для систем автоматизации в различных областях применения. Воздушное охлаждение модулей в системе может быть проточным и вытяжным.

Среди производителей конструктивов ATCA и MicroTCA выделяются компании Schroff, Rittal (RiTCA), Performance Technologies и некоторые другие. Рассмотрим особенности конструкции корпусов ATCA и MicroTCA, а также модулей AMC на примере продукции компании Schroff, наиболее успешно работающей в данном направлении.

Конструкторские решения для платформы ATCA компании Schroff представлены, например, ударопрочными и виброустойчивыми вариантами разработок для промышленных применений, допускающими выбор кросс-платы с различным числом слотов, высоты, топологии, системы охлаждения. Платформа предусматривает одну или две системы управления.

Согласно стандарту в системах ATCA эффективная скорость передачи данных может быть до 2,5 Тбит/с (допустимая производительность линии до 3,125 Гбит/с), потребляемая мощность до 200 Вт. Системы поддерживают различные протоколы сопряжения и связи (PCIe, Ethernet, Infiniband и др.). Компания Schroff предлагает варианты исполнения с диапазоном рассеиваемой мощности, расширенным до 300 Вт на плату модуля и с производительностью линий обмена данными до 6,25 Гбит/с. Эта компания выпускает конструктивы ATCA высотой от 2U до 13U с возможностью установки от 2 до 16 слотов и топологией Dual Star или Full Mes (помимо этого доступны топологии Dual Dual Star и Triple Replicated Mesh, а также индивидуальные топологии по заказу). Варианты конструкций могут предполагать горизонтальное или вертикальное размещение модулей.

В качестве примера приведём систему ATCA фирмы Schroff высотой 2U на 2 слота. Она соответствует спецификации PIGMC 3.0 Rev. 2.0 и предполагает запитку модулей постоянным током от источника –48 В (номинал, принятый в системах связи). Все инфраструктурные каналы соединены напрямую. Два модуля приточно-вытяжной вентиляции обеспечивают охлаждение мощностью до 200 Вт на модуль. Удобный доступ к модулям обеспечен за счёт съёмной крышки.

Малые системы MicroTCA в разных исполнениях имеют 9, 8 или 4 слота для установки одиночных модулей.

Охлаждение обеспечивают вентиляционные модули с возможностью их «горячей» замены. Блоки питания переменного тока позволяют использовать системы в лабораторных условиях. Стандартные системы обеспечивают эффективную скорость передачи данных до 480 Гбит/с (или 10 Гбит/с на порт), допустимая рассеиваемая мощность — до 80 Вт на модуль. Такие микросистемы могут применяться для построения базовых станций связи и VoIP-шлюзов, а также в IP-телефонии, IP-TV и WiMax-решениях.

Типовая конфигурация промышленной системы на основе MicroTCA может включать модуль ЦП (SBC), модуль жёсткого диска, модуль графического интерфейса и модули для конкретного расширения. Поддерживаются различные протоколы сопряжения и связи (Gigabit Ethernet, PCIe, Serial ATA). Сетевой вход питания переменного тока размещён на задней стороне шасси, а напряжение питания модулей AMC (12 В) создаётся встроенным блоком питания. Охлаждение обеспечивает вентилятор, нагнетающий воздух в отсек размещения модулей в направлении снизу вверх. Такая система минимальной конфигурации может поместиться в корпусе с габаритами (Ш×В×Г) всего 155×135×250 мм.

Модули для ATCA и MicroTCA поддерживают возможность их «горячей» замены в системе. Небольшие функциональные модули AMC устанавливают в несущие макромодули ATCA с помощью специальных адаптеров или в шасси MicroTCA непосредственно. Стандартные модули поддерживают ряд протоколов связи, например PCIe, RapidIO, Gigabit Ethernet и 10G Ether-net, а также Advanced Switching (ASI) и Serial ATA/SAS. Допустимая рассеиваемая мощность составляет 80 Вт на модуль. Фирма Schroff предлагает модули с двумя вариантами высоты (одинарная, двойная) и тремя вариантами ширины. Базовый размер модулей составляет 73,5×183,5 мм (или 2,9×7,3 дюйма); размер 73,5 мм — это одинарная высота, а двойная высота равна 149 мм (5,9 дюйма). Различным вариантам модулей соответствуют разные типы несущих плат. Фиксация модулей осуществляется без винтов.

Кросс-плата обеспечивает высокую производительность системы благодаря соединениям «точка-точка» и топологии типа Dual Star и Full Mesh (топологии Dual Dual Star и Replicated Mesh предоставляются по заказу). Первые соединительные панели ATCA и MicroTCA фирмы Schroff обеспечили скорость передачи до 10 Гбит/с. Питание резервировано и разделено на несколько независимых сегментов.

Примеры компактных модульных blade-серверов для кластеров

Вычислительные системы и blade-серверы (серверы-«лезвия») являются областью широкого применения компактных модульных HPC-систем нового поколения. На уровне несущей платы blade-сервер взаимодействует с другими узлами посредством коммутирующих фабрик или быстрых сетевых соединений, а традиционные параллельные шины могут использоваться для локальных связей внутри платы и не выходят на уровень связи между платами. Если компьютер SBC не имеет соединения по PCIе с задней панелью системы и выходит на заднюю панель без PCIе, то его можно отнести к классу blade-серверов. Спецификация ATCA служит открытым стандартом для создания компактных вариантов blade-серверов.

Среди первых разработок модульных серверов и HPC-систем можно выделить разработки компаний SBC Technology, Advantech, Performance Technologies, RadiSys, Artesyn и др. Например, фирма SBS Technology создала на несущей плате blade-сервер BCT4-AMCI линейки IBM BladeCenter (BC) и BladeCenter T (BCT), который предназначен для поддержки IP-мультимедиасистем следующего поколения. В «СТА» № 4 за 2008 год в «Портрете фирмы» Performance Technologies рассказывалось о новых решениях этой компании в формате MicroTCA, в том числе о процессорных модулях AMC111, AMC121, AMC131 и шасси MTC5070 с системами питания и охлаждения, встроенным контроллером-концентратором, обеспечивающим коммутацию каналов Gigabit Ethernet и PCIe между модулями AMC.

Подробнее остановимся на примерах реализации серверных модулей с сетевой архитектурой компаний Advantech и Artesyn.

Модульные серверы фирмы Advantech

Первые собственные разработки модульных серверов в стандарте ATCA были продемонстрированы фирмой Advantech на выставках в 2007 году (рис. 11).

Серверный модуль MIC-5301, выполненный в формате ATCA, использует процессор 2x Xeon LV/2 ГГц (системная шина 667 МГц) и чипсет E7520, имеет до 16 Гбайт памяти DDR-2 PC2-5400, 4 порта 1000Base-Bx, 2 порта 1000Base-Tx, 2 слота PCIe х4 типа AMC. Он обеспечивает поддержку модулей RTM с интерфейсом SAS и удалённый мониторинг по интерфейсу IPMI 1.5.

Новый высокопроизводительный промышленный сервер HPC-1420 может иметь до двух процессоров Xeon 5000/5100/5300 (системная шина 667/1066/1333 МГц), имеет чипсет Intel 50000P MCH + 6321 ICH + 6702 PXH, до 48 Гбайт памяти DDR-2 PC2-5400, слоты расширения PCIe х8 и PCI-X 64 бит (133 МГц), использует источник питания мощностью 700 Вт. Особенностями этого сервера являются возможность поддержки до 4 дисков SAS с функцией «горячей» замены и компакт-ные размеры корпуса (высота, занимаемая в стойке, — всего 1U при общих габаритах 482×44×688 мм).

Blade-серверы ATCA компании Artesyn

Blade-серверы этой компании используют интерфейс IPMI для сбора данных о температуре и уровне напряжений, наиболее важных для функционирования системы плат. Информация о событиях передаётся через специальную шину IPMB в систему управления шасси, которая принимает решения и выполняет требуемые действия, включая выдачу рекомендаций о необходимости особого внимания к отдельным модулям. Системные события регистрируются в файле SEL (System Event Log), который позволяет выбрать нужные тренды и проанализировать причины, приведшие к определённому событию.

Общее управление включает в себя задачи мониторинга, диагностики и контроля отдельных blade-серверов, что особенно важно при высокой плотности упаковки систем и построении мощных вычислительных систем. Например, аппаратная стойка из 3 шельфов ATCA с 16 blade-серверами в каждом может иметь очень большую суммарную потребляемую мощность (200×16×3 = 9600 Вт), что приводит к выходу за пределы возможностей системы по рассеиванию тепла и требует организации принудительного обдува аппаратуры вентиляторами, а вентиляторы, в свою очередь, могут генерировать шум, уровень которого выше допустимого, и т.д. Возможным решением всей этой цепочки проблем является создание системы управления питанием для снижения энергопотребления отдельных серверов. Именно на такие задачи ориентированы blade-серверы компании Artesyn.

Выводы

1. Наряду с созданием компактных встраиваемых модульных микросистем нового поколения важным направлением развития систем компьютерной автоматизации в промышленности и телекоммуникационной отрасли также является создание мощных модульных серверов нового поколения для организации HPC-систем и центров обработки данных.

2. Создание микросистем и масштабируемых модульных кластеров на базе единого семейства компактных модулей является важнейшей задачей в области создания эффективных модульных систем нового поколения.

3. Разработку единого семейства компактных модулей целесообразно проводить на основе опыта разработки модулей AMC, при этом потребуется создание функциональных наборов модулей по классам задач с привлечением специалистов различного профиля.

4. Прототипом создания микросистем нового поколения может служить архитектура MicroTCA с соответствующими конструктивными решениями и коммутируемой средой.

5. Первоочередной коммутируемой средой может на время стать Gigabit Ethernet с последующим переходом на 10G Ethernet.

6. Для создания масштабируемых модульных систем высокой производительности в качестве прототипа может служить архитектура ATCA с соответствующими конструктивными решениями и системами питания, охлаждения, встроенного контроля.

Заключение

Среди современных конвергентных сетевых технологий, в наибольшей степени отвечающих требованиям высокопроизводительных вычислительных систем и подсистем ввода-вывода, можно назвать гигабитные коммутируемые сети Ethernet и Infiniband. Сравнение гигабитных сетевых технологий Ethernet и Infiniband можно провести на основе графиков, представленных на рис. 12. 

Графики на рис. 12 а хоть и получены для определённого кластера, но при этом очень точно передают общую закономерность. В перспективе Gigabit Ethernet и 10G Ethernet будут сохранять свою пропускную способность, а пропускная способность Infiniband имеет тенденцию к возрастанию (рис. 12 б). Графики отражают это преимущество Infini-band, определяемое возможностью масштабирования связей на основе достижений новых технологий.

В качестве сетевых технологий для подсистем памяти доминирующими остаются традиционные сети FC. Однако создание единой сети для кластеров, подсистем ввода-вывода и памяти активно обсуждается в современной научно-технической литературе.

Развитие модульных серверов (blade-серверов), модульных кластеров и сетевых технологий становится важнейшим перспективным направлением совершенствования систем компьютерной автоматизации в промышленности и телекоммуникациях. Наряду с встраиваемыми компактными модульными системами требуются более эффективные высокопроизводительные, хорошо масштабируемые вычислительные системы для центров данных и HPC-систем. Однако высокая концентрация вычислительных мощностей в компактных модульных серверах приводит к новым проблемам, которые связаны с необходимостью уменьшения потребляемой энергии, охлаждением, а также сокращением объёмов оборудования и числа коммуникационных связей. Эти проблемы могут быть эффективно решены с помощью нового поколения компактных систем с сетевой архитектурой на СБИС с коммутируемой вычислительной средой, построенной на основе наноэлектронных технологий будущего. ●