Введение
AdvancedTCA (усовершенствованная архитектура для телекоммуникационных вычислений) – это первая стандартизированная платформа для высокопроизводительных вычислений (рис. 1), разработанная при участии более ста компаний-производителей промышленного и телекоммуникационного оборудования.
Она предназначена для широкого круга потребителей и позволяет решать множество задач, требующих передачи большого объёма данных и предоставления новых услуг в области телекоммуникаций. При помощи модулей стандарта AdvancedTCA можно передавать, обрабатывать и анализировать большие объёмы данных в режиме реального времени. Первая версия стандарта AdvancedTCA – PICMG 3.0 Rev. 1 – впервые была представлена консорциумом PICMG (PCI Industrial Computer Manufacturers Group) в конце 2002 года.
Системы AdvancedTCA относятся к так называемым системам операторского класса, имеющим коэффициент готовности порядка 99,999%. Такие системы обычно применяются в приложениях с большими объёмами данных, требующих высокой готовности и производительности вычислительной системы. Большие объёмы данных передаются, к примеру, через шлюз медиасервера при транспортировке и обработке медиаконтента (видео, голосовых данных или изображений). Системы операторского класса, такие как высоконадёжные серверы, используются в основном телекоммуникационными компаниями и провайдерами Интернет-сервисов, предъявляющими высокие требования к производительности и надёжности оборудования. Также растёт доля проектов с применением таких систем в научной сфере, при проведении специальных исследований в режиме реального времени и обработке результатов научных экспериментов.
Основные особенности систем AdvancedTCA
- Масштабируемая архитектура и пропускная способность до 2,5 Тбит/с.
- Возможности резервирования и оперативной замены всех важных компонентов системы обеспечивают коэффициент готовности 99,999%.
- Модульная конструкция позволяет сформировать огромное количество конфигураций.
- Поддержка различных протоколов быстрых последовательных интерфейсов (Ethernet, InfiniBand, StarFabric, PCI Express и Rapid I/O).
Требования рынка задают вектор развития
Благодаря регулярным практическим семинарам и тесному контакту с клиентами AdvancedTCA быстро стал стандартом де-факто.Первые системы успешно функционируют с 2005 года. Однако с начала применения таких систем в опорных сетях требования к их пропускной способности на уровне ядра сети неуклонно растут. Этому способствует и внедрение новых мультимедийных приложений, таких как видео по запросу (VoD), мобильные Интернет-приложения, Web 2.0, вебинары, облачные вычисления и т.п. Поскольку увеличение пропускной способности путём наращивания количества применяемой аппаратуры экономически невыгодно, наилучшим и общепризнанным решением является увеличение скоростей передачи данных.
Ограничение максимальной скорости передачи данных наиболее распространённых систем AdvancedTCA значением 25 Гбит/с обусловлено не только применением соответствующих кросс-плат. Обработка потоков данных, передаваемых с большой скоростью, требует применения в процессорных платах высокопроизводительных чипсетов и многоядерных процессоров. А это вкупе с использованием несущих плат AdvancedMC с установленными на них мезонинными модулями в количестве до 4 штук ведёт к увеличению мощности и тепловыделения систем ATCA.
Ответ Schroff на требования рынка
Компания Schroff одной из первых стала серийно выпускать кросс-платы AdvancedTCA с пропускной способностью 40 Гбит/с, с четырьмя последовательными линиями 10 Гбит/с в рамках стандарта AdvancedTCA, практически удвоив производительность систем текущего поколения. Такие перемены в технологии повлекли за собой применение высокоскоростных контроллеров Ethernet 10 Гбит/с в процессорных и других платах AdvancedTCA.Повышение пропускной способности кросс-платы при снижении её стоимости
Скорость передачи данных в первых кросс-платах образца 2002 года (когда и был впервые введён стандарт ATCA) составляла 10 Гбит/с (4 линии по 3,125 Гбит/с с учётом кодирования 8/10 бит). Сейчас, как правило, применяются кросс-платы с пропускной способностью 20 Гбит/с (4 линии по 6,25 Гбит/с с учётом кодирования) с перспективой быстрого перехода на кросс-платы 40 Гбит/с.Первые кросс-платы Schroff имели пропускную способность 10 Гбит/с (4 линии по 3,125 Гбит/с) и собирались на 38-слойной печатной плате. Ныне выпускаемые кросс-платы имеют лишь 22 слоя, при этом, несмотря на повышение скоростей передачи данных, в них по-прежнему применяются недорогие диэлектрики типа FR4. Более дорогие материалы типа Nelco и им подобных пока не требуются для серийных изделий, однако их можно применять по требованию заказчика.
Оценка целостности сигналов канала передачи данных проводится в лабораторных условиях или во время эксплуатации с применением анализатора последовательных данных (SDA – Serial Data Analyzer). Для оценки удобно применять метод глаз-диаграммы (рис. 2).
Для формирования глаз-диаграммы используется периодическая структура последовательного сигнала. Для синхронизации развёртки анализатора используется синхросигнал, восстановленный из полезного сигнала, либо внешний синхросигнал. Получаемые осциллограммы волнового фронта накладываются друг на друга с периодом одного отсчёта. Глаз-диаграмма получается в результате проведения измерений с накоплением, при этом по оси ординат откладывается амплитуда сигнала, по оси абсцисс – время. Иными словами, глаз-диаграмма – это статистическая характеристика, позволяющая наглядно оценить влияние негативных факторов на форму сигнала в канале передачи данных (рис. 3) и при необходимости принять меры по доработке изделий.
Новые кросс-платы – теперь 100 Гбит/с
В настоящее время концерн Pentair готовит под маркой Schroff новое поколение кросс-плат, поддерживающих передачу данных со скоростью 100 Гбит/с. Недавно институтом IEEE был принят новый стандарт передачи данных 100 Гбит/с Ethernet IEEE802.3bj, который станет базовым при создании объединительных панелей ATCA по стандарту Ethernet. Стандарт определяет два метода передачи сигналов 100G Ethernet в объединительной панели: 100GBase-KP4 и 100GBase-KR4. Первый для увеличения плотности сигнала использует 4-уровневую амплитудно-импульсную модуляцию на скорости примерно 13 Гбод, второй метод – инверсный код без возвращения к нулю (NRZI – non-return-to-zero inverted), скорость порядка 25 Гбод. Наряду со стандартом PCIe 4.0 IEEE802.3bj в ближайшем будущем станет наиболее часто используемым стандартом передачи данных через кросс-платы.Поскольку AdvancedTCA – это модульная система, прежде чем новое решение по стандарту IEEE будет реализовано, предстоит решить ряд проблем. Стандарт IEEE802.3bj лишь определяет электрические параметры канала передачи данных в целом, то есть связи между передатчиком и приёмником. Однако в реальности канал состоит из двух плат, кросс-платы и разъёмов, соединяющих вместе эти элементы. Чтобы обеспечить полную совместимость между платами АТСА и кросс-платами разных производителей компонентов платформы ATCA, комитету PICMG 3.1 по Ethernet потребуется рассматривать электрические параметры, определяемые стандартом IEEE802.3bj, такие как перекрёстные помехи и вносимые потери, отдельно для кросс-плат (объединительных панелей) и плат АТСА. Комитету также нужно будет определить процедуры верификации и проверки на работоспособность различных частей канала передачи данных и необходимые для этого инструменты.
Сейчас в рамках PICMG формируется новая рабочая группа, целью которой является интеграция принципов стандарта IEEE802.3bj в новую версию стандарта PICMG 3.1.
Применяемые ныне в ATCA разъёмы типа ZD+ рассчитаны на передачу данных со скоростью 20 Гбит/с. Учитывая то, что новый стандарт 100G Ethernet с кодированием NRZI использует передачу данных со скоростью 25 Гбит/с по одному каналу, потребуется доработка разъёмов.
У концерна Pentair имеется в арсенале необходимое оборудование для разработки и тестирования быстрых последовательных каналов передачи данных со скоростями порядка 100 Гбит/с. По требованию заказчика компания может в короткие сроки провести необходимые исследования и проверку совместимости компонентов готовых систем на базе стандарта 100G Ethernet. Проведённые недавно исследования системы, использующей метод 100GBase-KP4 (передача АИМ-сигнала на скорости 13 Гбит/с) на объединительных панелях Schroff 40G с соединителями типа ZD+, продемонстрировали полную её работоспособность. Таким образом, передовые системы со скоростью передачи данных в 100 Гбит/с вполне могут быть реализованы на основе серийно выпускаемого оборудования.
Эффективный отвод тепла: 400 Вт на плату – не предел
При проектировании систем на базе ATCA большую роль играет не только скорость передачи данных, но и рассеиваемая тепловая мощность. В 14- и 16-слотовых системах с вертикальным расположением плат различают приточное охлаждение (push-cooling) и вытяжное охлаждение (pull-cooling). Приточное охлаждение организуется путём установки вентиляторов в нижней части шасси, в случае вытяжного охлаждения вентиляторы располагаются сверху. Воздух подаётся на платы снизу вверх, забор осуществляется спереди, а выброс нагретого воздуха – сзади (рис. 4, 5).
В системах с горизонтальным расположением плат, имеющих от 2 до 6 слотов, применяется комбинированная приточно-вытяжная воздушная система охлаждения.
Первоначальная спецификация ATCA определяла значение рассеиваемой мощности на плату, устанавливаемую спереди, в 200 Вт и на тыльную RTM-плату в 5 Вт. Системы первого поколения на 14 и 16 слотов оснащались наиболее мощными диагональными вентиляторами. Нынешние системы требуют отвода примерно 400 Вт с передней платы и 30 Вт с RTM-платы. Возросшая мощность потребовала более эффективного отвода тепла. Диагональные вентиляторы уже не могли справиться с этой задачей, их сменили более производительные (и большего размера) осевые или центробежные. Дальнейший рост производительности вентиляторов путём увеличения их количества или геометрических размеров оказался невозможным из-за конструктивных ограничений. Предельная высота шасси составляет 13U из-за необходимости вместить в стандартную стойку высотой 42U три корзины и обязательный модуль распределения питания высотой 3U, поэтому производительность системы охлаждения можно повысить только путём увеличения мощности и скорости вращения вентиляторов.В первых системах использовались вентиляторы мощностью примерно 140 Вт, те, что применяются сегодня, имеют мощность 420 Вт, что составляет от 10 до 15% мощности 16-слотовой корзины. Производительность нынешнего поколения вентиляторов, применяемых в 14-слотовых системах, составляет около 1170 м3 воздуха в час на одну корзину. Такая производительность вентиляторов позволяет отводить 4,5 кВт тепла, но тепловыделение продолжает расти. Отдельно стоящие шасси пока ещё можно охлаждать воздухом, в то же время для охлаждения стойки из трёх корзин ныне применяются комбинированные воздушно-жидкостные системы охлаждения, позволяющие рассеивать до 40 кВт тепла.
Уровень шума, производимого вентиляторами, сравнительно невысокий, а скорость вращения автоматически контролируется. При этом следует принять во внимание, что в случае выхода из строя вентилятора ограничение на максимальный уровень шума снимается, скорость вращения оставшихся в строю вентиляторов повышается до уровня 15 (по параметрической шкале контроллера управления системой охлаждения производительность системы охлаждения обозначается от 1 до 16). В случае необходимости производится управляемая аварийная остановка работы всей системы. В нормальном режиме скорость вращения вентиляторов поддерживается на уровне 5–6, что соответствует уровню шума 67 дб. На рис. 6 представлена диаграмма распределения скоростей потока воздуха по пространству шасси.
Охлаждение шасси с горизонтальным расположением модулей. Решение Schroff
Как уже отмечалось, мощность современных плат ATCA может достигать 400 Вт, модуль RTM, работающий в паре с основной платой, может потреблять до 50 Вт (450 Вт в совокупности). Для таких плат специалистами компании Schroff была разработана серия систем ATCA 450/40, шасси этой серии способны адекватно распределять питание и осуществлять эффективное охлаждение мощных модулей.
В системах с горизонтальным расположением плат, в силу конструктивных особенностей, удобно организовать приточно-вытяжную систему охлаждения с горизонтальным направлением воздушного потока от левой стенки к правой. Однако такое решение неэффективно при размещении шасси в шкафу. Специалистами Schroff было предложено решение данной проблемы и реализована новая конструкция шасси с вытяжной системой охлаждения (рис. 7).
В ней забор холодного воздуха равномерно осуществляется спереди, а выброс нагретого воздуха происходит сзади.
Благодаря продуманной схеме движения воздуха в шасси и вентиляторам, способным создать высокое давление, удалось добиться более эффективной, чем у аналогов, производительности системы охлаждения. Две резервированные вентиляторные кассеты расположены сзади в верхней части системы. Если один из двух вентиляторных блоков выдвинуть во время работы, крышка шасси закроется, чтобы воздух не входил. Благодаря новой схеме прохождения воздуха двухслотовая система стала выше на 1U. Это связано с необходимостью реорганизации потоков воздуха в системе. Также ведётся работа над реализацией аналогичной системы охлаждения для шестислотовых систем AdvancedTCA с горизонтальным расположением модулей.В рамках модификации двухслотового шасси AdvancedTCA была оптимизирована ЭМС-защита. Поскольку в системе используется объединительная плата 40 Гбит/с, большое значение имеет оптимальное экранирование высоких частот, поэтому в корзину для плат была дополнительно интегрирована решётка, обеспечивающая ещё более эффективное экранирование для защиты от воздействия других встроенных компонентов.
Потребляемая мощность и обеспечение электропитанием
Платы стандарта AdvancedTCA потребляют всё большую мощность, это потребовало разработки и внедрения новых блоков питания, соответствующих по своим мощностным характеристикам требованиям новых плат. С целью обеспечить резервирование и безопасность цепи питания шасси были разделены на 4 ветви, каждая из которых защищена предохранителем. Питание –48 В постоянного тока защищено с помощью двух резервированных модулей ввода питания (PEM – Power Entry Module). В соответствии с возросшими потребностями в питании тепловые автоматы защиты были заменены на магнитно-гидравлические, позволяющие всегда обеспечить заданное значение номинального тока и тока срабатывания, время задержки независимо от температуры окружающей среды, а также немедленное повторное включение после размыкания. Путём увеличения количества ветвей питания до 6 против 4 ныне имеющихся можно увеличить потребляемый ток до 30 А на ветвь. На рис. 8 представлена структура системы питания шасси ATCA и распределение ветвей питания по слотам объединительной панели.
Работа над новым поколением систем на базе стандарта ATCA
Новое поколение систем AdvancedTCA разрабатывается с учётом роста скоростей передачи данных и повышения требований к охлаждению оборудования в сфере телекоммуникаций. Рост интереса к спецификациям AdvancedTCA наблюдается за счёт расширения потенциального круга потребителей из числа производителей электроники общего назначения (различные инструменты и системы управления), медицинского оборудования, военной и научно-исследовательской техники. Между тем, потенциальные потребители из числа физиков-ядерщиков создали в рамках консорциума PICMG новую группу – группу физиков (WG1), чтобы разработать спецификацию со своими особыми требованиями, включающими полноразмерные RTM-платы и платы с тепловой мощностью более 400 Вт.Также недавно была сформирована группа для работы над новой версией стандарта AdvancedTCA Extension. Группа состоит из представителей телекоммуникационной индустрии и производителей серверного оборудования, чьи требования по тепловой мощности в значительной степени совпадают с требованиями группы физиков (те же 400 Вт). Дополнительно выдвигаются требования к наличию передних и тыльных (RTM) плат унифицированного размера и возможности установки в одно шасси двух объединительных плат.
Управление и сервисное обслуживание, контроллер шасси
В спецификации PICMG 3.0 представлен первый открытый стандарт, описывающий механизмы управления и сервисного обслуживания внутренних систем шасси (Shelf Management) как обязательный компонент конструктивов электронного оборудования. На ста тридцати страницах документа подробно излагаются все аспекты системы управления со ссылками на дополнительные стандарты. При создании спецификации особое внимание было уделено стандартизации наиболее важных функций, необходимых для обеспечения совместимости компонентов конструктива. При этом конечная физическая реализация отдана на откуп производителей конструктива или системного интегратора. Наиболее часто встречается исполнение контроллера шасси в виде дополнительного модуля, устанавливаемого в отдельный слот кросс-платы. Конструктивно такое исполнение представляет собой несущую плату (ShMC – Shelf Management Carrier) с разъёмом SODIMM (либо другим проприетарным), в который устанавливается модуль управления (ShMM – Shelf Management Module). На рис. 9 представлен вариант контроллера компании Pigeon Point Systems, применяемый в системах ATCA Schroff.
Имеется другой вариант, предусматривающий включение контроллера в состав модуля-шлюза, при этом таких модулей должно быть два. Такой вариант предпочтителен, поскольку модули шлюза будут играть в системе роль коммутаторов, а это упростит внедрение централизованной системы мониторинга и управления несколькими шасси.
Тестирование компонентов
Чтобы все компоненты системы работали слаженно и без сбоев, необходимо протестировать их в условиях, близких к реальным, и убедиться в их совместимости.Изделия на базе стандарта AdvancedTCA весьма сложны. В частности, связи и управление в рамках такой системы значительно более продвинутые, чем, к примеру, в системах на базе VMEbus или CompactPCI. Эта особенность требует более тесного и эффективного взаимодействия в команде разработчиков. С самого начала разработки параметры новой системы, такие как тепловыделение, анализируются с помощью специальных имитирующих программ. Это позволяет выявить возможные слабые места проектируемой системы и устранить их ещё до того, как будет реализована модель в САПР или натурный образец. Натурные образцы обязаны пройти множество различных испытаний на надёжность и соответствие требованиям технического задания. Перед началом серийного производства все компоненты системы проходят серию внутренних испытаний на ЭМС, климатические испытания в наихудших условиях. Результаты таких комплексных испытаний позволяют чётко сформулировать условия и конкретный план действий по дальнейшей разработке.
Заключение
Требования заказчика меняются в унисон с неумолимым движением технического прогресса. Компании-производители обязаны отслеживать последние тренды и предлагать новые качественные решения, соответствующие желаниям потребителя. Наибольшей эффективности производитель может достичь, контролируя все этапы разработки (конструирование, разработку печатных плат, схемотехническое проектирование), производства и интеграции компонентов. Завершающим признаком лидерства компании в области разработки сложных комплексированных изделий является глобальная мировая сеть продаж с локальными специалистами по продукции.Под торговой маркой Schroff выпускается широкий спектр изделий, соответствующих стандарту AdvancedTCA, от передних панелей и ручек до контроллеров, шасси, объединительных плат и источников питания. Слаженная работа инженеров, применение самых современных технологий, соблюдение техпроцессов и постоянный контроль качества продукции позволяют идти в ногу со временем и предлагать лучшие решения на рынке. ●
Автор – сотрудник
фирмы ПРОСОФТТелефон: (495) 234-0636
E-mail: info@prosoft.ru
Если вам понравился материал, кликните значок - вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал - не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
