Применение платформы шкафов VARISTAR в центре синхротронного излучения ALBA CELLS

Введение

Термин «синхротронное излучение» (СИ) связан с его источником – кольцевым ускорителем электронов, или синхротроном, в котором электроны движутся по окружности в магнитном поле. Круговое движение приводит к тому, что электрон испытывает центростремительное ускорение, за счёт чего и возникает СИ, которое можно получать в инфракрасном, видимом и рентгеновском диапазонах. СИ активно используется для решения широкого круга фундаментальных и прикладных задач в физике, химии, материаловедении, биологии, экологии, медицине, геологии, археологии и других областях, включая задачи, связанные с нанотехнологиями, которые, по мнению учёных, должны в корне изменить лицо многих отраслей промышленности в XXI веке, совершив новую промышленную революцию.

Современные синхротроны, используемые в качестве специализированных источников СИ, зачастую представляют собой огромные дорогостоящие инженерно-технические комплексы, управление которыми и их эксплуатация – задача сложная и ответственная, в том числе чрезвычайно высоки требования, предъявляемые к конструктивам для размещения высокочувствительного электронного оборудования, связанного с обслуживанием таких комп­лексов.

Центр синхротронного излучения ALBA

Фирма Schroff, разработчик и производитель корпусных систем и шкафов для электронного оборудования, опубликовала информацию об успешном применении унифицированной платформы шкафов VARISTAR в центре синхротронного излучения ALBA, расположенном в Серданьоле-дель-Вальес, недалеко от Барселоны (рис. 1).

Этот ускорительный комплекс по­строен и эксплуатируется консорциумом CELLS (Consortium for the Exploi­tation of the Synchrotron Light Labora­tory), и профинансирован в равных до­лях правительствами Испании и Ката­ло­нии. Первый этап проекта потребовал государственных инвестиций в объёме более 200 млн евро. Всего же до 2020 года в проект планируется вложить 420 млн евро [1].

По своим техническим параметрам ALBA является современным источником СИ третьего поколения и на первом этапе сможет принимать 1000 учёных, занимающихся исследованиями в различных областях науки. В первой половине 2012 года в опытную эксплуатацию введены 7 каналов вывода СИ на пользовательские экспериментальные станции (лаборатории). По мере развития местных и международных потребностей мощность комплекса будет наращиваться до 32 экспериментальных станций, что позволит обслуживать более 4000 исследователей в год [1].

Экономичная архитектура распределённой системы управления ALBA

При проектировании системы управления комплексом ALBA особое внимание уделялось стоимости и функциональности программного и аппаратного обеспечения [2]. Технологическое оборудование размещено на всём протяжении тоннеля длиной около 268 метров со средним радиусом 42 метра, а управляющая им электроника – в шкафах, установленных в зоне обслуживания, окружённой тоннелем. В результате система охватывает множество территориально распределённых объектов.

Учитывая высокую степень территориальной распределённости оборудования, требовалось, с одной стороны, применение распределённого программного обеспечения (ПО) в сочетании с быстрой и надёжной шиной связи, с другой стороны – уменьшение доли избыточно сложных и дорогостоящих технических и программных средств.

При выборе программного обеспечения разработчики, как это принято в научном сообществе, ориентировались на открытые архитектуры и свободно распространяемое ПО. Так, в качестве связующего ПО была выбрана свободно распространяемая объектно-ориентированная система Tango (от англ. TAco Next Generation Objects), которая широко применяется при автоматизации современных физических экспериментальных комплексов [2].

Коммерческие SCADA-системы, использующиеся на некоторых других ускорителях, не полностью удовлетворяли специфическим требованиям разработчиков, поэтому для построения человеко-машинного интерфейса была создана «научная» SCADA-надстройка над Tango – Sardana.

И всё же обойтись совсем без коммерческого ПО не удалось. Хотя большинство рабочих станций и серверов работают под управлением Linux (openSUSE 11.1), на 10% компьютеров используются операционные системы семейства Windows. Кроме того, потребовались лицензии Matlab для пакета Matlab Middle Layer.

Сети связи, включая полевые шины, было решено реализовать на основе сети Ethernet, проложенной по всем помещениям и связывающей между собой все основные подсистемы комплекса [2]. Для обеспечения поддержки реального времени в рамках стандарта Ethernet использовалось соответствующее оборудование. Система защиты оборудования (EPS, Equipment Protec­tion System) создана на базе компактных и экономичных ПЛК B&R с использованием протокола Powerlink. Исключение составила только система безопасности персонала (PSS, Personnel Safety System), соответствующая уровню безопасности SIL3 и построенная на контроллерах фирмы Pilz с шиной SafetyBUS.

Контроллеры ввода-вывода системы управления ускорителем реализованы на основе бездисковых CompactPCI-компьютеров и промышленных ПК фирмы ADLINK [3]. При создании системы синхронизации оборудования [4], основанной на событиях, использовались процессорные модули 3U и 6U (cPCI-3840 и cPCI-6965) и шасси (cPCIS-2632, cPCIS-6418U, cPCIS-6130R) компании ADLINK и 3U CompactPCI-версии генераторов и приёмников событий фирмы MRF (Micro-Research Finland).

Выбор в пользу CompactPCI и промышленных ПК внёс существенный вклад в решение задачи оптимизации стоимости при сохранении высокого уровня эффективности, безопасности и функциональности. Использование CompactPCI, а не традиционной для этой области шины VME позволило достичь минимум 30% экономии [2].

Использование Ethernet в качестве полевой шины дало возможность создать однородную сетевую инфраструктуру, существенно сократив количество последовательных соединений, монтаж которых требует больших временны́х затрат. CCD-камеры, осциллографы, системы питания и другое оборудование контролируются через Ethernet, что позволило радикальным образом уменьшить число дорогостоящих коаксиальных кабелей.

В общей сложности аппаратная инфраструктура системы управления включает в себя порядка 350 шкафов, 17 000 кабелей и 6300 единиц различного оборудования. Более 150 бездисковых промышленных компьютеров рассредоточено в зоне обслуживания ускорителя. 30 многоядерных серверов в центре обработки данных (ЦОД) обрабатывают информацию о нескольких тысячах переменных [2].

Выбор шкафа для различных применений

Перед разработчиками проекта ALBA стояла непростая задача выбора оптимального по соотношению цена/ка­чест­во шкафа, удовлетворяющего техническим требованиям сразу трёх основных областей применения: размещения оборудования контроля и управления в сервисной зоне, установки серверного оборудования в ЦОД, размещения сетевого оборудования при развёртывании IT-инфраструктуры комплекса.

Шкафы с оборудованием контроля и управления ускорителем и экспериментальными станциями, размещаемые в сервисной зоне непосредственно у кольца ускорителя, должны обеспечивать высокую функциональность и удобный доступ к оборудованию. Кроме того, требовались возможность установки шкафов в ряд и высокая жёсткость конструкции, ввиду того что шкафы должны были транспортироваться и устанавливаться на свои места при помощи подъёмного крана. Ещё одним требованием к шкафам в этой зоне был цоколь высотой 50 см, необходимый для создания фальшпола (рис. 2), который обеспечивал бы достаточное пространство для прокладки кабельных трасс. Таким образом основной пол не стал бы препятствием при проведении всех последующих кабельных работ в помещении.

Основными требованиями к серверным шкафам и их принадлежностям были механическая прочность и размеры, обеспечивающие установку современных серверов.

От сетевых шкафов требовались невысокая стоимость, рациональность конструкции, продуманная организация кабельной системы с обозримыми зонами прокладки кабелей, а также высокая нагрузочная способность.

Вопрос обеспечения электромагнитной совместимости решался на стадии проектирования всего помещения, по-этому дополнительных опций на уровне отдельных шкафов не требовалось.

Таким образом, разработчикам проекта ALBA требовалась стандартная и вместе с тем достаточно надёжная и гибко конфигурируемая платформа шкафов, подходящая для всех возможных задач с расчётом на 30-летний срок эксплуатации комплекса. Использо­вание различных шкафов неизбежно повлекло бы за собой издержки, связанные с несовместимостью принадлежностей и крепёжных элементов между собой, что в долгосрочной перспективе привело бы к увеличению совокупной стоимости владения. После тщательного исследования рынка, переговоров и консультаций с целым рядом производителей в CELLS было принято решение использовать платформу шкафов VARISTAR фирмы Schroff [5].

Платформа шкафов VARISTAR

Платформа VARISTAR по сути представляет собой универсальный конструктор шкафов, удовлетворяющих всем основным требованиям к шкафам для электронного оборудования. В своём составе этот конструктор предлагает два варианта каркаса разных классов «грузоподъёмности». В стандартном (Slim-Line) исполнении каркас выдерживает максимальную статическую нагрузку до 400 кг, а в усиленном (Heavy-Duty) — до 800 кг. Обе версии каркаса разработаны для размещения 19" оборудования, допускают объединение в ряд и поддерживают единый ассортимент элементов облицовки, принадлежностей для монтажа оборудования и организации укладки кабелей. Из этих составных частей в большинстве случаев можно собрать шкаф, удовлетворяющий требованиям конкретного приложения.

Реализация проекта

В настоящее время в различных частях комплекса используется в общей сложности около 390 шкафов [5] Varistar (рис. 3).

Шкафы контроля и управления, установленные в сервисной зоне и на экспериментальных станциях, базируются на каркасе Slim-Line с основанием 600×800 мм (рис. 4). В этих шкафах, за редким исключением, размещено только 19" оборудование. Отвод тепла осуществляется при помощи вентиляторных блоков с регулируемой частотой вращения вентиляторов.

Для оснащения центра обработки данных (ЦОД) были выбраны серверные шкафы глубиной 1000 мм, что позволило разместить мощные современные серверы, сохранив достаточное пространство для укладки кабелей (рис. 5). 

Перфорированные передние и задние двери обеспечивают воздухообмен до 78% и эффективный отвод тепла. Устойчивый выдвижной упор предотвращает опрокидывание, а усиленные полки и направляющие рельсы способствуют безопасной установке и эксплуатации тяжёлых компонентов. В настоящее время охлаждение оборудования ЦОД обеспечивается за счёт кондиционирования всего помещения. Тем не менее, с прицелом на будущее шкафы были установлены таким образом, чтобы предусмотреть в дальнейшем организацию системы горячих и холодных коридоров. После вывода комплекса на полную мощность охлаждения за счёт одного лишь кондиционирования воздуха может оказаться недостаточно. Предусмотрена возможность использования холодильных агрегатов или жидкостных систем охлаждения, в частности, штатной системы LHX40 с отводимой мощностью до 40 кВт на шкаф.

Продуманная организация укладки кабелей играла ключевую роль при выборе шкафов для размещения сетевого оборудования. В шкафах VARISTAR предусмотрены четыре зоны для прокладки и крепления всех типов кабелей (рис. 6). 

Более того, для каждой зоны имеются специальные принадлежности, облегчающие организацию кабельной системы и чёткое разделение кабелей питания и кабелей передачи данных. Были выбраны шка­фы с основанием 800×800 мм. Перед­ние и задние двери навешиваются на петли, обеспечивающие угол открывания дверей для соединённых в ряд шкафов 180°. Заглублённые держатели 19" панелей обес­печивают достаточное пространство для допустимого радиуса изгиба соединительных кабелей. Ком­по­ненты, не являющиеся 19-дюймовыми, размещаются на стационарных и выдвижных полках.

Итоги

Шкафы поставлялись к месту возведения комплекса по согласованному с заказчиком графику отдельными партиями на специальный склад. Там осуществлялась их предварительная сборка с частичной установкой оборудования, после чего шкафы при помощи подъёмного крана транспортировались к месту установки, где проводилась окончательная сборка систем (рис. 7). 

Гибкость и функциональность платформы шкафов VARISTAR произвели хорошее впечатление на специалистов, ответственных за этот проект. При­менение унифицированной платформы позволило не использовать дорогостоящие заказные разработки в проекте, существенно сократив его стоимость. Все поставленные заказчику изделия были стандартными, а единственной заказной разработкой Schroff в этом проекте стал 50-сантиметровый цоколь, необходимый для создания фальшпола в сервисной зоне [5]. ●

Литература

1. ALBA Synchrotron Light Facility [Элект­рон­ный ресурс]. – Режим доступа : http://www.cells.es.
2. D. Ferna'ndez-Carreiras, D. Beltra'n, T. Cou­­tinho, et al. The design of the ALBA cont­rol system: a cost-effective distributed hard­ware and software architecture // Proceedings of ICALEPCS2011, October 2011.
3. D. Ferna'ndez-Carreiras (on behalf of the Controls Group, CELLS). Status of the ALBA Control System // Proceedings of ICALEPCS2009, October 2009.
4. J. Moldes, D. Beltraˆn, D. Ferna'ndez, et al. The MRF timing system. The complete control software integration in TANGO // Proceedings of ICALEPCS2011, October 2011.
5. Christa Weil. ALBA Synchrotron: particles on a fast circuit. A cabinet platform for all applications. – Schroff GmbH, 2011. 

Автор – сотрудник фирмы ПРОСОФТ
Телефон: (812) 448-0444
E-mail: info@spb.prosoft.ru