Высокопроизводительный многопроцессорный вычислитель специального назначения

Введение

Вычислительные технологии настоящего времени позволяют создавать решения, демонстрирующие очень вы­сокую производительность. Решение многих задач, требовавшее в прошлом времени более суток, сейчас можно осуществить за несколько часов. Большой вклад в увеличение вычислительной мощности внесли параллельные технологии и вычисления на графических картах (графических ускорителях). Однако применение многих современных технологий для решения практических задач в системах промышленного и двойного назначения часто затруднено. Это вызвано жёсткими требованиями со стороны тех условий, в которых спецвычислитель должен эксплуатироваться, проявляющимися прежде всего в ограничении габаритов, потребляемой мощности и выделяемого тепла. Эти ограничения долгое время не давали возможности создать специализированный вычислитель с большой производительностью, необходимый для решения сложных задач в реальном масштабе времени.

ЮБИЛЕЙ СОЗДАТЕЛЯ НИИВК

В мае 2013 года Научно-исследовательский институт вычислительных комплексов отметил 90-летний юбилей своего основателя – Михаила Александровича Карцева. 

Будучи крупным специалистом в области вычислительной техники, профессором, доктором технических наук, он обладал большим талантом организатора масштабных работ, а также воспитателя научного и инженерного коллектива. Он сумел превратить небольшую группу специалистов, работавших под его началом, в организацию с большим научным потенциалом и внедренческим авторитетом – Ордена Трудового Красного Знамени Научно-исследовательский институт вычислительных комплексов (НИИВК), образованный в 1967 году. 

НИИВК завершил работы, начатые этой группой, по созданию и вводу в эксплуатацию вычислительных комплексов для управления и обработки информации радиолокационных станций, радиолокационных узлов и командного пункта первой очереди системы предупреждения о ракетном нападении (СПРН). 

Как инженер и главный конструктор вычислительных машин и комплексов Михаил Александрович Карцев прожил яркую жизнь, посвятив её развитию четырёх поколений вычислительной тех­ники. ■

Получившие в последнее время ак­тивное развитие архитектуры промышленных встраиваемых систем, ба­зи­ру­ющиеся на специализированных высокоскоростных шинах передачи данных, таких как CompactPCI, по­з­воляют создавать вычислительные комплексы небольшого размера, удовлетворяющие жёстким требованиям.

ОАО «НИИВК им. М.А. Карцева» (см. врезку «Юбилей создателя НИИВК») ведёт разработку вычислительных комплексов для различных задач, в том числе двойного назначения, таких как обработка гидроакустической и радиолокационной информации, а также создаёт специализированное программное обеспечение для них. Совместно с компанией ЗАО «НПФ «До­ломант» в рамках ОКР «Прорыв» был разработан мультипроцессорный малогабаритный масштабируемый спецвычислитель, предназначенный для использования в перспективных гидроакустических комплексах нового поколения стационарного и мобильного базирования. Эти комплексы отличаются большой дальностью обнаружения и точностью локации обнаруженных источников звука.

Архитектура спецвычислителя

Спецвычислитель представляет из себя шесть вычислительных модулей на базе процессора Intel Core i7 с тактовой частотой 1,5 ГГц и объёмом оперативной памяти 4 Гбайт, соединённых между собой посредством шины CompactPCI (рис. 1). 

Эта шина реализована с помощью двух коммутаторов CompactPCI/Ethernet, обеспечивающих надёжную работу внутренней шины за счёт резервирования и передачу данных на скоростях до 10 Гбит/с. Вычислительные модули с исторически сложившимися в ходе выполнения проекта обозначениями МЦП и МП аналогичны по архитектуре, но различаются по выполняемым функциям. МЦП является управляющим модулем, на него поступают обрабатываемые данные, и он распределяет эти данные по процессорным модулям МП, выполняющим их параллельную обработку. Вычислительный комплекс выполнен в конструктиве 6U на основе 16-слотовой стойки фирмы Schroff, которая была выбрана из-за высокой надёжности и хороших эргономических характеристик. Внешний вид комплекса и одного из его процессорных модулей показан на рис. 2.

Основные характеристики процессорного модуля (рис. 2б) следующие:

• процессор Intel Core i7-2610UE (1,5 ГГц, 4 Мбайт, два ядра);
• оперативная память DDR3 SDRAM 4 Гбайт (1333 МГц);
• графический ускоритель Wolf XMC-E6760-VO;
• флэш-диск 4 Гбайт (NAND, до 100 Мбайт/с);
• жёсткий диск 500 Гбайт (SATA II).

Дополнительно в состав комплекса введена мощная рабочая станция, осна­щённая графическими ускорителями NVIDEA Tesla с поддержкой технологии CUDA.

Результаты проведённого в ходе ОКР сравнения комплекса с известными его аналогами по производительности и ряду других характеристик сведены в табл. 1.

Разработанный спецвычислитель по своим техническим характеристикам (пиковая производительность, потребляемая мощность, габариты) находится на уровне лучших отечественных и за­рубежных систем, а по ряду параметров превосходит их.

Конструкция комплекса дополнительно обеспечивает:

• автоматическое управление режимом работы вентиляторов;
• возможность установки модулей тыльного ввода/вывода;
• время готовности к работе после включения 2 минуты;
• массу не более 50 кг;
• габаритные размеры (Ш×В×Г) 500×450×300 мм.

Отличительной особенностью спецвычислителя является применение графических ускорителей AMD/ATI Ra­de­on E6760, позволяющих не только выводить видеоизображения, но и использовать их для обработки данных параллельно центральному процессору, что значительно увеличивает общую произ­водительность. Применение графических ускорителей в подобных комплексах стало возможно в последнее время благодаря появлению специальной ли­нейки чипов серии Embedded, выпущенной компанией AMD, и специальных плат мезонинного исполнения на их основе. Архитектура и конструкция спецвычислителя позволяют в зависимости от задачи использовать разное количество графических ускорителей – от 0 до 6.

Программное обеспечение спецвычислителя

­­­­­­Для использования спецвычислителя в гидроакустическом комплексе (ГАК) разработано программное обеспечение, реализующее перспективные алгоритмы обработки гидроакустической информации. Отработка алгоритмов проводилась по следующей схеме.

С компьютера-имитатора по оптико-волоконному кабелю на спецвычислитель поступал временной сигнал. Он преобразовывался в частотную об­ласть, после чего выполнялась первичная и вторичная обработка. Из-за сложности задачи и большого объёма данных при обработке применялось распараллеливание как на уровне ядер процессора, так и на уровне вычислительных модулей. Такой подход позволил сократить время обработки информации с 40 минут на обычной персональной ЭВМ до приемлемых 2 минут на спецвычислителе с максимальным использованием его возможностей. Окна визуализации результатов первичной и вторичной обработки представлены на рис. 3.

Модуль работал под операционной системой SUSE Linux Enterprise Server 11 SP1 64-bit. Весь процесс работы вы­числительного комплекса был цикличный, что являлось имитацией ре­аль­ных условий, программа останавливалась только по желанию пользователя. Весь процесс приёма и передачи ин­формации можно было наблюдать на экране. Достигнутые показатели вре­ме­ни цикла работы программы оказались достаточными для решения по­ставленных задач.

Стоит сказать, что на этапе первичной обработки сигнала производилось большое количество операций быстрого преобразования Фурье, а также перемножения и сложения матриц больших размерностей (более чем 1000 на 1000 элементов) при накоплении ковариационной матрицы. Это обстоятельство потребовало задействовать всю мощность используемых графических ускорителей с применением для написания программ библиотеки OpenCL, что дало значительный прирост производительности и оправдало высокую стоимость применяемых ускорителей. Часть программ, которые выполнялись на центральном процессоре, были распараллелены с помощью технологии OpenMP. Наряду с OpenCL для увели­чения быстродействия была использова­на библиотека Intel MKL (Math Ker­nel Library) для архитектуры x64.

Заключение

Применение описанных в статье программно-аппаратных решений позволило построить мощный спецвычислитель и с его помощью смоделировать и доработать более точные алгоритмы обработки информации для современного гидроакустического комплекса. За счёт высокой производительности вы­числитель мог совместно обрабатывать ин­формацию от большого числа гидрофонов, объединённых в сегменте антенны, что позволило повысить точность обнаружения, позиционирования и клас­сификации целей. Подобное стало возможным только благодаря применению распараллеливания и графических ускорителей. Этот факт явля­ется подтверждением перспективности использования решений подобной архитектуры с графическими ускорителями. ● 

E-mail: niivk@mail.ru