Фильтр по тематике

Платформа ГРИФОН для решения задач встраиваемых систем специального назначения

1954 0

В статье представлены основные сведения об отечественной многоцелевой высокопроизводительной гетерогенной вычислительной платформе ГРИФОН в контексте общих подходов к созданию высокопроизводительных вычислительных встраиваемых систем.

Введение

Все встраиваемые системы, с точки зрения рисков, наступающих по причине отказа аппаратуры, можно разделить на встраиваемые системы общего и специального назначения.
Так, под специальным назначением понимается применение встраиваемых систем для таких задач, где риски выхода из строя или частичного отказа аппаратуры приводят к необратимым масштабным негативным последствиям. 
К специальным применениям однозначно можно отнести использование встраиваемых систем на сложных объектах и для ответственных задач. Это прежде всего объекты атомной энергетики и нефтегазовой отрасли, транспорт, системы управления опасными процессами в промышленности, вооружение и военная техника.
Исходя из областей применения, в том числе и в качестве бортовой аппаратуры, требования к надёжности и безотказности встраиваемых систем специального назначения существенно выше, чем для встраиваемых систем общего назначения. Кроме того, большинство прикладных задач ответственных применений весьма ресурсоёмки и требуют как больших вычислительных ресурсов для организации высокопроизводительных вычислений (HPC – High Performance Computing), так и наличия мощных аппаратных ресурсов для реализации прикладных процессов ввода-вывода при необходимости работы с большими объёмами данных (Big Data). Поэтому рынок встраиваемых систем специального применения всегда был и будет являться одним из наиболее высокотехнологичных. 
Специально для успешного решения подобных ответственных задач в ЗАО «НПФ «ДОЛОМАНТ» была разработана новая отечественная высокопроизводительная гетерогенная вычислительная платформа ГРИФОН (ВГВП ГРИФОН, далее ГРИФОН, рис. 1). 

ГРИФОН представляет собой универсальную суперкомпьютерную вычислительную платформу для решения практических задач высокопроизводительных вычислений в жёстких условиях эксплуатации – при критических массогабаритных ограничениях аппаратной части – для решения HPC-задач встраиваемого класса.
Большинство задач встраиваемого класса, для которых необходимо применение HPC-решений, на мировом рынке отнесены к отдельному сегменту – HPEС (High Performance Embedded Computing). Сегодня HPEC – это особый рынок, объединяющий сразу несколько сегментов в один уникальный сегмент со своими потребителями, игроками, прикладными задачами и, конечно, со своими подходами к созданию HPEC-решений. 
Укрупнённо можно выделить следующие основные подходы к созданию HPEC-решений.
  1. Открытая архитектура.
  2. Массогабаритные ограничения и энергоэффективность. 
  3. Возможность применения в жёстких условиях эксплуатации.
  4. Возможности по созданию многопроцессорных конфигураций.
  5. Низкие задержки и высокоинтенсивный интерконнект между вычислителями.
  6. Высокая вычислительная плотность – максимальная производительность на кубический сантиметр.
  7. Богатые ресурсы ввода-вывода данных, как в цифровом, так и в аналоговом виде.
  8. Гетерогенность вычислительной среды. 
Платформа ГРИФОН – это современное HPEC-решение отечественного производства, построенное с учётом всех перечисленных подходов и реализующее целостную концепцию многоцелевой высокопроизводительной вычислительной платформы с гетерогенной вычислительной средой для решения задач высокопроизводительных вычислений в жёстких условиях эксплуатации.
Рассмотрим подробнее воплощение каждого из перечисленных подходов в платформе ГРИФОН.

Подход 1: открытая архитектура

Для максимально оперативного и рентабельного построения встраиваемых вычислительных систем (HPEC-систем), объединяющих зачастую большое количество разнородных вычислительных ресурсов, как правило, используются унифицированные модульные стандарты. От выбора стандарта будет зависеть цикл жизни прикладной системы, её модернизационный потенциал, обратная совместимость и стоимость серийного производства изделий, построенных на его базе. 
Именно по этим причинам одним из головных принципов построения HPEC-решений является применение открытых технологических стандартов и спецификаций. Особую актуальность для отечественных предприятий это приобретает сегодня, когда современная внешнеполитическая обстановка характеризуется высокой степенью нестабильности, что напрямую отражается на многих отраслях отечественной промышленности. Прогнозировать перспективы отношений с западными поставщиками электроники не берётся никто, поэтому отечественным предприятиям, применяющим специальное оборудование для решения ответственных задач, как никогда необходимо иметь уверенность в выборе применяемой электроники на ближайшую и среднесрочную перспективу. Эта уверенность может быть обоснованно подкреплена применением отечественных решений, построенных на максимально открытых стандартах.
Для создания платформы ГРИФОН применён набор современных открытых технологических стандартов с сохранением всех их преимуществ. Платформа ГРИФОН построена на базе полностью открытого модульного технологического стандарта CompactPCI Serial, а в качестве основного транспортного интерконнекта используется открытый стандарт PCI Express. 

CompactPCI Serial

Существенным преимуществом спецификации CompactPCI Serial является доступная и прозрачная документация. Спецификация CompactPCI Serial чётко и однозначно определяет назначение всех элементов, от описания механической конструкции до назначения всех типов контактов. Спецификация описывает и логический уровень взаимодействия, например, топологию применяемых в стандарте интерконнектов – PCIe, Ethernet, SATA, USB и т.д., в то время как ряд широко применяемых модульных стандартов, например VPX, OpenVPX, MicroTCA и т.п., представлен набором более сложно задокументированных спецификаций и системных профилей, далеко не всегда открытых для отечественного производителя. Так, спецификация CompactPCI Serial предлагает широкие возможности по применению модулей из семейства предшествующих спецификаций – PICMG 2.0, 2.30, 2.16. 
По ряду оценок, стандарт будет актуален в следующие 15–25 лет, что обеспечивает не только высокую совместимость, но и долгий жизненный цикл изделий на базе платформы ГРИФОН. 

PCI Express

Для платформы ГРИФОН в качестве основного транспортного интерконнекта при межмодульном взаимодействии используется последовательная шина PCI Express 3-го поколения. Отличаясь высокой пропускной способностью и низкими задержками, PCI Express не имеет лицензионных ограничений на использование и на масштабируемость, в отличие от ряда аналогичных интерфейсов.
Кроме того, сегодня PCI Express является самым распространённым открытым интерфейсом, встроенным в подавляющее большинство микропроцессоров, что обеспечивает следующие преимущества:
  • даёт широкие возможности по применению максимально расширенной элементной базы для изготовления вычислительных модулей;
  • позволяет использовать отечественную элементную базу (процессоры с архитектурой Эльбрус, Байкал) наряду с зарубежной в одной вычислительной системе;
  • при попадании той или иной номенклатуры электронных компонентов под ограничения ввоза на территорию РФ есть возможность изыскать требуемые компоненты из максимально широкого перечня, не попавшего под эти ограничения, и оперативно провести планирование и сам переход на аналоги. 
С учётом современной внешнеполитической обстановки очевидно, что применение открытых стандартов сегодня и есть гарантия совместимости аппаратных вычислительных ресурсов и длительного жизненного цикла прикладных систем, построенных на их основе.

Подходы 2–3: массогабаритные ограничения для применений в жёстких условиях эксплуатации

Для HPEC-систем, работающих в составе бортовой аппаратуры объектов вооружения (на борту летательных аппаратов, в составе бортовой аппаратуры морского или сухопутного базирования), кроме высоких требований к вычислительным ресурсам, предъявляются также существенные требования по массогабаритным характеристикам аппаратной составляющей прикладной системы при наличии внешних воздействующих факторов (ВВФ) окружающей среды. К последним относятся постоянные или периодические вибрационные/ударные нагрузки, расширенный диапазон рабочих температур, а также влияние ряда других ВВФ. Платформа ГРИФОН ориентирована на применение в жёстких условиях эксплуатации, где требуется максимальная устойчивость к воздействию факторов окружающей среды. 
Конструктивно платформа ГРИФОН состоит из базовых вычислительных блоков. Внешний вид вариантов конструктивных исполнений представлен на рис. 2. 

Стойкость ГРИФОН к неблагоприятным ВВФ соответствует требованиям ГОСТ РВ 20.39.304-98, что позволяет применять ГРИФОН для прикладных систем как стационарного, так и бортового базирования.
Базовый вычислительный блок представлен в двух конструктивных исполнениях: ГРИФОН-К с кондуктивной системой отведения тепла и ГРИФОН-С с системой принудительного воздушного охлаждения. 
ГРИФОН-К – бортовое исполнение (рис. 2а), ориентированное на применения в условиях массогабаритных ограничений при влиянии ряда неблагоприятных ВВФ. В ГРИФОН-К используется кондуктивный отвод тепла от функциональных модулей с использованием клиновидных зажимов с дальнейшим конвекционным охлаждением корпуса. Составные части ГРИФОН-К не имеют подвижных элементов, а сами модули встроены в теплосъёмную кассету, что позволяет применять ГРИФОН-К в составе бортовой аппаратуры.
ГРИФОН-С – индустриальное исполнение с заявленными требованиями к основным ВВФ (рис. 2б). В данном исполнении базовый блок ГРИФОН может быть установлен в стандартную телекоммуникационную стойку 19″. Для отвода тепла используется метод принудительного воздушного охлаждения функциональных модулей и самого корпуса ГРИФОН-С. 
Для HPEC-решений характерна высокая вычислительная плотность (см. подход 6): необходимо в минимальный объём аппаратуры уместить максимально производительную вычислительную конфигурацию, что может создать определённый порог суммарной рассеивающей способности бортовой аппаратуры. Кроме того, для некоторых бортовых систем, например для аппаратуры подводных судов, актуальны требования допустимого уровня шума работы аппаратуры. Учитывая данные факторы, согласно поэтапному плану реализации концепции ГРИФОН в настоящее время ведутся работы по созданию конструктивного исполнения с использованием жидкостной системы охлаждения. Это позволит существенно улучшить рассеивающую способность вычислительных блоков ГРИФОН, а с другой стороны, минимизировать уровень шума при работе бортовой аппаратуры.
Наличие нескольких вариантов конструктивных исполнений и соответствие требованиям ГОСТ РВ 20.39.304-98 покрывает потребности всех областей использования и делает возможным применение изделий на базе ГРИФОН как для объектов автоматизации стационарного базирования с заявленными требованиями стойкости к ВВФ, так и для аппаратуры мобильного базирования – сухопутного, морского или воздушного. 

Подходы 4–5: возможность создания многопроцессорных конфигураций и высокоинтенсивный интерконнект

Все HPEC-решения являются встраиваемыми, но не все встраиваемые системы можно отнести к области HPEC. Так, существует большое количество встраиваемых систем для эксплуатации в суровых условиях, выполняющих строго определённый набор функций. 
При этом для них не предъявляются требования по реконфигурируемости или решению на их базе задач высокопроизводительных вычислений. 
Прикладные же HPEC-задачи, как правило, более трудоёмки и требуют обеспечения существенно бо́льших ресурсов и возможностей по организации сложных вычислительных про­цессов.
ГРИФОН – это многоцелевая магистрально-модульная HPEC-платформа (рис. 3).

Модульный подход позволяет оперативно создавать проблемно-ориентированные конфигурации ГРИФОН за счёт выбора и установки в вычислительный блок необходимого набора прикладных модулей, исходя из потребности при решении той или иной прикладной задачи.
Для наращивания аппаратных ресурсов и вычислительной мощности представляется возможным масштабировать решение, объединяя блоки ГРИФОН по линиям высокоскоростных интерфейсов (10 Gigabit Ethernet, PCI Express). Так, базовый вычислительный блок ГРИФОН оснащён стандартной кросс-платой CompactPCI Serial на 9 посадочных мест для функциональных модулей. 
В качестве транспортного интерконнекта при межмодульном взаимодействии используется последовательная шина PCI Express 3-го поколения (Gen3). По объединительной плате базового вычислительного блока ГРИФОН заведены линии PCI Express Gen3 в составе двух x8 и шести x4 в реализации 3U (рис. 4).

При этом первый слот является системным (слот 1 на рис. 4), остальные могут быть укомплектованы модулями произвольно. 
Для того чтобы максимально раскрыть потенциал платформы ГРИФОН, в ЗАО «НПФ «ДОЛОМАНТ» разработан набор функциональных модулей (табл. 1).

Одним из уникальных является модуль коммутации PCI Express – KIC551. Будучи установленным в системный слот, модуль KIC551 позволяет задействовать для коммутации все линии кросс-платы PCI Express по всей ширине их контактов, а именно две линии x8 + шесть линий x4 шины PCI Express Gen3. При этом суммарная максимальная теоретическая пропускная способность внутри базового вычислительного блока ГРИФОН составляет до 640 Гбит/с. 
Таким образом, на базе платформы ГРИФОН впервые задействован весь потенциал интенсивности межмодульного взаимодействия стандарта Com­pactPCI Serial в реализации 3U.
Соединение модулей с подключением через коммутатор PCI Express на физическом уровне соответствует топологии «звезда», при этом на логическом уровне модули могут взаимодействовать между собой в режиме прямого доступа к памяти (DMA) с поддержкой транзакций «каждый с каждым» (Peer-to-Peer). 
Такой подход, наряду с применяемой высокоскоростной последовательной шиной PCI Express, позволяет строить различные мультипроцессорные вычислительные контуры и организовывать параллельно-конвейерную обработку данных любой сложности.

Подходы 6–7: высокая вычислительная плотность и ресурсы ввода-вывода

Пожалуй, ключевой характеристикой современных суперкомпьютеров является пиковая производительность, выражаемая во FLOPS (FLoating-point Ope­rations Per Second), то есть в пиковом значении количества операций с плавающей запятой, совершённых вычислительной системой за секунду. Как известно, для вычисления данного значения применяется набор тестов  на базе программной библиотеки LINPACK, при этом не учитываются другие характеристики вычислительной системы, такие как возможность работы с большим объёмом разнородных данных, масса, габариты или, например, энергоэффективность вычислительной системы. 
Рейтинг суперкомпьютеров TOP500 как раз и строится на базе показате­­лей пиковой производительности. Для встраиваемых систем специального назначения высокая производительность, безусловно, является важной характеристикой, но при этом необходимо уместить максимальную вычислительную производительность в минимальный габаритный объём, например, для бортового применения. Поэтому, учитывая назначение, для описания производительности HPEC-решений применяются удельные характеристики как более информативные и корректные. Такой характеристикой служит значение вы­чис­лительной плотности, выраженной во FLOPS на кубический сантиметр объёма аппаратуры – FLOPS Per Cubic cm. 
Для платформы ГРИФОН представляется возможными использовать широкую номенклатуру вычислительных модулей на базе современных высокопроизводительных компонентов (табл. 1), что позволяет получить высокие показатели производительности вычислительных систем, построенных на базе ГРИФОН.
Конфигурация вычислительных блоков ГРИФОН зависит от потребностей в вычислительных ресурсах при решении той или иной прикладной задачи. Одна из возможных конфигураций базового вычислительного блока представлена на рис. 5. 

Для ввода-вывода данных в вычислительный контур изделий на базе ГРИФОН предусмотрено несколько вариантов.
Простейший способ – ввод данных по сети 10 Gigabit Ethernet через коммутатор KIC551 или модуль NIM550 – двухканальный контроллер оптического или проводного 10 Gigabit Ethernet.
При необходимости быстрой предварительной обработки большого объёма данных в цифровом или аналоговом виде может быть использован способ ввода в вычислительный контур изделия через интерфейсы на базе мезонинных модулей FMC.
Так, для минимизации задержек и экономии ресурсов центрального процессора данные могут быть переданы непосредственно для обработки на ПЛИС без транзита по транспортной шине и обработки хостом (ЦП). Во всех модулях на базе ПЛИС (FPU500 и FPU501) предусмотрен мезонинный разъём HPC (слоты 4 и 5 на рис. 5).
При меньших потребностях в оперативной обработке или быстром вводе-выводе данные могут быть введены с использованием модуля ввода DIC551 (слот 9 на рис. 5), который также оснащён мезонинным разъёмом.
Ещё одним способом ввода данных могут служить слоты расширения PCIe, размещённые на модуле KIC552, предназначенном для соединения блоков между собой с разнесением до 50 метров или вво­да данных по PCIe (слот 3 на рис. 5).
Кроме этого, в состав платформы ГРИФОН включён широкий набор интерфейсов для подключения различных периферийных устройств (табл. 1), а при необходимости использования для ввода-вывода каких-либо других интерфейсов (мало распространённых, устаревших или нестандартных) модули могут быть оперативно дополнены нужными интерфейсами по требованиям заказчика. 
Возможности гибкого конфигурирования ГРИФОН позволяют строить малогабаритные высокопроизводительные системы с адаптивным наращиванием функционала и вычислительной мощности изделий или создавать распределённые системы на базе ГРИФОН путём каскадирования блоков по PCI Express х8 или 10 Gigabit Ethernet (рис. 6).

Подход 8: гетерогенность вычислительной среды

Решение современных вычислительных задач систем специального назначения связано с обработкой высокоинтенсивных потоков разнородных данных – это сигнальная информация, шифрованный трафик, данные от многочисленных датчиков, потоковое видео и т.д. При этом для максимально эффективной обработки структурно-разнородной информации целесообразно использовать вычислители-обработчики различных архитектур, наиболее подходящих для каждого типа данных. В ГРИФОН предусмотрена такая возможность, потому что ГРИФОН – это гетерогенная вычислительная платформа. 
Сегодня для организации вычислительных процессов для платформы ГРИФОН разработаны вычислительные модули на базе наиболее востребованных архитектур (рис. 7). 

В качестве модуля ЦП представлен процессорный модуль CPC512 на базе Intel Core i7, для решения специальных задач – модули FPGA: FPU500 на базе Virtex 6, 7 и FPU501 на базе Kintex Ultrascale, для решения графических или других вычислительных задач возможно использование линейки модулей VIM556 на базе графических карт NVIDIA или AMD (табл. 1). Кроме того, в разработке находится вычислительный модуль на базе отечественной архитектуры Эльбрус с использованием процессора Эльбрус-4С, который также можно будет применять совместно с модулями других типов в рамках гетерогенных конфигураций ГРИФОН.
Из рис. 8 видно, что вычислительные модули взаимодействуют посредством шины PCIe, при этом каждый из модулей на базе разных микроархитектур (FPGA, x86, Эльбрус, графические процессоры) имеет свои особенности взаимодействия по шине PCIe с центральным процессором, с другими вычислительными модулями.
Условные обозначения: CPU – вычислительный модуль на базе центрального процессора; GPU – вычислительный модуль на базе графического процессора; FPU – вычислительный модуль на базе ПЛИС; PCIe – высокопроизводительная шина передачи данных; NTB – Non-Trasparent Bridge (контроллер непрозрачных мостов); DIC551 – мезонинный модуль ввода; KIC552 – модуль расширения PCIe.
Кроме того, каждый из модулей на базе различных архитектур имеет собственную парадигму программирования для этой архитектуры, и далеко не всегда это коррелирует с компетенциями разработчиков прикладных систем.
В концепции ГРИФОН под гетерогенностью понимается не просто возможность построения конфигурации изделий с одновременным использованием модулей на базе различных архитектур, но и возможность ведения эффективной разработки прикладного программного обеспечения, не осложнённой множеством особенностей и нюансов программирования гетерогенных конфигураций.
Для этого необходимо решение следующих задач:
  • абстрагировать разработчиков прикладных систем от особенностей низкоуровневого взаимодействия модулей на базе различных архитектур;
  • предоставить максимально стандартные интерфейсы для организации взаимодействия между вычислителями;
  • предоставить возможность по организации прямого межмодульного взаимодействия без участия центрального процессора или других вычислительных модулей. 
Для решения этих задач для каждого из типов межмодульного взаимодействия были разработаны программные средства, являющиеся неотъемлемыми программными компонентами платформы ГРИФОН.

Взаимодействие модулей на базе центрального процессора (CPU-CPU) 

Основой для построения мультипроцессорных систем на PCIe является виртуальный механизм непрозрачных мостов (NTB – Non-Trasparent Bridge), которые позволяют работать с разделённым адресным пространством. NTB имеют две области конфигурационных регистров (для внутреннего и внешнего адресного пространства). NTB виден и со стороны внутренней, и со стороны внешней шины как отдельное периферийное устройство. 
Этот механизм применяется и для организации взаимодействий для платформы ГРИФОН. 
Для взаимодействий модулей на базе центрального процессора (CPU-CPU) реализовано три основных механизма:
  1. Сетевой драйвер с транспортом IP по PCIe. В основе этого метода лежит принцип туннелирования IP-пакетов по PCIe. Разработан драйвер виртуального сетевого устройства с использованием непрозрачных мостов, осуществляющий функции трансляции адресов с транзакцией IP-пакетов по шине PCIe. Основным преимуществом этого метода является прозрачность для приложений пользователя. Для запуска прикладного ПО на изделиях ГРИФОН не потребуется перекомпиляция. Будут работать и библиотеки высокого уровня, такие как MPI или QT. Главным недостатком является дополнительная нагрузка на процессор, которая возникает в связи с необходимостью формирования сетевых пакетов и обработки стека протоколов TCP/IP.
  2. Библиотека сокетов (Sockets), совместимых с сокетами Беркли, с транспортом по PCIe. Спецификацией PCIe, так же как и протоколом TCP, гарантируется доставка данных в строгом порядке их отправки. Поэтому не обязательно работать со стеком TCP/IP. Вызовы Sockets API перехватываются с последующим перенаправлением «чистых» данных сразу для транспорта по PCIe. Данные будут доставлены без искажений и в правильном порядке. Преимуществом данного способа является отсутствие затрат ресурсов центрального процессора при обработке стека протоколов TCP, однако для использования потребуется пересобрать пользовательские приложения с подключением библиотек из комплекта Software Development Kit (SDK) поставки ГРИФОН.
  3. Набор библиотек отображения участков памяти одного модуля на другой. Третьим способом организации взаимодействия между модулями на базе центрального процессора является предоставление прикладному программисту возможности работать напрямую с памятью, отображённой через непрозрачный мост на другую PCIe-шину. В этом случае разработчик имеет в своих руках все возможности организовать взаимодействие так, как ему будет угодно. Главным преимуществом данного метода является отсутствие каких-либо издержек, связанных с реализациями двух предыдущих способов взаимодействия, но при этом придётся использовать нестандартный интерфейс API для разработки.

Взаимодействие модулей центрального процессора с модулями на базе графических карт (CPU-GPU)

Модули на базе графических карт AMD и модули на базе карт NVIDIA полностью совместимы с OpenCL и NVIDIA CUDA SDK. Эти средства включают в себя весь необходимый функционал для разработки и организации взаимодействия с центральным процессором и для других сценариев при межмодульном взаимодействии в режиме PCIe P2P (Peer-to-Peer). NVIDIA CUDA SDK на данный момент имеет очень широкое распространение и обширную документацию.

Взаимодействие модулей центрального процессора с модулями на базе ПЛИС (CPU-FPGA) 

Наиболее трудоёмкая и дорогостоящая часть разработки для большинства организаций – это, вероятно, разработка под FPGA. В комплекте поставки для модулей на базе FPGA имеется комплект SDK, включающий набор базовых проектов с драйверами и документацию. Данный набор SDK включает наиболее востребованные сценарии и паттерны программирования, позволяющие скрыть от разработчика большинство особенностей разработки PCIe-взаимодействий для FPGA.
В качестве одного из примеров можно привести базовый проект отображения всех ресурсов, имеющихся на модуле FPU500 (FPU501), на шину PCIe, что позволяет, обратившись с хоста по конкретному адресу, получить доступ к запрашиваемым ресурсам модуля FPU500 или FPU501 (в режиме прямого ввода-вывода). Одновременно доступ к этим же ресурсам можно получить и с FPGA по стандартной шине AXI. Кроме того, области памяти могут быть отображены в адресное пространство любого процесса уровня пользователя – предоставляются возможности писать, читать DDR и флэш-память на модуле с FPGA, копировать данные с использованием DMA-контроллеров и прочее. При этом сохраняется возможность организации взаимодействия между двумя модулями на базе FPGA и между СPU и FPGA.

Вывод

ГРИФОН представляет собой универсальную вычислительную платформу для решения множества задач высокопроизводительных вычислений в жёстких условиях эксплуатации, используя которую, заказчик может, не меняя компетенции разработчиков прикладных систем, применить лю­бые вычислительные архитектуры и любые ин­терфейсы, при этом гибко и с минимальными затратами модернизировать и масштабировать полученный ре­зультат.
Обострение внешнеполитической обстановки, введение масштабных ограничений на поставку электронных изделий, компонентов и технологий не оставляет отечественным организациям выбора, кроме экстренного перехода на отечественные аналоги. Однако далеко не всегда эти аналоги присутствуют на рынке – зачастую их просто нет. При этом на создание конкурентных решений требуются существенные временны́е, интеллектуальные и финансовые затраты. 
В этом отношении платформа ГРИФОН является примером реального и своевременного замещения импорта отечественными образцами, так как представляет собой уже разработанное и готовое для внедрения решение, соответствующее мировому уровню развития техники и не уступающее возможным зарубежным аналогам. ● 

Автор – сотрудник
ЗАО «НПФ «ДОЛОМАНТ» 
Телефон: +7 (495) 232-2033
E-mail: info@dolomant.ru
1954 0
Комментарии
Рекомендуем

ООО «ПРОСОФТ» 7724020910 2SDnjeti7ig
ООО «ПРОСОФТ» 7724020910 2SDnjeti7ig