Создание резервированных систем сбора и архивирования информации на промышленных объектах

При производстве стерильных лекарственных средств рекомендуется проводить постоянный контроль перепада давления между соседними помещениями разных классов чистоты.
Воздушная среда при асептическом производстве должна постоянно контролироваться на присутствие аэрозольных частиц, в том числе жизнеспособных микроорганизмов.

Инструкция «Порядок проведения контроля параметров воздушной среды в „чистых“ помещениях и методы их измерений при производстве лекарственных средств». РДИ 42-505-00

Для соответствия международному стандарту GMP (Good Manufacturing Practice) в рамках обеспечения требований к помещениям класса «А» (производство стерильных препаратов) мониторинг микроклимата должен осуществляться непрерывно. Использова­ние для мониторинга локальных средств регистрации параметров вынудит ввести операцию по ручному сбору, обработке и архивированию собранной информации. Наличие в процессе человеческого фактора сделает затруднительным или даже невозможным прохождение процедуры валидации процесса.

Таким образом, «чистые» помещения должны быть оборудованы централизованной системой сбора и архивирования параметров. При этом должны быть обеспечены контроль и гарантированная запись в базу данных значений перепада давления, влажности, температуры и показаний анализаторов взвешенных частиц. Решение такой задачи предполагает проведение сбора большого количества информации. Для примера: скорость потока данных от приточной вентиляционной машины может достигать 64 измеренных значений в секунду, а вытяжной – 36. Даже сравнительно небольшое количество «чистых» помещений может создать поток данных, превышающий возможности обычных систем записи информации. Так, система одного комплекса приточно-вытяжной вентиляции может создавать поток в 15 000 измеренных значений в секунду.

Для решения поставленной задачи с таким количеством данных необходимо применение высокоскоростного логирования – сбора и сохранения информации, полученной в результате технологических измерений. На чём оно основано и как используется, будет рассказано в этой статье.

О системах

Собственно, системы логирования (архивирования) технологической ин­формации разделились на два лагеря: дорогие специализированные решения и универсальные решения с применением универсальных ПК и универсальных ОС.

Надо отметить, что универсальность постепенно перетягивает рынок у специальных решений. В чём же привлекательность универсальных решений? Конечно, цена, возможность использовать универсальных специалистов, до­ступность ЗИП, независимость (в некоторой степени) от производителя. Да, тут перечислены практически все до­стоинства, кроме чёткости и безотказности выполнения своих функций.

Специальные решения всегда надо рассматривать только в каком-либо конкретном применении, и это редко бывает интересно, потому что они выполняют ровно то, что от них требуется, и так, как это требуется. Гораздо интереснее рассмотреть универсальные решения, особенно то, как им удаётся балансировать между универсальностью и работоспособностью.

Основная проблема обработки сетевого потока технологической информации заключается в том, что его пакеты имеют малый объём. Да, именно малый объём информации, но каждый пересылается отдельно, и недопустимо потерять хотя бы один отсчёт. А таких потоков тысячи, десятки и сотни тысяч. В системах архивирования технологической информации процессор выполняет последовательность очень простых действий и бо'льшую часть времени не загружен. За него по большей части работают системы ввода-вывода. Универсальный ПК должен работать как раз наоборот. Основную нагрузку должен нести процессор, производя много сложных вычислений и отдавая только результаты системам ввода-вывода (в частности, дисковой подсистеме).

Получается парадокс: для обработки потока не нужен мощный процессор, но производительности системы всегда не хватает.

О подходах к построению

Системы начального уровня от разработчиков простых и дешёвых продуктов просто пишут «сырой» поток прямо в текстовый файл. Как следствие, система «убивает» обычный жёсткий диск бесконечными записями уже в первый год эксплуатации при архивировании не­скольких сотен параметров с темпом 10 раз в секунду. Сомнительный результат! Зато дёшево, даже порой бесплатно. Распознать такие системы можно по большому, постоянно растущему количеству маленьких файлов архива, со­измеримых с размером кластера диска. При этом в файле можно найти «сырую» информацию в текстовом виде.

Современные SCADA, как правило, пишут тоже «сырую» информацию, но уже в базу данных. Опять же, как правило, информация предварительно структурируется специальным образом и отправляется в архив блоками, накопленными за минуту (или около того).

То есть за один раз записывается блок информации, соизмеримый с размером буфера диска, а это уже несколько мегабайтов. Очевидно, что производительность таких систем возрастает в десятки (сотни) раз и они более корректно работают с диском, раскрывая его потенциал.

Появились отдельные программные продукты для сбора и хранения технологической информации. Они способны выполнять свою узко специализированную функцию, но на базе универсального ПК. Как правило, в названии таких продуктов содержится магическое слово Historian. Идея, как всегда, лежала на по­верхности: переложить часть работы по архивированию на бездействующие уз­лы, в данном случае – процессор. Из­вест­но, что жёсткий диск обладает высоким быстродействием только в случае записи/чтения большого и нефрагментированного файла. Вот и замечательно! – Пусть процессор на лету сжимает прини­маемый поток информации и уже в сжатом виде записывает на диск. Допол­ни­тельное сжатие достигается за счёт «ум­ной» фильтрации входных данных.

Методы реализации надёжности

По вопросам реализации надёжности выделились, как это обычно бывает, два противоборствующих подхода. Оба подхода предлагают увеличивать надёжность за счёт резервирования. При этом главенствующими остаются два параметра: объём потерь информации при аварии и время восстановления.

Первый подход предлагает резервировать сразу всё, прямо вместе с компьютером и ОС; второй – избирательно, только то, что важно.

В соответствии с первым подходом создаём кластер высокой доступности виртуальной машины. Добавляем в кластер узлы, и вот система уже не зависит от выхода из строя части кластерных машин. Работа приложения гарантируется высоконадёжной платформой. Но стоимость такого решения, как правило, выходит за любые разумные рамки. Да и нет в ней главного – защиты от выхода из строя целевого приложения. Каковы могут быть потери данных при отказе кластерных узлов? От одного пакета Ethernet до нескольких десятков минут. При такте поступления данных 50–500 миллисекунд потери могут быть существенными.

Цель второго подхода заключается в сохранении возможности выполнения основной функции приложения – сбора, архивирования и доступа к архиву. Выход из строя компьютера или ОС вовсе не рассматривается как критическая ситуация. Понятно, что при таком подходе требования к компьютерам и ОС должны быть ровно такие, чтобы обеспечить выполнение основной функции. Можно использовать даже обычный офисный ПК. При выходе из строя одного из компьютеров его функции практически безударно продолжает выполнять другой, а целевое приложение работает на всех машинах резервированной системы. Каковы потери информации в этой схеме? – Обычно это от одного измеренного значения до 5–20 секунд, в зависимости от архитектуры и выбранного ПО. Время восстановления вышедшего из строя компьютера здесь весьма существенно. Уста­новка ОС, всех драйверов и обновлений, приложений и накопленной базы (даже из резервного образа) может затянуться на время от нескольких часов до нескольких дней – это время система сбора и архивирования работает в режиме повышенного риска.

Что выбирает наша компания для реализации таких систем?

Компания «НОРВИКС-ТЕХНОЛОДЖИ» предлагает реализовывать системы сбора и архивирования информации на основе специализированного пакета ПО Hyper Historian компании ICONICS. Во-первых, такие централизованные системы сбора и архивирования сочетают в себе возможности высокоскоростных баз данных и удобство обращения к архивам при помощи интерфейса структурированных баз данных широкого применения (SQL-запросы). Во-вторых, это подразумевает резервирование серверов сбора и логирования на базе второго подхода, то есть «горячее» переключение на резервную машину.

Такое решение позволяет в режиме реального времени обеспечить:

• сбор больших объёмов данных;
• их предварительную обработку и архивирование;
• предоставление информации в виде отчётов, создаваемых с помощью общеприменимых приложений.

Решение использует технологии обработки информации, позволяющие зна­чительно сократить объём записываемых данных путём входной фильтрации и последующего сжатия.

При таком подходе к резервированию (рис. 1) система сохраняет полную функциональность в случае выхода из строя любого компьютера из каждой пары серверов опроса, коллекторов и логгеров. 

Для функционирования только в режиме сбора и сохранения (без потери информации) достаточно работы одного сервера опроса и одного коллектора, то есть двух устройств из шести.

По результатам тестирования системы на предмет потери части поступающих данных в аварийных режимах она показала хорошую отказоустойчивость. Потеря данных при аварийном отклю­чении сразу половины компьютеров в одной зоне электроснабжения составила 1 отсчёт при логировании «сырых» данных с темпом один раз в секунду, а при использовании фильтрации потерь не было вовсе.

Заключение

Разработанное решение позволяет фармацевтическим предприятиям получить высоконадёжную систему отслеживания параметров в соответствии с требованиями стандарта GMP. В случае необходимости такая система может предоставить заинтересованным лицам документы, подтверждающие соблюдение требований к технологическим процессам и микроклимату «чистых» помещений.

Это решение может быть востребовано не только в фармацевтической, но и в любой другой отрасли, где контроль информации о протекающем процессе необходим для управления качеством, а отклонения ведут к значительным финансовым потерям. ● 

Автор – сотрудник фирмы «НОРВИКС-ТЕХНОЛОДЖИ»
Телефон: (495) 232-1817
E-mail: info@norvix.ru