Вычислительные машины уже давно успешно заменяют человека в решении широкого ряда задач – от элементарных вычислений до задач управления различными исполнительными механизмами, но долгое время машина не могла заменить человека в задачах, требующих визуального восприятия.
В данной статье обобщённо рассказано о том, что такое сегодня индустриальное машинное зрение и какие задачи оно способно решать, рассмотрены возможности построения систем технического зрения на базе продукции компании Advantech.
Advantech как один из ведущих поставщиков решений в области автоматизации на базе персональных компьютеров предоставляет различные расширяемые платформы, востребованные в новых реализуемых проектах автоматизации.
Видеть и понимать увиденное
Компьютерное зрение – это общий набор методов, позволяющих компьютерам производить обнаружение, отслеживание, измерение и классификацию объектов во входных графических данных. Однако пока что машина не сравнялась с человеком в умении понимать картину окружающего мира и делать по ней выводы. Эта задача решена лишь для некоторых узких прикладных задач, обычно для промышленности и производства. Такое применение компьютерного зрения и называют машинным, или техническим зрением.Успехи в решении прикладных задач в большой степени были достигнуты благодаря применению нейросетей. Нейросети появились ещё в 70-х годах прошлого века, но лишь сейчас стало возможным накопление достаточно больших объёмов данных для их качественного обучения, а вычислительные мощности стали относительно дешёвыми и позволяющими проводить глубокое обучение с достаточной производительностью. При этом в большинстве случаев стал возможен уход от детерминированных методов распознавания, хотя полностью он ещё не вытеснен.
На сегодняшний день техническое зрение нашло наибольшее применение в системах управления конвейерных производств, в розничной торговле, сортировочных и сопроводительных операциях на складах и решает следующие задачи:
- контроль нанесения и содержимого маркировки, этикетки;
- считывание и распознавание штрих-кодов и текста;
- проверка целостности и комплектности упаковки, тары;
- сортировка продукта;
- контроль соответствия внешнего вида продукта;
- обнаружение, измерение, классификация и счёт объектов;
- отбраковка продукта на линии или корректировка её работы.
В производстве строительных материалов, машиностроении, металлопрокате техническое зрение решает задачи контроля поверхности изделий, их качества, идентификации деталей, точных измерений.
Системы технического зрения используются в производстве полупроводников и печатных плат, позволяя существенно снизить процент брака и время проверки готового изделия.
В автомобильной промышленности системы технического зрения являются основой для автоматического управления промышленными роботами, также они инспектируют сварные швы, поверхности блоков цилиндров, окрашенные кузова и прочие элементы на наличие дефектов.
Методы технического зрения применимы не только к видимой части спектра. В пищевой промышленности для контроля температурных режимов, степени готовности продукции, заполнения ею упаковки, а также контроля работоспособности духового оборудования применяются системы с тепловизорами.
Насколько надёжно техническое зрение?
Техническое зрение даёт лучшие показатели работы, если при проектировании проведены следующие мероприятия и учтены перечисленные факторы:- освещение сцены яркое и не искажает цвета;
- камера подобрана и калибрована под размеры объекта и расстояние до него;
- обеспечено достаточное при рабочей скорости движения конвейера быстродействие системы;
- программное обеспечение оптимально настроено;
- произведена синхронизация отдельных частей и интеграция в систему управления;
- при необходимости классификации для обучения использована большая выборка изделий (может достигать десятков тысяч);
- проведено тестирование.
Средства технического зрения
Любая система технического зрения включает в себя следующие компоненты:- одна или несколько камер с оптикой;
- центр обработки поступающей с камер информации – вычислительная платформа;
- программное обеспечение;
- каналы связи;
- источники света и средства управления ими (опционально).
Для специфических и комплексных задач могут потребоваться классические системы технического зрения с персональным компьютером в качестве мощной вычислительной платформы. Компьютеры Advantech серии AIIS оснащены процессором 6-го поколения Intel Core или Celeron SoC (System-on-a-Chip) и обеспечивают высокую производительность в задачах обработки изображений и просчёте алгоритмов управления. Наличие множества портов ввода/вывода PoE или USB 3.0 делает их совместимыми с самыми современными интерфейсами промышленных видеокамер. Рассмотрим эти интерфейсы.
Стандартизация интерфейсов
Первые шаги в любой перспективной области часто приводят к возникновению множества разных решений. В результате при использовании разработчиками или производителями различных подходов большинство выработанных решений плохо согласуются между собой. Цель стандартизации интерфейсов систем технического зрения состоит в применении единообразных правил построения архитектуры обмена данными и предотвращении тем самым распространения несовместимых аксессуаров и фирменных решений отдельных производителей, сбивающих с толку потребителей.GigE Vision
Ассоциация Advanced Imaging Association (AIA) разработала интерфейс видеокамер для систем машинного зрения GigE Vision на основе стандартного гигабитного Ethernet (GigE). Передача изображения по Ethernet давно практикуется, например, в системах безопасности и видеонаблюдения, но здесь задержка изображения в несколько секунд при передаче большого объёма данных не критична. Стандарт GigE Vision определяет методы передачи изображений и управляющих сигналов между камерами и компьютерами, обеспечивающие задержку изображения менее 100 мс. GigE Vision позволяет использовать все преимущества Ethernet и сделать совместимым видеооборудование систем машинного зрения разных производителей. Также отпадает необходимость в использовании специальных кабелей и фрейм-грабберов [2].Стоит отметить главные преимущества видеокамер с интерфейсом GigE Vision:
- не требуется дополнительное оборудование для работы со скоростной камерой;
- благодаря высокой пропускной способности GigE возможно передавать с видеокамер даже несжатые данные большого объёма в режиме реального времени, в том числе на несколько компьютеров;
- GigE позволяет располагать камеры на расстоянии до 100 метров от центра сбора данных при использовании кабеля пятой категории (CAT5е); при необходимости расстояние увеличивается при помощи повторителей или оптики;
- кабели пятой (CAT5e) и шестой (CAT6) категории всегда есть в наличии и доступны по цене, допускают прокладку на улице и в промышленных помещениях;
- электропитание камеры GigE можно подавать по кабелю передачи данных с использованием технологии Power over Ethernet (PoE);
- GigE Vision работает со стандартным сетевым оборудованием, что позволяет строить системы технического зрения на базе существующей сетевой инфраструктуры.
- Device Discovery Mechanism – механизм, определяющий правила получения камерой IP-адреса и взаимодействие со сторонним программным обеспечением.
- GigE Vision Control Protocol (GVCP) – протокол управления, определяющий методы управления и конфигурирования камер, параметры каналов управления и передачи данных и механизмы отправки изображений и сигналов управления от камер к компьютерам.
- GigE Vision Stream Protocol (GVSP) – протокол управления потоком, определяющий правила пакетирования изображения и методы его передачи.
- Файл описания XML – для получения доступа к камере программное обеспечение компьютера считывает XML-файл видеокамеры, содержащий её подробные параметры. Этот файл предоставляется поставщиками камер в формате, совместимом со стандартом GenICam – универсальным интерфейсом программирования всех современных промышленных камер.
Вторая версия стандарта GigE Vision (v. 2.0) расширена возможностями точной синхронизации многокамерных систем с применением протокола точного времени Precision Time Protocol (PTP), обеспечивает агрегацию каналов и поддержку более быстрой передачи данных через 10-гигабитный Ethernet, позволяет передавать сжатые изображения (JPEG, JPEG 2000 и H.264) и вести съёмку в режиме реального времени [3].
Камеры, соответствующие GigE Vision 2.0, обратно совместимы с программным и аппаратным обеспечением, разработанным согласно более ранним спецификациям.
USB3 Vision
Основным конкурентом GigE Vision в борьбе за потребителя в сфере машинного зрения является USB3 Vision, основанный на широко распространённом в последнее время интерфейсе USB 3.0. Этот стандарт также находится в ведении ассоциации AIA и регламентирует применение интерфейса USB 3.0 в индустрии обработки изображений.К основным достоинствам USB 3.0 можно отнести высокую пропускную способность и преимущества автоматического обнаружения и конфигурирования оборудования, обеспеченные технологией Plug-and-Play.
USB 3.0 имеет несколько нотаций. USB 3.1 Gen1 (USB Superspeed) технически ничем не отличается от USB 3.0 – решением USB Implementers Forum (USB-IF) заменена маркировка, – имеет максимальную пропускную способность 5 Гбит/с. USB 3.1 Gen 2 (USB Superspeed+) имеет более высокую пропускную способность – до 10 Гбит/с.
В отличие от полудуплексного USB 2.0, USB 3.1 работает в режиме полного дуплекса и не использует протокол опроса, устройства могут асинхронно запрашивать хост. Для USB уже привычным является питание подключённого устройства с мощностью потребления до 4,5 Вт по кабелю данных длиной не более 5 м [2, 3]. Ввиду очевидных преимуществ USB 3.0 в ближайшее время вытеснит устаревшие технологии FireWire и USB 2.0, которые либо становятся редкими, либо несопоставимы по пропускной способности.
Стандарт USB3 Vision включает три основных элемента:
- Device Identification and Control – механизм, основанный на протоколе управления GenCP GenICam, используемый хост-компьютером для управления камерами.
- USB3 Vision Streaming Protocol (UVSP) – протокол, определяющий потоковую передачу видео, описывает, как изображения пакетируются, и предоставляет камерам механизмы для отправки изображения и другой информации на хосты.
- Файл описания XML – аналогично файлу описания XML GigE Vision предоставляет спецификации параметров камер.
Таким образом, можно выделить следующие преимущества интерфейса USB 3.1:
- высокая пропускная способность до 10 Гбит/с;
- возможность съёмки в режиме реального времени;
- стабильность и надёжная обработка ошибок;
- не требуется дополнительное оборудование для интеграции в системы обработки изображений;
- электропитание камеры и передача данных по одному кабелю;
- стандартизация на основе USB3 Vision;
- доступные и дешёвые кабели.
Решения Advantech для автоматизированных систем с машинным зрением
Компания Advantech предоставляет полный набор технических средств, требуемых для построения автоматизированных систем с использованием машинного зрения. Помимо вычислительных платформ это такие средства, как индустриальная камера, платы расширения интерфейсов цифровых камер, платы цифрового ввода/вывода, модули управления шаговыми двигателями и сервоприводами промышленных роботов.Индустриальная камера Advantech Quartz (рис. 1) в зависимости от исполнения имеет разрешение от 0,3 до 15 Мпиксел и частоту кадров от 120 до 7 кадр/с (fps) соответственно.

Малый форм-фактор и работа по GigE с PoE позволяют компактно размещать её на целевых объектах, расположенных на значительном удалении от вычислительной платформы (до 100 м). Таким образом, возможно покрывать, к примеру, весь участок длинных конвейеров. Камера также предоставляет программный триггер и порт для внешнего триггера, который может использоваться как дискретный выход.
Двухпортовый и четырёхпортовый модули PCIE-1172/1174 (рис. 2) при необходимости могут расширить количество портов GigE вычислительной платформы и предоставляют функции GoE (GigE Vision Offload Engine), PoE (Power over Ethernet) и ToE (Trigger over Ethernet).

Протокол GigE Vision реализуется программно и выполняется на процессоре вычислительной платформы. В результате процессор тратит большие ресурсы на обработку сетевого трафика и входящих кадров, сопоставимые с расходуемыми на алгоритмы машинного зрения. Это особенно сказывается при большом потоке данных и в системах с несколькими камерами. Механизм GoE использует встроенную FPGA (Field-Programmable Gate Array – программируемая логическая интегральная схема) для восстановления изображения и в дальнейшем в реальном времени отправляет его на компьютер через DMA (прямой доступ к памяти), освобождая ресурс центрального процессора для выполнения алгоритмов обработки изображения. Таким образом, в процессе получения изображений из-за отсутствия перегрузок не теряются кадры или пакеты.
Сравнение загрузки центрального процессора при обработке данных с видеокамеры GigE Vision различного разрешения с использованием обычного сетевого адаптера и платы PCIE-1174 приведено на рис. 3.

Четырёхпортовая плата расширения USB 3.0 PCIE-1154 (рис. 4) обеспечивает пропускную способность 5 Гбит/с каждого порта при их одно-временной работе, а также обеспечивает электропитание внешних USB-устройств током 1500 мА для их стабильной работы.

Модули управления движением PCI-1245/PCI-1265/PCI-1285 – это карты управления движением шаговых двигателей и сервоприводов четырёх-, шести- и восьмиосевых манипуляторов со встроенным контроллером движения, использующие высокопроизводительный DSP для расчёта траекторий движения.
Карты обеспечивают траектории движения, варьирующиеся от базовой «точка–точка» и линейной/круговой интерполяции до специфичных траекторий конкретной задачи.
В качестве вычислительной платформы для систем машинного зрения позиционируется линейка компьютеров AIIS как сочетающая в себе высокую производительность и встроенные интерфейсы индустриальных камер.
В ней доступно шесть различных моделей [4] (рис. 5):
- AIIS-5410P – безвентиляторная система, Intel® Core™ i7/i5/i3, 4 канала GigE PoE, 8 портов USB 3.0, слот расширения PCIe;
- AIIS-1200 – ультракомпактная система, Intel® Braswell N3160/N3710 SoC, 2 канала GigE PoE или USB 3.0;
- AIIS-1240 – система для GigE PoE-камер, Intel® Core™ i7/i5/i3, 4 канала GigE PoE;
- AIIS-1440 – система для USB3-камер, Intel® Core™ i7/i5/i3, 4 канала USB 3.0 с отдельными контроллерами;
- AIIS-3400/AIIS-3410 – компактные системы, 6- или 7-е поколение Intel® Core i7/i5/i3, 4 канала GigE PoE или USB 3.0, слот расширения PCIe в AIIS-3410.

Примеры реализации
Рассмотрим пример применения AIIS в процессе производства напитков [5]. Процесс производства имеет последовательные этапы: подача бутылок, их наполнение, установка крышек и герметизация, наклейка этикеток, группировка, упаковка в ящики или на паллеты.Каждый этап требует тщательного контроля, так как ошибка на любом из них – неполное заполнение бутылки, отсутствие или перекос крышки, отсутствие этикетки или требующейся информации на ней, некомплектная группировка – может привести к порче продукта или последующей рекламации от заказчика.
В приведённом примере для охвата всех участков требуется восемь камер. Выбор вычислителя обусловлен сложностью алгоритмов обработки изображений и наличием соответствующего числа портов. Выбор интерфейса передачи изображений, как и типа камер, обусловлен расстоянием между участками.
В случае близко расположенных участков, при обеспечении расстояния от камер до вычислителя менее 5 метров, имеет смысл выбрать интерфейс USB 3.0 как наиболее скоростной и простой в настройке и два вычислителя AIIS-3400U на процессоре Intel® Core™ i с 4 портами USB 3.0 каждый (рис. 6).

В случае более значительного разнесения участков предпочтительно выбрать интерфейс GigE и два вычислителя AIIS-3400P с 4 портами GigE PoE.
Возможен также вариант примене-ния одного AIIS-3410P, расширенного модулем PCIE-1174. Это обеспечит потребности в портах, а механизм GoE разгрузит центральный процессор при передаче данных, что позволит обрабатывать данные со всех восьми камер при относительно простых алгоритмах обработки изображений. Этот вариант позволяет экономить на одном вычислителе и сохранить пространство.
Всё больше внимания в последние годы покупатели уделяют ингредиентам, входящим в состав продуктов питания, местам их происхождения и другим деталям, свидетельствующим об их безопасности. Точная и чёткая маркировка пищевых продуктов помогает потребителям делать осознанный выбор.
Пищевая промышленность уже хорошо освоила автоматизированные процедуры нанесения маркировки. В настоящее время стоит задача быстрой проверки маркировки и этикеток на существующих, зачастую высокоскоростных автоматизированных производственных линиях.
Для решения такой задачи требуется вычислительная платформа достаточной производительности, компактная (для применения в условиях ограниченных пространств), высоконадёжная и долговечная, обладающая интерфейсами для интеграции промышленных камер.
Перечисленным требованиям удовлетворяет основанный на концепции «всё в одном» флагман линейки AIIS-5410P. Производительность такой системы на процессоре Intel® Core™ 6-го поколения и множество портов: четыре порта GigE PoE, до восьми портов USB 3.0, два последовательных порта и слот расширения PCIe/PCI – способна удовлетворить требования подавляющего числа заказчиков.
Безвентиляторное исполнение платформы предполагает рациональное размещение в шкафах, стойках или корпусах оборудования, исключающее её перегрев.
На рис. 7 приведён пример простого и эффективного решения для визуального скоростного контроля маркировки на существующих линиях.

Удобство такого решения подчёркнуто отсутствием необходимости разработки с нуля программного обеспечения. Для упрощённого создания программного обеспечения систем автоматизированной инспекции на фабриках компания Advantech разработала графическое приложение Inspector Express.
Заключение
Несмотря на описанные очевидные преимущества технического зрения, в России такие системы всё ещё редкость и встречаются в основном в составе импортного оборудования или на предприятиях, принадлежащих зарубежным компаниям. Производители в основном всё ещё полагаются на дешёвый ручной труд, но требования рынка к объёмам и качеству продукции и сравнительно малая эффективность ручного труда со временем неизбежно приведут к росту внедрения передовых технологий. ●Литература
1. Воскресенский Ю. Техническое зрение в пищевой промышленности: технологии и приложения // Control Engineering Россия. – 2014. – № 4.2. Интерфейсы и стандарты [Электронный ресурс] // Режим доступа : https://www.baslerweb.com/ru/vision-campus/interfeisy-i-standarty/.
3. Steger C., Ulrich M., Wiedemann C. Machine Vision Algorithms and Applications. – Weinheim : Wiley-VCH, 2008.
4. Carroll J. Сompact vision systems from Advantech target machine vision applications [Электронный ресурс] // Режим доступа : https://www.vision-systems.com/articles/2016/09/compact-vision-systems-from-advantech-target-machine....
5. Advantech Machine Vision Solution [Электронный ресурс] // Режим доступа : http://advcloudfiles.advantech.com/ecatalog/2016/10120930.pdf.
Авторы – сотрудники АО «НИИВК им. М.А. Карцева» и фирмы ПРОСОФТ
Телефон: (495) 234-0636
E-mail: info@prosoft.ru
Если вам понравился материал, кликните значок - вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал - не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!