Фильтр по тематике

Решения Advantech для систем технического зрения

Техническое зрение является сравнительно новой, но перспективной областью техники. Рост вычислительных мощностей и миниатюризация технических средств позволяют решать разнообразные прикладные задачи в проектах, где ещё несколько лет назад было немыслимо отказаться от ручного труда. В статье приводятся примеры таких проектов и описание ряда средств технического зрения.

На протяжении всей истории человек изобретает механизмы и машины, чтобы передать им часть функций и облегчить свой труд. Последнее столетие ознаменовано появлением особого типа машин, активно совершенствуемых и играющих всё большую роль в нашей повседневной жизни, – вычислительных машин.
Вычислительные машины уже давно успешно заменяют человека в решении широкого ряда задач – от элементарных вычислений до задач управления различными исполнительными механизмами, но долгое время машина не могла заменить человека в задачах, требующих визуального восприятия.
В данной статье обобщённо рассказано о том, что такое сегодня индустриальное машинное зрение и какие задачи оно способно решать, рассмотрены возможности построения систем технического зрения на базе продукции компании Advantech.
Advantech как один из ведущих поставщиков решений в области автоматизации на базе персональных компьютеров предоставляет различные расширяемые платформы, востребованные в новых реализуемых проектах автоматизации.

Видеть и понимать увиденное

Компьютерное зрение – это общий набор методов, позволяющих компьютерам производить обнаружение, отслеживание, измерение и классификацию объектов во входных графических данных. Однако пока что машина не сравнялась с человеком в умении понимать картину окружающего мира и делать по ней выводы. Эта задача решена лишь для некоторых узких прикладных задач, обычно для промышленности и производства. Такое применение компьютерного зрения и называют машинным, или техническим зрением.
Успехи в решении прикладных задач в большой степени были достигнуты благодаря применению нейросетей. Нейросети появились ещё в 70-х годах прошлого века, но лишь сейчас стало возможным накопление достаточно больших объёмов данных для их качественного обучения, а вычислительные мощности стали относительно дешёвыми и позволяющими проводить глубокое обучение с достаточной производительностью. При этом в большинстве случаев стал возможен уход от детерминированных методов распознавания, хотя полностью он ещё не вытеснен.
На сегодняшний день техническое зрение нашло наибольшее применение в системах управления конвейерных производств, в розничной торговле, сортировочных и сопроводительных операциях на складах и решает следующие задачи:
  • контроль нанесения и содержимого маркировки, этикетки;
  • считывание и распознавание штрих-кодов и текста;
  • проверка целостности и комплектности упаковки, тары;
  • сортировка продукта;
  • контроль соответствия внешнего вида продукта;
  • обнаружение, измерение, классификация и счёт объектов;
  • отбраковка продукта на линии или корректировка её работы.
Поток на конвейерных линиях в зависимости от типа продукции может достигать сотен единиц в минуту. Для обеспечения соответствия производства стандартам с сохранением производительности линии своевременный контроль здесь может осуществляться только автоматическим способом.
В производстве строительных материалов, машиностроении, металлопрокате техническое зрение решает задачи контроля поверхности изделий, их качества, идентификации деталей, точных измерений.
Системы технического зрения используются в производстве полупроводников и печатных плат, позволяя существенно снизить процент брака и время проверки готового изделия.
В автомобильной промышленности системы технического зрения являются основой для автоматического управления промышленными роботами, также они инспектируют сварные швы, поверхности блоков цилиндров, окрашенные кузова и прочие элементы на наличие дефектов.
Методы технического зрения применимы не только к видимой части спектра. В пищевой промышленности для контроля температурных режимов, степени готовности продукции, заполнения ею упаковки, а также контроля работоспособности духового оборудования применяются системы с тепловизорами.

Насколько надёжно техническое зрение?

Техническое зрение даёт лучшие показатели работы, если при проектировании проведены следующие мероприятия и учтены перечисленные факторы:
  • освещение сцены яркое и не искажает цвета;
  • камера подобрана и калибрована под размеры объекта и расстояние до него;
  • обеспечено достаточное при рабочей скорости движения конвейера быстродействие системы;
  • программное обеспечение оптимально настроено;
  • произведена синхронизация отдельных частей и интеграция в систему управления;
  • при необходимости классификации для обучения использована большая выборка изделий (может достигать десятков тысяч);
  • проведено тестирование.
При таком подходе во многих случаях точность инспекции изделий может приближаться к 100%.

Средства технического зрения

Любая система технического зрения включает в себя следующие компоненты:
  • одна или несколько камер с оптикой;
  • центр обработки поступающей с камер информации – вычислительная платформа;
  • программное обеспечение;
  • каналы связи;
  • источники света и средства управления ими (опционально).
В решении локальных типовых задач, достаточно простых и не требующих комплексного подхода, часто используются датчики технического зрения, сочетающие в одном корпусе все перечисленные компоненты. Программное обеспечение таких датчиков включает в себя множество функций: обнаружение объектов, измерение размеров, сравнение с шаблоном, считывание маркировки, штрих-кодов и QR-кодов и другие. Они компактны, имеют средства коммуникации со сторонним оборудованием и программными системами, поддерживают большинство распространённых протоколов, таких как Profinet, PROFIBUS, Modbus, OPC, TCP, UDP, FTP и другие. Наличие дискретных выходов делает возможным управление исполнительными механизмами без участия контроллера, например при отбраковке [1].
Для специфических и комплексных задач могут потребоваться классические системы технического зрения с персональным компьютером в качестве мощной вычислительной платформы. Компьютеры Advantech серии AIIS оснащены процессором 6-го поколения Intel Core или Celeron SoC (System-on-a-Chip) и обеспечивают высокую производительность в задачах обработки изображений и просчёте алгоритмов управления. Наличие множества портов ввода/вывода PoE или USB 3.0 делает их совместимыми с самыми современными интерфейсами промышленных видеокамер. Рассмотрим эти интерфейсы.

Стандартизация интерфейсов

Первые шаги в любой перспективной области часто приводят к возникновению множества разных решений. В результате при использовании разработчиками или производителями различных подходов большинство выработанных решений плохо согласуются между собой. Цель стандартизации интерфейсов систем технического зрения состоит в применении единообразных правил построения архитектуры обмена данными и предотвращении тем самым распространения несовместимых аксессуаров и фирменных решений отдельных производителей, сбивающих с толку потребителей.

GigE Vision

Ассоциация Advanced Imaging Associa­tion (AIA) разработала интерфейс видеокамер для систем машинного зрения GigE Vision на основе стандартного гигабитного Ethernet (GigE). Передача изображения по Ethernet давно практикуется, например, в системах безопасности и видеонаблюдения, но здесь задержка изображения в несколько секунд при передаче большого объёма данных не критична. Стандарт GigE Vision определяет методы передачи изображений и управляющих сигналов между камерами и компьютерами, обеспечивающие задержку изображения менее 100 мс. GigE Vision позволяет использовать все преимущества Ethernet и сделать совместимым видеооборудование систем машинного зрения разных производителей. Также отпадает необходимость в использовании специальных кабелей и фрейм-грабберов [2].
Стоит отметить главные преимущества видеокамер с интерфейсом GigE Vision:
  • не требуется дополнительное оборудование для работы со скоростной камерой;
  • благодаря высокой пропускной способности GigE возможно передавать с видеокамер даже несжатые данные большого объёма в режиме реального времени, в том числе на несколько компьютеров;
  • GigE позволяет располагать камеры на расстоянии до 100 метров от центра сбора данных при использовании кабеля пятой категории (CAT5е); при необходимости расстояние увеличивается при помощи повторителей или оптики;
  • кабели пятой (CAT5e) и шестой (CAT6) категории всегда есть в наличии и доступны по цене, допускают прокладку на улице и в промышлен­ных помещениях;
  • электропитание камеры GigE можно подавать по кабелю передачи данных с использованием технологии Power over Ethernet (PoE);
  • GigE Vision работает со стандартным сетевым оборудованием, что позволяет строить системы технического зрения на базе существующей сетевой инфраструктуры.
Первая версия стандарта GigE Vision (v. 1.0) включает следующие основные элементы:
  • Device Discovery Mechanism – механизм, определяющий правила получения камерой IP-адреса и взаимодействие со сторонним программным обеспечением.
  • GigE Vision Control Protocol (GVCP) – протокол управления, определяющий методы управления и конфигурирования камер, параметры каналов управления и передачи данных и механизмы отправки изображений и сигналов управления от камер к компьютерам.
  • GigE Vision Stream Protocol (GVSP) – протокол управления потоком, определяющий правила пакетирования изображения и методы его передачи.
  • Файл описания XML – для получения доступа к камере программное обеспечение компьютера считывает XML-файл видеокамеры, содержащий её подробные параметры. Этот файл предоставляется поставщиками камер в формате, совместимом со стандартом GenICam – универсальным интерфейсом программирования всех современных промышленных камер.
В XML-файле обязательными являются следующие параметры: ширина кадра, высота кадра, формат пикселя в соответствии с GVCP, количество переданных для изображения по данному каналу байт, метод последовательной посылки изображения из камеры, время начала захвата изображения в текущем режиме, время завершения захвата изображения в текущем режиме.
Вторая версия стандарта GigE Vision (v. 2.0) расширена возможностями точной синхронизации многокамерных систем с применением протокола точного времени Precision Time Protocol (PTP), обеспечивает агрегацию каналов и поддержку более быстрой передачи данных через 10-гигабитный Ethernet, позволяет передавать сжатые изображения (JPEG, JPEG 2000 и H.264) и вести съёмку в режиме реального времени [3].
Камеры, соответствующие GigE Vision 2.0, обратно совместимы с программным и аппаратным обеспечением, разработанным согласно более ранним спецификациям.

USB3 Vision

Основным конкурентом GigE Vision в борьбе за потребителя в сфере машинного зрения является USB3 Vision, основанный на широко распространённом в последнее время интерфейсе USB 3.0. Этот стандарт также находится в ведении ассоциации AIA и регламентирует применение интерфейса USB 3.0 в индустрии обработки изображений.
К основным достоинствам USB 3.0 можно отнести высокую пропускную способность и преимущества автоматического обнаружения и конфигурирования оборудования, обеспеченные технологией Plug-and-Play.
USB 3.0 имеет несколько нотаций. USB 3.1 Gen1 (USB Superspeed) технически ничем не отличается от USB 3.0 – решением USB Implementers Forum (USB-IF) заменена маркировка, – имеет максимальную пропускную способность 5 Гбит/с. USB 3.1 Gen 2 (USB Superspeed+) имеет более высокую пропускную способность – до 10 Гбит/с.
В отличие от полудуплексного USB 2.0, USB 3.1 работает в режиме полного дуплекса и не использует протокол опроса, устройства могут асинхронно запрашивать хост. Для USB уже привычным является питание подключённого устройства с мощностью потребления до 4,5 Вт по кабелю данных длиной не более 5 м [2, 3]. Ввиду очевидных преимуществ USB 3.0 в ближайшее время вытеснит устаревшие технологии FireWire и USB 2.0, которые либо становятся редкими, либо несопоставимы по пропускной способности.
Стандарт USB3 Vision включает три основных элемента:
  • Device Identification and Control – механизм, основанный на протоколе управления GenCP GenICam, используемый хост-компьютером для управления камерами.
  • USB3 Vision Streaming Protocol (UVSP) – протокол, определяющий потоковую передачу видео, описывает, как изображения пакетируются, и предоставляет камерам механизмы для отправки изображения и другой информации на хосты.
  • Файл описания XML – аналогично файлу описания XML GigE Vision предоставляет спецификации параметров камер.
Основываясь на GenICam, USB3 Visi­on обеспечивает стабильность, малое время задержки при передаче изображений и удобное управление камерой.
Таким образом, можно выделить следующие преимущества интерфейса USB 3.1:
  • высокая пропускная способность до 10 Гбит/с;
  • возможность съёмки в режиме реального времени;
  • стабильность и надёжная обработка ошибок;
  • не требуется дополнительное оборудование для интеграции в системы обработки изображений;
  • электропитание камеры и передача данных по одному кабелю;
  • стандартизация на основе USB3 Vision;
  • доступные и дешёвые кабели.
Здесь описаны два наиболее распространённых на текущий момент интерфейса в сфере машинного зрения, не требующих применения дополнительного оборудования за счёт наличия необходимых портов на всех современных компьютерах. Пользователям необходимо определить, какой из интерфейсов отвечает их требованиям. Каждый из них имеет свои сильные стороны и подбирается в соответствии с решаемыми задачами. USB 3.0 отличается высокой пропускной способностью и совместимостью с Plug-and-Play, а GigE позволяет работать с кабелями большей длины и обеспечивает поддержку многокамерных систем.

Решения Advantech для автоматизированных систем с машинным зрением

Компания Advantech предоставляет полный набор технических средств, требуемых для построения автоматизированных систем с использованием машинного зрения. Помимо вычислительных платформ это такие средства, как индустриальная камера, платы расширения интерфейсов цифровых камер, платы цифрового ввода/вывода, модули управления шаговыми двигателями и сервоприводами промышленных роботов.
Индустриальная камера Advantech Quartz (рис. 1) в зависимости от исполнения имеет разрешение от 0,3 до 15 Мпиксел и частоту кадров от 120 до 7 кадр/с (fps) соответственно.

Малый форм-фактор и работа по GigE с PoE позволяют компактно размещать её на целевых объектах, расположенных на значительном удалении от вычислительной платформы (до 100 м). Таким образом, возможно покрывать, к примеру, весь участок длинных конвейеров. Камера также предоставляет программный триггер и порт для внешнего триггера, который может использоваться как дискретный выход.
Двухпортовый и четырёхпортовый модули PCIE-1172/1174 (рис. 2) при необходимости могут расширить количество портов GigE вычислительной платформы и предоставляют функции GoE (GigE Vision Offload Engine), PoE (Power over Ethernet) и ToE (Trigger over Ethernet).

Протокол GigE Vision реализуется программно и выполняется на процессоре вычислительной платформы. В результате процессор тратит большие ресурсы на обработку сетевого трафика и входящих кадров, сопоставимые с расходуемыми на алгоритмы машинного зрения. Это особенно сказывается при большом потоке данных и в системах с несколькими камерами. Механизм GoE использует встроенную FPGA (Field-Programmable Gate Array – программируемая логическая интегральная схема) для восстановления изображения и в дальнейшем в реальном времени отправляет его на компьютер через DMA (прямой доступ к памяти), освобождая ресурс центрального процессора для выполнения алгоритмов обработки изображения. Таким образом, в процессе получения изображений из-за отсутствия перегрузок не теряются кадры или пакеты.
Сравнение загрузки центрального процессора при обработке данных с видеокамеры GigE Vision различного разрешения с использованием обычного сетевого адаптера и платы PCIE-1174 приведено на рис. 3.
Четырёхпортовая плата расширения USB 3.0 PCIE-1154 (рис. 4) обеспечивает пропускную способность 5 Гбит/с каждого порта при их одно-временной работе, а также обеспечивает электропитание внешних USB-устройств током 1500 мА для их стабильной работы.

Модули управления движением PCI-1245/PCI-1265/PCI-1285 – это карты управления движением шаговых двигателей и сервоприводов четырёх-, шести- и восьмиосевых манипуляторов со встроенным контроллером движения, использующие высокопроизводительный DSP для расчёта траекторий движения.
Карты обеспечивают траектории движения, варьирующиеся от базовой «точка–точка» и линейной/круговой интерполяции до специфичных траекторий конкретной задачи.
В качестве вычислительной платформы для систем машинного зрения позиционируется линейка компьютеров AIIS как сочетающая в себе высокую производительность и встроенные интерфейсы индустриальных камер.
В ней доступно шесть различных моделей [4] (рис. 5):
  • AIIS-5410P – безвентиляторная система, Intel® Core™ i7/i5/i3, 4 канала GigE PoE, 8 портов USB 3.0, слот расширения PCIe;
  • AIIS-1200 – ультракомпактная система, Intel® Braswell N3160/N3710 SoC, 2 канала GigE PoE или USB 3.0;
  • AIIS-1240 – система для GigE PoE-камер, Intel® Core™ i7/i5/i3, 4 канала GigE PoE;
  • AIIS-1440 – система для USB3-камер, Intel® Core™ i7/i5/i3, 4 канала USB 3.0 с отдельными контроллерами;
  • AIIS-3400/AIIS-3410 – компактные системы, 6- или 7-е поколение Intel® Core i7/i5/i3, 4 канала GigE PoE или USB 3.0, слот расширения PCIe в AIIS-3410.

Примеры реализации

Рассмотрим пример применения AIIS в процессе производства напитков [5]. Процесс производства имеет последовательные этапы: подача бутылок, их наполнение, установка крышек и герметизация, наклейка этикеток, группировка, упаковка в ящики или на паллеты.
Каждый этап требует тщательного контроля, так как ошибка на любом из них – неполное заполнение бутылки, отсутствие или перекос крышки, отсутствие этикетки или требующейся информации на ней, некомплектная группировка – может привести к порче продукта или последующей рекламации от заказчика.
В приведённом примере для охвата всех участков требуется восемь камер. Выбор вычислителя обусловлен сложностью алгоритмов обработки изображений и наличием соответствующего числа портов. Выбор интерфейса передачи изображений, как и типа камер, обусловлен расстоянием между участками.
В случае близко расположенных участков, при обеспечении расстояния от камер до вычислителя менее 5 метров, имеет смысл выбрать интерфейс USB 3.0 как наиболее скоростной и простой в настройке и два вычислителя AIIS-3400U на процессоре Intel® Core™ i с 4 портами USB 3.0 каждый (рис. 6).

В случае более значительного разнесения участков предпочтительно выбрать интерфейс GigE и два вычислителя AIIS-3400P с 4 портами GigE PoE.
Возможен также вариант примене-ния одного AIIS-3410P, расширенного модулем PCIE-1174. Это обеспечит потребности в портах, а механизм GoE разгрузит центральный процессор при передаче данных, что позволит обрабатывать данные со всех восьми камер при относительно простых алгоритмах обработки изображений. Этот вариант позволяет экономить на одном вычислителе и сохранить пространство.
Всё больше внимания в последние годы покупатели уделяют ингредиентам, входящим в состав продуктов питания, местам их происхождения и другим деталям, свидетельствующим об их безопасности. Точная и чёткая маркировка пищевых продуктов помогает потребителям делать осознанный выбор.
Пищевая промышленность уже хорошо освоила автоматизированные процедуры нанесения маркировки. В настоящее время стоит задача быстрой проверки маркировки и этикеток на существующих, зачастую высокоскоростных автоматизированных производственных линиях.
Для решения такой задачи требуется вычислительная платформа достаточной производительности, компактная (для применения в условиях ограниченных пространств), высоконадёжная и долговечная, обладающая интерфейсами для интеграции промышленных камер.
Перечисленным требованиям удовлетворяет основанный на концепции «всё в одном» флагман линейки AIIS-5410P. Производительность такой системы на процессоре Intel® Core™ 6-го поколения и множество портов: четыре порта GigE PoE, до восьми портов USB 3.0, два последовательных порта и слот расширения PCIe/PCI – способна удовлетворить требования подавляющего числа заказчиков.
Безвентиляторное исполнение платформы предполагает рациональное размещение в шкафах, стойках или корпусах оборудования, исключающее её перегрев.
На рис. 7 приведён пример простого и эффективного решения для визуального скоростного контроля маркировки на существующих линиях.
Удобство такого решения подчёркнуто отсутствием необходимости разработки с нуля программного обеспечения. Для упрощённого создания программного обеспечения систем автоматизированной инспекции на фабриках компания Advantech разработала графическое приложение Inspector Express.

Заключение

Несмотря на описанные очевидные преимущества технического зрения, в России такие системы всё ещё редкость и встречаются в основном в составе импортного оборудования или на предприятиях, принадлежащих зарубежным компаниям. Производители в основном всё ещё полагаются на дешёвый ручной труд, но требования рынка к объёмам и качеству продукции и сравнительно малая эффективность ручного труда со временем неизбежно приведут к росту внедрения передовых технологий. ●

Литература

1. Воскресенский Ю. Техническое зрение в пищевой промышленности: технологии и приложения // Control Engineering Рос­сия. – 2014. – № 4.
2. Интерфейсы и стандарты [Электронный ресурс] // Режим доступа : https://www.baslerweb.com/ru/vision-campus/interfeisy-i-standarty/.
3. Steger C., Ulrich M., Wiedemann C. Machine Vision Algorithms and Applications. – Weinheim : Wiley-VCH, 2008.
4. Carroll J. Сompact vision systems from Advantech target machine vision applications [Электронный ресурс] // Режим доступа : https://www.vision-systems.com/articles/2016/09/compact-vision-systems-from-advantech-target-machine....
5. Advantech Machine Vision Solution [Электронный ресурс] // Режим доступа : http://advcloudfiles.advantech.com/ecatalog/2016/10120930.pdf.

Авторы – сотрудники АО «НИИВК им. М.А. Карцева» и фирмы ПРОСОФТ
Телефон: (495) 234-0636
E-mail: info@prosoft.ru
Комментарии
Рекомендуем

ООО «ПРОСОФТ» 7724020910 2SDnjeti7ig
ООО «ПРОСОФТ» 7724020910 2SDnjeti7ig