Преимущества ультранизкой задержки при трансляции видео

Введение

Мы пользуемся видеотехнологиями на протяжении многих десятилетий. Мультимедиа сегодня является ожидаемой опцией практически для всех пользовательских интерфейсов, от портативных устройств до систем выживания, на которые мы возлагаем особые надежды. Мы часто рассматриваем видео как неотъемлемую часть публичной журналистики, систем безопасности или EOIR (Electro Optical Infrared Surveillance – системы электрооптического инфракрасного наблюдения). Конвергенция достижений в области цифровой обработки изображений, высокоскоростной связи и повышения вычислительных мощностей вызвала взрывное развитие видеоприложений с видеопотоком в реальном времени. Строительными блоками видеосистем реального времени стали именно эти технические достижения, воплощённые в недорогие, но надёжные видеокамеры, технологии цифровой обработки изображений и Интернет. Традиционно, в основном из-за ограничений пропускной способности, видеорешения, требующие дистанционного контроля в реальном времени, были недоступны для реализации большинству системных инженеров. Высококачественные надёжные решения зачастую не вписываются в границы SWaP (System Weight and Power – вес и мощность системы) и бюджеты разработки. Таким образом, ограничения, вызванные применением доступных решений, переводят эти видеоприложения в разряд моделей с разомкнутым контуром.

Если говорить более предметно, в видеосистеме с разомкнутым контуром изображения интересующего объекта передаются в удалённую точку для просмотра, анализа и хранения. Задержки в обоих направлениях, возникающие в процессе кодирования, передачи и декодирования, конечно, слишком велики для приложений, требующих реагирования в реальном времени. В результате этих ограничений первыми были реализованы приложения, допускающие длительные задержки (порядка секунды или более). Наиболее распространённые начальные системы управления с обратной связью развивались в области стационарного наблюдения, где охрана контролирует персонал на предмет подозрительной деятельности, фиксируемой камерой системы наблюдения.

Тем не менее, поскольку такие эффективные методы кодирования, как H.264, со временем оказались доступными на более дешёвой и производительной видеоаппаратуре, стала возможной реализация и более требовательных приложений. Меньшая задержка обработки в видеооборудовании может снизить или устранить вовсе задержку в синхронизации аудиовидеосигнала в системах вещания и видеоконференц-связи, обеспечивая работу пользователя практически в реальном времени. В системах наблюдения малая задержка важна при панорамировании, наклоне и масштабировании изображения. Длительные задержки ограничивают уровень масштабирования (увеличения) и возможности перемещения камеры (панорамирование/наклон). Уменьшение задержки прохождения сигнала туда и обратно улучшает эти возможности, обеспечивая при этом более естественное восприятие изображения пользователями. Это именно то, что подразумевается под термином «замыкание цикла».

Те же самые факторы играют роль и в случае ведения оператором беспилотного наземного транспортного средства с дистанционным управлением (UGV – Unmanned Ground Vehicle). Как правило, для таких телеопераций допустимая скорость автомобиля, рельеф местности, управляемость – всё напрямую связано с задержкой видео: чем более реалистичную картину передаёт объектив камеры на экран компьютера «стекло в стекло», тем более совершенным будет UGV (рис. 1).

Изображение с прямых широких дорог с медленным движением легко адаптировать к длительным задержкам. Напротив, если вы переместите робота на узкую горную тропу и попросите удалённого водителя идти в ногу с остальной частью конвоя, не упав с обрыва, игра станет совершенно другой. Телеуправление быстрым UGV требует, чтобы оператор видел в точности ту картину, которая открывается перед транспортным средством, и он должен видеть это без какой-либо заметной задержки. Появление видеокодеков с низкой задержкой и программного обеспечения видео устраняет эту проблему из цепочки передачи сигнала. То же самое относится и к другим беспилотным транспортным средствам, независимо от того, работают ли они в воздухе, под водой или на орбите.

Возможно, не менее важным, чем рас­ширение границ мобильности беспилотных транспортных средств, факто­ром являются дополнительные возможности их применения, ставшие доступными благодаря сочетанию видео с ультранизкой задержкой и виртуозного управления. Вместо того чтобы разрушить устройство IED (Improvised Explosive Device – самодельное взрывное устройство) с помощью контролируемой детонации, комбинация малой задержки с эффективным управлением позволяет техническим специалистам EOD (Explosive ordnance disposal – ликвидация взрывных устройств) безопасно обезвредить угрозу на месте (рис. 2). 

Это предотвращает возможный ущерб и сохраняет важные улики, необходимые для задержания и судебного преследования производителя бомбы. Однако такой подход требует деликатных и очень точных манипуляций, которые невозможно было бы выполнить при наличии ощутимых задержек обратной связи. Нетрудно представить себе подобное приложение, которое используется для дистанционной хирургии (телемедицина), где требуется аналогичная комбинация точных манипуляций и опыта хирурга.

Итак, какие же компоненты доступны разработчикам для реализации описанных систем? Далее мы кратко рассмотрим варианты передачи видео обратной связи с низкой задержкой и покажем, что сжатие цифровых данных является наиболее целесообразным выбором при условии, что возникающие аппаратные проблемы с задержкой решаются должным образом. Затем мы увидим, как компоненты со сверхнизкой задержкой могут быть интегрированы с соответствующим аппаратным обеспечением для создания практических систем обратной связи. Рассмотренные принципы проиллюстрируем четырьмя примерами из практики.

Варианты передачи видео с низкой задержкой

Самый простой подход – полностью избежать задержки, посылая аналоговое видео PAL/NTSC прямо с камеры через коаксиальный кабель в пункт дистанционного управления. Он таит в себе недостатки, связанные с аналоговыми технологиями: ухудшение качества сигнала на больших расстояниях, отсутствие гибкости, сложности передачи для крупных установок, содержащих более одной видеоинсталляции или точки удалённого управления. Однако при возможных скоростях передачи данных такой подход даёт минимальную задержку. К недостаткам следует отнести и необходимость кабельного соединения, что совершенно недопустимо при реализации любых решений телеуправления или дистанционного присутствия, поэтому данный пример лишь иллюстрирует эволюцию удалённого видео, но не представляет практической ценности в свете современных требований.

Для беспроводного дистанционного присутствия необходима передача видеоданных по беспроводному соединению (Cord-Cutting). Это, в свою очередь, требует представления данных для передачи в цифровом формате. Видео в форматах PAL/NTSC оцифровывается легко и с минимальной задержкой, но только если изображение предварительно не сжато, это оцифрованное необработанное видео превышает полосу пропускания доступных каналов беспроводной связи. Для одного канала несжатого видео стандартной чёткости требуется полоса пропускания 105 Мбит/с (к слову, для несжатого видео высокой чёткости требуется около 1,5 Гбит/с). Но даже если полоса пропускания удовлетворяет требованиям, чем уˆже полоса пропускания при данном уровне мощности, тем выше будет энергоэффективность беспроводной линии связи. Следовательно, выделение широкой полосы пропускания для передачи видео, как правило, затруднительно, а даже если это возможно, такой подход значительно увеличивает стоимость системы и снижает производительность РЧ-оборудования.

К счастью, требуемая для передачи видео полоса пропускания может быть уменьшена путём сжатия данных с использованием стандартизированного формата, каким является, например, H.264. Однако дополнительная обработка сигнала приводит к задержке, как за счёт сжатия на стороне камеры, так и за счёт декодирования и отображения на пульте дистанционного управления или на стороне клиента. Аппаратное сжатие/декомпрессия с ограниченной пропускной способностью могут вызывать задержку до 1 секунды, в то время как задержка для программной реализации традиционно бывает ближе к 2 секундам¹.

Очевидно, что такие задержки видео сделали бы большинство ранее упомянутых приложений обратной связи невозможными. К счастью, последние технические разработки теперь предлагают выход: в настоящее время доступно быстродействующее видеооборудование, которое снижает общую задержку от объектива до экрана до величины менее 100 мс.

Далее рассмотрим, как это оборудование может быть встроено в практическую систему, и покажем некоторые реальные примеры применения.

¹Приведённые в статье примеры иллюстрируют работу с видеоисточниками стандартной чёткости (SD). Но высокое разрешение видео быстро становится повсеместно ожидаемой опцией. Формат HD усложняет задачу, поскольку требования к пропускной способности для видео высокой чёткости (1080p) во много раз выше, чем для NTSC. Однако достижения, обсуждаемые в контексте видеосистем SD, теперь доступны и для HD.

Внедрение системы сжатия видео со сверхнизкой задержкой

Передача видеоданных с камеры на экран дисплея удалённого наблюдателя происходит в несколько этапов. На рис. 3 показана часть процесса сжатия для четырёхканальной системы. 

Во-первых, фрейм-граббер (устройство видеозахвата) каждого канала должен принимать входящее видео в формате PAL или NTSC со входов камеры, декодировать его в информацию о цветности, яркости и синхронизации. Затем выполняется высокоскоростное аналого-цифровое преобразование (A-D). Результат A-D передаётся кодеку для кодирования, обычно применяют стандарт сжатия H.264. В этом примере кодек непрерывно кодирует входящие видеопотоки, а не ожидает получения полных кадров. Этот непрерывный «видеотрубопровод» вкупе с оптимизированным кодеком высокой производительности является основным фактором обеспечения низких задержек в системе. На рис. 3 также показано, как сжатое видео передаётся на шину центрального процессора (на рисунке она показана как шина PCI-104 – компактный вариант для встраиваемых приложений), что делает его немедленно доступным для другого оборудования на этой шине, которое сохраняет или передаёт данные через кабельные или беспроводные сети (рис. 3).

На рис. 4 показана плата многоканального аппаратного энкодера H.264 со сверхнизкой задержкой. Обратите внимание на его форм-фактор PCI-104, здесь используется общепринятый набор сигналов шины PCI, но при этом компактная механическая реализация делает возможным развёртывание устройства в условиях с ограниченным пространством и весом, например, в аппаратуре БПЛА. На рис. 5 мы видим обратный процесс, реализованный в месте удалённого просмотра, при котором входящее сжатое видео распаковывается и повторно компонуется для отображения в композитное видео NTSC, PAL или RS-170. 

Каждый системный энкодер и декодер привносит задержку около 40 мс, таким образом, общая задержка от объектива до экрана, как упоминалось, составляет менее 100 мс. На рис. 6 показан многоканальный аппаратный декодер H.264 со сверхнизкой задержкой, имеющий, как и энкодер, форм-фактор PCI-104.

Тяжёлая карьерная техника

Некоторые используемые в карьерах транспортные средства настолько велики, что водитель не в состоянии контролировать обстановку вокруг автомобиля, а это совершенно неприемлемо с точки зрения безопасности работы. Вспомогательные средства включают в себя набор камер, установленных в стратегически важных точках транспортного средства, которые транслируют видео в реальном времени на дисплей в кабине водителя. Приложение требует, чтобы выходные данные каждой камеры регистрировались для последующего контроля и анализа активности транспортного средства, если в этом возникнет необходимость. Задача нереализуема без сжатия видео с целью минимизации потребности в ёмкости хранилища данных. Однако сжатие создаёт задержку, которая при традиционном решении проблемы недопустимо искажает прямую трансляцию видео водителю, гарантирующую его ситуационную осведомлённость. К счастью, описанная ранее топология видео с очень низкой задержкой разрешила данный конфликт. Это позволило разработать многокамерную систему, соответствующую ограничениям хранилища при условии одновременной потоковой передачи водителю видео с информацией о ситуации (рис. 7).

Приложение Eye in the Sky

Это пример максимально эффективной автономной работы. Беспилотные летательные аппараты Eye in the Sky (небесный глаз) могут автоматически перемещаться с базы в место, где они необходимы. Однако по прибытии аппарата в целевую точку оператор должен взять систему под свой контроль: он должен быть уверен, что камеры дрона работают без задержки, что необходимо для эффективного реагирования. Для этого видео сжимается и передаётся по беспроводной сети на базу оператора, а затем распаковывается для просмотра и контроля в реальном времени. При использовании аппаратного кодирования со сверхнизкой задержкой (менее 40 мс) и декодирования (менее 40 мс) общая задержка в основном зависит от качества связи между дроном и оператором (рис. 8). 

Полученные видеоданные также можно записать для последующего просмотра, обучения, отчётности или протоколирования действий.

Приложение для шельфовой разведки нефти

Операторы кранов на нефтяной платформе и подводных ROV (Remotely Operated Vehicle – дистанционно управляемое транспортное средство) должны манипулировать трубами и другими тяжёлыми объектами на морском дне. Безопасное дистанционное управление этими большими подводными объектами требует минимальной задержки в контуре управления оператора. Кодеки со сверхнизкими задержками могут обеспечивать почти в реальном времени видео высокого разрешения, позволяя выполнять эти задачи безопасно и эффективно. Кроме того, видеопоток комбинируется с интерфейсом панели управления оператора крана и передаётся, возможно, за сотни километров к центрам управления. Таким образом, операторы могут удалённо контролировать производимые работы, а технические группы на буровой установке могут управлять ими.

Все данные при этом записываются для доказательных и учебных целей (рис. 9).

Применение в боевом транспортном средстве

Обеспечение ситуационной осведомлённости внутри и вокруг боевого транспортного средства – важнейшая задача, поскольку все тактические решения, принимаемые войсками и их командирами на театре военных действий, зависят от ситуационной осведомлённости. В транспортном средстве и на поле боя технология C4ISR (Command, Control, Communications, Computers, Intelligence, Surveillance, Reco­naissance – командование, управление, связь, компьютеры, разведка, наблюдение, рекогносцировка) в настоящее время считается не менее важной для успеха миссии, чем качество систем вооружения самой установки и её мобильность.

Машины (рис. 10) обычно оснащены многочисленными камерами, датчиками ночного видения и другими сложными сенсорами – многие из них предоставляют видеоданные. 

Видеопотоки должны быть немедленно доступны для экипажа, но ещё более важным для успеха миссии является то, что эта же информация мгновенно должна становиться доступной и для командования. Для этого каналы передачи сжимаются с использованием кодеков с очень низкой задержкой и передаются с применением кодирования, защищающего данные от перехвата. Это позволяет принимать взвешенные тактические решения на основе данных, получаемых в реальном времени. Таким образом, информация о текущем выполнении задания передаётся в режиме реального времени по всей цепочке до главнокомандующего.

Заключение

Мы показали, насколько существенно задержка в цепочке передачи видео может ограничивать или, напротив, открывать новые возможности систем в таких приложениях, как мобильные UGV, дистанционное манипулирование и телемедицина. Конвергенция высокопроизводительных систем передачи видеоизображений и их компьютерной обработки породила множество приложений, требующих взаимодействия компонентов практически в реальном времени. До недавнего времени задержки, привносимые компонентами сжатия и восстановления изображения, практически исключали возможность реализации таких приложений. Однако появление аппаратного обеспечения со сверхнизкой задержкой позволило преодолеть этот барьер, и теперь цифровое видео стало доступным во многих приложениях с обратной связью, требующих сверхбыстрого отклика. Упростилась и интеграция таких систем, поскольку уже созданы платы, совместимые со стандартными компьютерными шинами. ● 

Источники иллюстраций в статье: DOD и Thales Group. 

Авторизованный перевод Юрия Широкова
E-mail: textoed@gmail.com