Видеоаналитика для решения маркетинговых и административных задач: контроль персонала и заполненности торговых прилавков

В данной статье внимание направлено на два интеллектуальных модуля: модуль контроля действий персонала, который позволяет руководству вести дисциплинарную оценку работы сотрудников, и детектор пустых полок для контроля заполненности торговых прилавков.

Контроль действий персонала
Модуль контроля действий персонала используется для оценки активности сотрудников на их рабочих местах. В общем случае работа модуля ориентирована на детектирование следующих событий:
* обнаружение смены персонала на рабочих местах;
* контроль присутствия сотрудников на рабочих местах (контроль активности персонала);
* обнаружение персонала по цвету униформы среди прочих людей.

Обнаружение смены персонала на рабочих местах
Чаще всего работа модуля основана на методах корреляционного трекинга. При использовании корреляционных методов программа работает с определенной областью текущего кадра - в данном случае с областью, в которой присутствует изображение сотрудника. Проводится выявление характерных признаков и особенностей объекта: градиентов, цветовых характеристик, особых точек (углов, расстояний), вычисляется дескриптор (набор характерных признаков объекта). Для каждого нового кадра, приходящего с камеры, корреляционный трекинг проводит сравнение наблюдаемой области и анализирует, совпадают ли десктипторы текущего кадра и кадра, на котором присутствовал интересующий сотрудник (то есть тот ли самый объект присутствует в рассматриваемой области кадра). Если в заданной области появился новый десктиптор, программа детектирует смену персонала.
Второй вариант реализации детектора включает вычисление гистограммы цветов интересующего объекта. Предполагается, что с течением времени цветовые характеристики искомого объекта не меняются. Через определенный временной интервал программа сравнивает искомую гистограмму с гистограммой цветов наблюдаемой области текущего кадра. Если коэффициент схожести выше порогового значения, программа принимает решение, что в области находится тот же самый сотрудник, если ниже - сотрудник ушел с рабочего места. Далее если еще через определенный интервал времени гистограмма вновь изменилась, проводится ее сравнение с искомой. Если гистограммы отличаются, программа детектирует смену персонала, если совпадают - возвращение сотрудника на рабочее место.
Данная реализация редко применяется на практике, так как программа реагирует не только на уход сотрудника с рабочего места, но и просто на любое его смещение или изменение освещенности, так как при этом гистограмма цветов также меняется.

Активность персонала
Для оценки степени активности сотрудников также удобно использовать методы корреляционного трекинга. При этом оценивается время, в течение которого наблюдаемый объект (то есть соответствующий ему десктиптор) присутствует в заданной оператором зоне (на своем рабочем месте).
Альтернативная реализация анализирует движение на рабочем месте сотрудника. Этот метод предполагает, что в наблюдаемой зоне нет других движущихся объектов. Логика заключается в том, что если в зоне присутствует движение, активность, значит, в ней присутствует человек и совершает какую-то работу. Эти движения и регистрирует программа. Весь кадр можно разделить на несколько зон и одновременно контролировать активность нескольких сотрудников, затем выгружать отчеты.

Обнаружение сотрудников по униформе
Чаще всего для детектирования сотрудников по униформе используются технологии индексирования объектов, когда программа запоминает характеристики цветовых сочетаний образца (интересующего сотрудника в униформе), а затем проводит их сравнение с цветовыми характеристиками людей в каждом новом кадре. Подробнее о технологиях поиска людей по цветовым характеристикам я рассказывал в статье "Поиск по приметам становится проще".
Также для обнаружения сотрудников по униформе можно использовать технологии корреляционного трекинга и искать соответствующий сотруднику десктиптор на поступающем с камеры видео.

Контроль пустых полок
Возможны 2 варианта реализации детектора пустых полок.

Сравнение текущего изображения с эталонным
Первая возможная реализация детектора основана на сравнении текущего изображения полки с эталонным (изображением заполненной полки). Прежде всего, программе необходимо предоставить изображение полки, заполненность которой будет считаться 100%-ной. Далее алгоритм проведет анализ этого изображения и выявит особые точки (характерные углы, расстояния, резкие цветовые изменения), затем сопоставит с особыми точками изображения полки на текущем кадре. Программа вычислит процент заполненности полки. Оператор может задать порог степени незаполненности, при котором на экран будет выводиться сообщение о необходимости ее заполнения.
Наибольшую точность детектирования пустых полок этот метод показывает, когда в кадре ведется наблюдение за одной полкой, при увеличении их количества точность падает. Все дело в том, что чем более подробно программа "видит" полку, тем больше особых точек она может выявить. Точность работы метода зависит также от способа установки камеры. Например, если речь идет о товаре, который стоит на полке рядами, с фронтальной точки наблюдения при удалении товара из первого ряда картина меняется незначительно. В этом случае камеру лучше расположить сверху или под углом.
Во времени изображение полки не статично. Например, когда к ней подходят люди, изображение в кадре меняется, значит, меняются и особые точки. Эти изменения не относятся к степени заполненности полки, поэтому должны быть исключены из анализа. Для этого используется метод обновления фона, при котором программа определяет фон кадра, в который входит рассматриваемая полка, и перекрывающие ее объекты, которые находятся в кадре непродолжительное время (это время оператор может задать самостоятельно). Особые точки вычисляются, и их сопоставление проводится для фона.
Ограничения: реализация данного метода предполагает, что на полку докладывают тот же самый товар в той же последовательности, в какой он лежал изначально. Иначе происходит изменение количества и расположения особых точек, программа детектирует это изменение и принимает ложное решение, что полка так и осталась незаполненной.

Изменение цветовых характеристик
Второй вариант реализации детектора за исходные данные принимает изображение пустой полки, оценивает ее цветовую гамму и принимает площадь за 100%. Если на полке появляется товар, ее цветовая гамма меняется. Программа определяет, какой процент площади поменял свой цвет, и делает вывод о степени заполненности полки.
Ограничения: часть товара может иметь схожий с полкой цвет, тогда изменения в цвете будут незначительными, и программа будет хуже распознавать изменения.

Популярные методы контроля
Существует несколько подходов к контролю активности персонала и контролю заполненности торговых полок - наиболее популярны методы, использующие технологию корреляционного трекинга. В этом случае программа ведет работу с характерными признаками изображения сотрудника или рассматриваемой полки и сопоставляет их с соответствующими признаками на приходящих с камеры кадрах.
Помимо методов корреляционного трекинга модуль контроля действий персонала использует технологии индексирования объектов, анализа цветовых характеристик и детектирования отсутствия движения в кадре. Модуль контроля пустых полок также может быть реализован с помощью анализа цветовых показателей кадра.

Статья опубликована в журнале «Системы безопасности» №3, 2015