Общее описание#
VisionLabs LUNA CARS – система, предназначенная для детектирования, трекинга объектов, определения атрибутов транспортных средств и распознавания автомобильных номеров.
LUNA CARS включает в себя три подсистемы:
- CARS_API – подсистема детекции и распознавания атрибутов транспортных средств (ТС) и государственных регистрационных знаков (ГРЗ) на изображениях в режиме реального времени.
- CARS_Stream – подсистема детекции ТС, ГРЗ, пешеходов и животных, а также трекинга ТС и ГРЗ в видеопотоке и определения лучших кадров.
- CARS_Analytics – подсистема сбора, хранения и отображения результатов работы CARS_API и CARS_Stream посредством веб-интерфейса.
VisionLabs LUNA CARS позволяет в режиме реального времени:
- детектировать ТС;
- определять тип ТС;
- определять марку и модель ТС;
- определять принадлежность ТС к экстренным службам, специальному и общественному транспорту;
- определять цвет ТС;
- определять количество осей ТС;
- определять ориентацию ТС в пространстве;
- определять наличие мигалки и прицепа;
- рассчитывать скорость ТС;
- подсчитывать количество ТС;
- предоставлять доступ к событиям распознавания и детекции ТС посредством веб-интерфейса;
- детектировать ГРЗ;
- распознавать символы ГРЗ;
- определять страну принадлежности ТС по ГРЗ;
- определять наличие дыма и/или огня;
- детектировать пешеходов;
- детектировать животных;
- управлять видеопотоками.
Схема работы LUNA CARS#
Схема работы LUNA CARS (Рисунок 1).
Таблица 1. Описание схемы LUNA CARS
| Компонент | Описание |
|---|---|
| Источники | RTSP-видеопотоки, видеофайлы или изображения, содержащие ТС, ГРЗ, пешеходов и/или животных |
| ANPR камера | Источник типа ANPR-камера, которая содержит изображения ТС, ГРЗ |
| Балансировщик нагрузки | Сервис для распределения запросов и ответов между несколькими запущенными копиями CARS_API или CARS_Stream и внешней системой аналитики и сбора информации. Поддерживается работа только с Nginx |
| CARS_Stream | Подсистема для детекции ТС, ГРЗ, пешеходов и животных в видеопотоке, а также для трекинга ТС и ГРЗ и выбора лучших кадров |
| ANPR Stream | Подсистема для интеграции ANPR-камер с CARS_Analytics |
| CARS_API | Подсистема для детекции ТС и ГРЗ и распознавания их атрибутов |
| CARS_Analytics | Подсистема для сбора, хранения и отображения результатов работы CARS_API и CARS_Stream через веб-интерфейс. Включает базу данных PostgreSQL |
Диаграммы взаимодействия компонентов LUNA CARS#
Диаграмма работы LUNA CARS с видео (Рисунок 2).
Таблица 2. Описание диаграммы последовательности работы с видеопотоками
| Шаг | Описание |
|---|---|
| (1) | CARS_Stream получает видеопоток или видеофайл от источников |
| (2) | CARS_Stream делит видео на кадры, выполняет детекцию объектов на каждом кадре, формирует треки и определяет лучший кадр для каждого трека |
| (3) | CARS_Analytics получает от CARS_Stream сообщение с лучшим кадром трека. Сообщение передается через модуль callback_manager.py и содержит лучший кадр с объектом (ТС, ГРЗ, пешеход или животное), а также информацию о расположении объектов на кадре |
| (4) | CARS_Analytics через балансировщик нагрузки отправляет запрос в CARS_API с лучшим кадром для определения атрибутов ТС (марка, модель и др.) и ГРЗ (символы, страна и др.) |
| (5) | Балансировщик нагрузки направляет запрос в один из экземпляров CARS_API с минимальной загрузкой |
| (6) | CARS_API обрабатывает запрос с лучшим кадром |
| (7) | CARS_API возвращает через балансировщик нагрузки ответ на запрос, содержащий атрибуты ТС и ГРЗ лучшего кадра в CARS_Analytics |
| (8) | Балансировщик нагрузки передает ответ в CARS_Analytics |
| (9) | CARS_Analytics проводит проверку принадлежности к типу сценария (событие или инцидент) по типу объекта |
| (10) | CARS_Analytics сохраняет информацию о ТС и ГРЗ в базу данных |
| (11) | CARS_Analytics отображает в веб-интерфейсе браузера сформированное сообщение для пользователя с определенными атрибутами ТС и ГРЗ |
Диаграмма работы LUNA CARS с источником видео ANPR-камера (Рисунок 3).
Таблица 3. Описание диаграммы последовательности работы с видеопотоками из ANPR камеры
| Шаг | Описание |
|---|---|
| (1) | ANPR Stream получает видеопоток от источника типа ANPR-камера |
| (2) | ANPR Stream делит полученные видеофайлы на кадры, выполняет детекцию объектов на каждом кадре и формирует треки |
| (3) | CARS_Analytics получает от ANPR Stream сообщение с кадром трека. Сообщение передается через модуль callback_manager.py и содержит кадр с объектом (ТС, ГРЗ), а также информацию о расположении объектов на кадре |
| (4) | CARS_Analytics через балансировщик нагрузки отправляет запрос в CARS_API с лучшим кадром для определения атрибутов ТС (марка, модель и др.) и ГРЗ (символы, страна и др.) |
| (5) | Балансировщик нагрузки направляет запрос в один из экземпляров CARS_API с минимальной загрузкой |
| (6) | CARS_API обрабатывает запрос с лучшим кадром |
| (7) | CARS_API возвращает через балансировщик нагрузки ответ на запрос, содержащий атрибуты ТС и ГРЗ лучшего кадра в CARS_Analytics |
| (8) | Балансировщик нагрузки передает ответ в CARS_Analytics |
| (9) | CARS_Analytics проводит проверку принадлежности к типу сценария (событие или инцидент) по типу объекта |
| (10) | CARS_Analytics сохраняет информацию о ТС и ГРЗ в базу данных |
| (11) | CARS_Analytics отображает в веб-интерфейсе браузера сформированное сообщение для пользователя с определенными атрибутами ТС и ГРЗ |
Диаграмма последовательности работы LUNA CARS с изображениями (Рисунок 4).
Таблица 4. Описание диаграммы последовательности работы с изображениями
| Шаг | Описание |
|---|---|
| (1) | CARS_API получает изображение и запрос на обработку изображения от CARS_API Tester |
| (2) | Балансировщик нагрузки направляет запрос в один из экземпляров CARS_API с минимальной загрузкой |
| (3) | CARS_API обрабатывает запрос с изображением |
| (4) | CARS_API возвращает через балансировщик нагрузки ответ на запрос, содержащий атрибуты ТС и ГРЗ в CARS_Analytics |
| (5) | Балансировщик нагрузки передает ответ в CARS_Analytics |
| (6) | CARS_Analytics получает информацию о ТС и ГРЗ |
| (7) | CARS_Analytics отображает в веб-интерфейсе браузера сформированное сообщение для пользователя с определенными атрибутами ТС и ГРЗ |