Содержание

Руководство по обновлению с версии v.5.1.32 на v.5.1.41

Глоссарий

Термин Значение термина
Батч Группа данных, обрабатываемых одновременно.
Биометрический образец Изображения, содержащие лицо или тело и соответствующие стандарту VisionLabs. Используется при работе с LUNA PLATFORM.
Биометрический шаблон Набор уникальных свойств, получаемых в LUNA PLATFORM из биометрического образца.
Детекция Сущность FaceStream, содержащая координаты лица или тела и оценочное значение объекта, по которому определяется лучший кадр.
Лучший кадр Кадр видеопотока, на котором лицо/тело зафиксировано в оптимальном ракурсе для дальнейшей обработки.
Портрет Изображение лица или тела, трансформированное под определенный формат. Портрет имеет два типа - “warp” (изображение трансформируется в формат биометрического образца), “gost” (из исходного кадра вырезается детекция с учетом отступов).
Ракурс Степень поворота головы (в градусах) по каждой из трех осей вращения (наклон вверх/вниз относительно горизонтальной оси; наклон влево/вправо относительно вертикальной оси; поворот относительно вертикальной оси).
Событие Сущность LUNA PLATFORM, которая содержит информацию (город, пользовательские данные, номер трека и т.д.) об одном лице и/или теле. Данная информация передается в LUNA PLATFORM приложением FaceStream. Полный перечень передаваемой информации см. в документации OpenAPI LUNA PLATFORM.
Трек Информация о положении объекта (лица) одного человека на последовательности кадров. Если объект покидает зону кадра, то трек прерывается не сразу. Некоторое время он ожидает возвращения объекта в кадр. Если объект вернулся, то трек продолжается.
Трекинг Функция отслеживания объекта (лица) на последовательности кадров.
LUNA Streams Сервис для создания и управления потоками, которые содержат политики обработки видеопотока/видеофайла/набора изображений.
Аббревиатура Расшифровка
БД, DB База данных
LP LUNA PLATFORM

Системные требования

FaceStream поставляется в Docker-контейнерах и может запускаться на CPU и GPU. Для установки необходимы образы Docker-контейнеров. Для загрузки образов Docker на сервере требуется подключение к сети Интернет, либо образы следует загрузить на любое другое устройство и перенести на сервер. Требуется вручную указать логин и пароль для загрузки образов Docker.

FaceStream можно запустить с помощью скрипта Docker Compose.

Рекомендуется использовать следующие версии Docker и Docker Compose для запуска FaceStream:

Запуск контейнеров FaceStream и LUNA Streams был протестирован на:

В контейнере FaceStream используется следующая ОС:

Сервисы LP и сторонние приложения

Для работы FaceStream требуются компоненты LUNA PLATFORM, дополнительные базы данных и сервис LUNA Streams. Основная информация об этом ПО содержится в данном документе.

LUNA Streams не является компонентом LUNA PLATFORM.

Следующие компоненты LUNA PLATFORM используются по умолчанию с FaceStream:

Следующие версии баз данных рекомендованы к использованию с LUNA Streams:

Для загрузки настроек в сервис LUNA Configurator требуется наличие Python версии 2.x или 3.x.

Установка и конфигурация Oracle не описывается в данном руководстве. Далее в документе будут приводиться примеры запуска с использованием PostgreSQL.

Балансировщики нагрузки (например, Nginx) и другие программы могут использоваться при масштабировании системы для обеспечения отказоустойчивости. Их конфигурация не описывается в данном руководстве.

Процессоры

Ниже приведены требования для запуска FaceStream в минимальной конфигурации. Требования для использования системы в продуктивном контуре рассчитываются в зависимости от предполагаемой нагрузки.

CPU

Дальнейшие минимальные требования приведены для использования одного экземпляра FaceStream.

Для корректной работы приложения аппаратное обеспечение должно отвечать следующим минимальным требованиям:

На аппаратные требования влияют несколько факторов:

Следует подбирать аппаратное обеспечение на основе вышеперечисленных факторов.

FaceStream также может работать в режиме ускорения вычислений за счет использования ресурсов видеокарты (см. ниже) и использования AVX2 инструкций. Требуется CPU с поддержкой AVX2. Система автоматически определяет наличие инструкций и запускается в оптимальном режиме.

GPU

Вычисления с использованием видеокарты поддерживаются только для детектора FaceDetV3. См. параметр “defaultDetectorType” в настройках FaceEngine (“faceengine.conf”).

Требуется минимум 6Гб оперативной или выделенной видеопамяти. Рекомендуется 8 Гб VRAM или более.

Поддерживаются архитектуры Pascal, Volta, Turing. Требуются Compute Capability 6.1 или выше и CUDA версии 11.4.

Рекомендуемый драйвер NVIDIA - r470.

В данный момент для одного экземпляра FaceStream поддерживается только одна видеокарта.

Введение

В данном документе приводится пример шагов, необходимых для обновления на новую сборку FaceStream при условии, что приложение было ранее запущено при установленной LUNA PLATFORM по соответствующему руководству. Если FaceStream запускался в соответствии с руководством по установке FaceStream без запущенной LUNA PLATFORM (с установкой минимально необходимых компонентов), то необходимо использовать соответствующий документ в комплекте поставки.

Данное руководство написано с предположением, что:

При обновлении следует помнить, что данные БД PostgreSQL и InfluxDB для сервиса LUNA Streams хранятся в директории с установленной LUNA PLATFORM. Поэтому подразумевается, что при обновлении FaceStream после обновления LUNA PLATFORM данные PostgreSQL и InfluxDB уже были перенесены в директорию с новым дистрибутивом LUNA PLATFORM (см. раздел “Перенос данных” руководства по установке LUNA PLATFORM).

В данном документе приведены примеры разворачивания сборки FaceStream в минимальной рабочей конфигурации для использования в демонстрационных целях. Данная конфигурация не является достаточной для реальной эксплуатации системы в продуктивном контуре.

Все описываемые команды необходимо исполнять в оболочке Bash (когда команды запускаются напрямую на сервере) или в программе для работы с сетевыми протоколами (в случае удаленного подключения к серверу), например, Putty.

Подготовка к обновлению

Убедитесь в том, что вы являетесь root-пользователем перед тем, как начать обновление!

Перед обновлением FaceStream необходимо выполнить ряд дополнительных действий:

  1. Создать резервные копии
  2. Удалить старую символическую ссылку
  3. Распаковать дистрибутив новой версии FaceStream
  4. Создать новую символическую ссылку
  5. Настроить вычисления с помощью GPU, если планируется использовать GPU
  6. Авторизироваться в registry VisonLabs, если ранее не была выполнена авторизация
  7. Удалить старые контейнеры

После выполненных действий можно приступить к ручному или автоматическому запуску LUNA Streams и FaceStream.

Создание резервных копий

Рекомендуется создать следующие резервные копии:

Создание резервных копий позволит восстановить в случае возникновения каких-либо проблем в процессе миграции.

Копия настроек сервисов

Пользовательские значения настроек сервисов LUNA PLATFORM (всех, кроме сервиса Configurator), LUNA Streams и FaceStream автоматически мигрируются с помощью механизма миграции сервиса Configurator. Данная резервная копия не будет использована в процессе нормальной установки FaceStream.

Чтобы создать файл настроек, используйте следующие опции (можно выполнить из любой директории на сервере):

wget -O /var/lib/fs/settings_dump_backup.json 127.0.0.1:5070/1/dump

или

curl 127.0.0.1:5070/1/dump > /var/lib/fs/settings_dump_backup.json

Удалите символическую ссылку в директорию предыдущей минорной версии с помощью следующей команды:

rm -f /var/lib/fs/fs-current

Распаковка архива

Рекомендуется переместить архив в предварительно созданную директорию для FaceStream и распаковать архив в этой директории.

Указанные команды следует выполнять под пользователем root.

Создайте директорию для FaceStream.

mkdir -p /var/lib/fs

Переместите архив в созданную директорию. Предполагается, что архив сохранён на сервере в директории “/root”.

mv /root/facestream_docker_v.5.1.41.zip /var/lib/fs/

Перейдите в директорию.

cd /var/lib/fs/

Установите утилиту unzip, если она ещё не установлена.

yum install unzip

Распакуйте архив.

unzip facestream_docker_v.5.1.41.zip

Создайте символическую ссылку. Символическая ссылка указывает на директорию, в которой хранятся файлы для запуска нужной версии программного продукта.

ln -s facestream_docker_v.5.1.41 fs-current

Установка зависимостей для GPU

Пропустите данный раздел если не собираетесь использовать FaceStream с GPU.

Для использования GPU с Docker контейнерами необходимо установить NVIDIA Container Toolkit.

Пример установки приведен ниже.

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | tee /etc/yum.repos.d/nvidia-docker.repo
yum install -y nvidia-container-toolkit
systemctl restart docker

Проверьте работу NVIDIA Container toolkit, запустив базовый контейнер CUDA (он не входит в дистрибутив FaceStream, его необходимо загрузить из Интернета):

docker run --rm --gpus all nvidia/cuda:11.4.3-base-centos7 nvidia-smi

Для дополнительной информации см. следующую документацию:

https://github.com/NVIDIA/nvidia-docker#centos-7x8x-docker-ce-rhel-7x8x-docker-ce-amazon-linux-12.

Извлечение атрибутов на GPU разработано для максимальной пропускной способности. Выполняется пакетная обработка входящих изображений. Это снижает затраты на вычисления для изображения, но не обеспечивает минимальную задержку для каждого изображения.

GPU-ускорение разработано для приложений с высокой нагрузкой, где количество запросов в секунду достигает тысяч. Нецелесообразно использовать ускорение GPU в сценариях с небольшой нагрузкой, когда задержка начала обработки имеет значение.

Действия для запуска FaceStream с GPU через Docker Compose

Для запуска FaceStream с GPU через Docker Compose необходимо, кроме вышеописанных действий, добавить секцию deploy в поле facestream в файл docker-compose.yml.

Перед запуском контейнера FaceStream с GPU требуется включить использование GPU для вычислений в настройках FaceStream с помощью параметра “enable_gpu_processing” (см. раздел “Настройки FaceStream” в руководстве администратора).

vi /var/lib/fs/fs-current/example-docker/docker-compose.yml
  facestream:
    image: ${REGISTRY_ADDRESS}:${DOCKER_REGISTRY_PORT}/facestream:${FS_VER}
    deploy:
      resources:
        reservations:
          devices:
          - driver: nvidia
            count: all
            capabilities: [gpu]
    restart: always
    environment:
      CONFIGURATOR_HOST: ${HOST_CONFIGURATOR}
      CONFIGURATOR_PORT: 5070

driver - в данном поле указывается драйвер для зарезервированного устройства(устройств);

count - в данном поле задается количество графических процессоров, которые должны быть зарезервированы (при условии, что хост содержит такое количество графических процессоров);

capabilities - данное поле выражает как общие, так и специфические возможности драйвера. Его необходимо задать, иначе будет возвращена ошибка при развертывании сервиса.

Для дополнительной информации см. следующую документацию:

https://docs.docker.com/compose/gpu-support/#enabling-gpu-access-to-service-containers.

Вход в registry

При запуске контейнеров необходимо указать ссылку на образ, необходимый для запуска контейнера. Этот образ загружается из VisionLabs registry. Перед этим необходима авторизация.

Логин и пароль можно запросить у представителя VisionLabs.

Введите логин <username>.

docker login dockerhub.visionlabs.ru --username <username>

После выполнения команды будет запрошен ввод пароля. Введите пароль.

В команде docker login можно вводить логин и пароль одновременно, однако это не гарантирует безопасность, т.к. пароль можно будет увидеть в истории команд.

Удаление старых контейнеров

Перед запуском контейнеров текущей минорной версии необходимо остановить все контейнеры, относящиеся к предыдущей минорной версии FaceStream.

Для удаления контейнера используйте следующую команду:

docker container rm -f [container_name]

где [container_name] это имя контейнера сервиса docker или ID.

Для удаления контейнеров FaceStream и LUNA Streams используйте следующую команду:

docker container rm -f facestream luna-streams

Чтобы посмотреть имена контейнеров или их ID, используйте следующую команду:

docker ps -a

Также рекомендуется удалить старые образы контейнеров для освобождения места. Можно использовать следующую команду для удаления всех неиспользуемых образов.

Если на сервере достаточно места, рекомендуется выполнить это действие только после успешного запуска новой версии FaceStream.

Данная команда удаляет все неиспользуемые образы, а не только образы, относящиеся к FaceStream.

docker image prune -a -f

Обновление FaceStream

Перед запуском FaceStream должны быть выполнены действия, описанные в разделе “Подготовка к обновлению”.

Миграция настроек

Для сохранения возможности использования пользовательских настроек LUNA Streams из предыдущей версии, необходимо выполнить миграцию. В текущем релизе необходимо выполнить миграцию два раза - до версии 0.5.17, а затем до версии v.0.6.35.

Если предыдущая версия FaceStream разворачивалась с помощью ручного режима, а не с помощью скрипта Docker Compose, то можно либо пропустить команду миграции до версии 0.5.17 и перейти к команде миграции до версии v.0.6.35, либо выполнить обе команды (не повлияет на настройки).

Если выполняется обновление с FaceStream v.5.1.18 и ниже, то необходимо сначала выполнить нижеописанную команду для LUNA Streams v.0.5.17, а затем для последней версии LUNA Streams.

Настройки FaceStream не требуют миграции в текущем релизе.

docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/streams:/srv/logs \
--entrypoint=/bin/bash \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/streams-configs:v.0.6.35 \
-c "python3 -m streams_configs.migrate head --config_db_url postgres://luna:luna@127.0.0.1:5432/luna_configurator"

--config_db_url postgres://luna:luna@127.0.0.1:5432/luna_configurator - флаг указания адреса БД luna_configurator

Миграция базы данных LUNA Streams

Необходимо выполнить скрипт миграции для обновления структуры базы данных LUNA Streams.

Рекомендуется создать резервную копию базы данных перед тем, как принимать какие-либо изменения.

docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/streams:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-streams:v.0.6.35 \
alembic -x luna-config=http://127.0.0.1:5070/1 upgrade head

Команда запуска контейнера LUNA Streams

Запуск контейнера осуществляется следующей командой:

docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5160 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/streams:/srv/logs \
--name=luna-streams \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-streams:v.0.6.35

Для проверки корректности запуска сервиса можно выполнить GET-запрос http://127.0.0.1:5160/version. В ответе должна вернуться версия LUNA Streams v.0.6.35.

Команды запуска контейнера FaceStream

Команда запуска контейнера с использованием CPU

Запуск контейнера осуществляется следующим образом:

docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
-v /var/lib/fs/fs-current/extras/conf/configs/faceengine.conf:/srv/facestream/data/faceengine.conf \
-v /var/lib/fs/fs-current/extras/conf/configs/runtime.conf:/srv/facestream/data/runtime.conf \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/facestream:/srv/logs \
--env=PORT=34569 \
--detach=true \
--restart=always \
--name=facestream \
--network=host \
dockerhub.visionlabs.ru/luna/facestream:v.5.1.41

Описание остальных параметров и ключей запуска см. в разделе “Описание ключей запуска”.

Для проверки корректности запуска можно выполнить GET-запрос http://127.0.0.1:34569/version. В ответе должна вернуться версия FaceStream.

Команда запуска контейнера с использованием GPU

Примечание. Используйте данную команду только если собираетесь использовать FaceStream с GPU.

Перед запуском FaceStream в режиме GPU необходимо установить дополнительные зависимости (см. раздел “Установка зависимостей для GPU”).

Перед запуском контейнера FaceStream с GPU требуется включить использование GPU для вычислений в настройках FaceStream с помощью параметра “enable_gpu_processing” (см. раздел “Настройки FaceStream” в руководстве администратора).

docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
-v /var/lib/fs/fs-current/extras/conf/configs/faceengine.conf:/srv/facestream/data/faceengine.conf \
-v /var/lib/fs/fs-current/extras/conf/configs/runtime.conf:/srv/facestream/data/runtime.conf \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/facestream:/srv/logs \
--env=PORT=34569 \
--gpus device=0 \
--detach=true \
--restart=always \
--name=facestream \
--network=host \
dockerhub.visionlabs.ru/luna/facestream:v.5.1.41

--gpus device=0 - параметр указывает используемое устройство GPU и позволяет использовать GPU. Один GPU используется для одного экземпляра FaceStream. Использование множества GPU для одного экземпляра невозможно.

Описание остальных параметров и ключей запуска см. в разделе “Описание ключей запуска”.

Для проверки корректности запуска можно выполнить GET-запрос http://127.0.0.1:34569/version. В ответе должна вернуться версия FaceStream.

Дополнительная информация

В данном разделе приводится следующая дополнительная информация:

Команды Docker

Показать контейнеры

Чтобы показать список запущенных Docker контейнеров, используйте команду:

docker ps

Чтобы показать все имеющиеся Docker контейнеры, используйте команду:

docker ps -a 

Копировать файлы в контейнер

Можно переносить файлы в контейнер. Используйте команду docker cp для копирования файла в контейнер.

docker cp <file_location> <container_name>:<folder_inside_container>

Вход в контейнер

Можно входить в отдельные контейнеры с помощью следующей команды:

docker exec -it <container_name> bash

Для выхода из контейнера используйте следующую команду:

exit

Имена образов

Можно увидеть все имена образов с помощью команды

docker images

Просмотр логов контейнера

Просмотреть логи контейнера можно с помощью следующей команды:

docker logs <container_name>

Удаление образа

Если требуется удаление образа:

docker rmi -f 61860d036d8c

Удаление всех существующих образов:

docker rmi -f $(docker images -q)

Остановка контейнера

Контейнер можно остановить с помощью следующей команды:

docker stop <container_name>

Остановка всех контейнеры:

docker stop $(docker ps -a -q)

Удаление контейнера

Если необходимо удалить контейнер:

docker container rm -f 23f555be8f3a

Удаление всех контейнеров:

docker container rm -f $(docker container ls -aq)

Ключи запуска

Ключи запуска задаются с помощью переменных окружения:

См. принцип работы FaceStream с LUNA Configurator в разделе “Использование FaceStream с LUNA Configurator” руководства администратора.

Расшифровка параметров запуска контейнера

Ниже приведена расшифровка параметров запуска контейнера:

Настройка ротации логов Docker

Чтобы ограничить размер логов, генерируемых Docker, можно настроить автоматическую ротацию логов. Для этого необходимо добавить в файл /etc/docker/daemon.json следующие данные:

{
    "log-driver": "json-file",
    "log-opts": {
        "max-size": "100m",
        "max-file": "5"
    }
}

Это позволит Docker хранить до 5 файлов логов на контейнер, при этом каждый файл будет ограничен 100 Мб.

После изменения файла необходимо перезапустить Docker:

systemctl reload docker

Вышеописанные изменения являются значениями по умолчанию для любого вновь созданного контейнера, они не применяются к уже созданным контейнерам.