Порты сервисов по умолчанию#
Название сервиса | Порт |
---|---|
LUNA PLATFORM API | 5000 |
LUNA PLATFORM Admin | 5010 |
LUNA PLATFORM Image Store | 5020 |
LUNA PLATFORM Faces | 5030 |
LUNA PLATFORM Events | 5040 |
LUNA PLATFORM Tasks | 5050 |
LUNA PLATFORM Tasks Worker | 5051 |
LUNA PLATFORM Configurator | 5070 |
LUNA PLATFORM Sender | 5080 |
LUNA PLATFORM Handlers | 5090 |
LUNA PLATFORM Python Matcher | 5100 |
LUNA PLATFORM Licenses | 5120 |
LUNA PLATFORM Backport 4 | 5130 |
LUNA PLATFORM Backport 3 | 5140 |
LUNA PLATFORM Accounts | 5170 |
LUNA PLATFORM Lambda | 5210 |
LUNA PLATFORM Remote SDK | 5220 |
LUNA PLATFORM 3 User Interface | 4100 |
LUNA PLATFORM 4 User Interface | 4200 |
Oracle DB | 1521 |
PostgreSQL | 5432 |
Redis DB | 6379 |
InfluxDB | 8086 |
Grafana | 3000 |
Названия сервисов в Configurator#
Таблица ниже включает в себя названия сервисов в сервисе Configurator. Данные параметры используются для конфигурации сервисов.
Сервис | Название сервиса в Configurator |
---|---|
API | luna-api |
Licenses | luna-licenses |
Faces | luna-faces |
Image Store | luna-image-store |
Accounts | luna-accounts |
Tasks | luna-tasks |
Events | luna-events |
Sender | luna-sender |
Admin | luna-admin |
Remote SDK | luna-remote-sdk |
Handlers | luna-handlers |
Lambda | luna-lambda |
Python Matcher | luna-python-matcher |
Backport 3 | luna-backport3 |
Backport 4 | luna-backport4 |
Настройки для сервиса Configurator устанавливаются в его конфигурационном файле.
Введение#
В данном документе описаны основные шаги, необходимые для обновления с дистрибутива LUNA PLATFORM 4 (версия 4.5.4) на LUNA PLATFORM 5 с сервисом Backport 4. См. раздел "Backports" в руководстве администратора для информации о сервисе Backport 4.
Примечание. Данный документ протестирован на версии v.5.64.0.
Данный документ включает в себя пример развертывания LUNA PLATFORM. В нем подразумевается минимальная рабочая мощность LUNA PLATFORM в демонстрационных целях, но для реальной работы системы этого недостаточно.
В случае если у вас более ранняя версия LUNA PLATFORM, следует обновить ее до версии 4.5.4. Затем следует выполнить миграцию.
В данном документе описывается миграция из LUNA PLATFORM 4.5.4, установленной в конфигурации по умолчанию. Обратите внимание на то, что конфигурация LUNA PLATFORM и масштабирование системы могут различаться. В этом случае используйте данное руководство как пример общего подхода к миграции LUNA PLATFORM.
В данном документе описывается установка всех сервисов на одном устройстве.
Для использования LUNA PLATFORM в Docker-контейнерах требуется сетевая лицензия. Лицензия предоставляется компанией VisionLabs по запросу отдельно от поставки. Лицензионный ключ создается с помощью отпечатка системы. Этот отпечаток создается на базе информации об аппаратных характеристиках сервера. Таким образом, полученный лицензионный ключ будет работать только на том же сервере, с которого был получен отпечаток системы. LUNA PLATFORM можно активировать с помощью одной из двух утилит — HASP или Guardant. В разделе "Обновление лицензии" приведены полезные ссылки на инструкции по активации лицензионного ключа для каждого способа.
В инструкции приводится пример запуска СУБД PostgreSQL 16 в Docker-контейнере из Docker-реестра VisionLabs. В документации по установке LUNA PLATFORM 4.5.4 приводился пример использования версия PostgreSQL 9.6. Миграция СУБД PostgreSQL не описана в данной документации.
Для выполнения миграции нужно выполнить действия из следующих разделов:
- "Подготовка к обновлению" — действия по распаковке архивов, подготовке директорий, настройке лицензии и пр. Некоторые действия могут быть опциональными.
- "Запуск сервисов" — действия по миграции баз данных и запуск сервисов.
В разделе "Дополнительная информация" приводится полезная информация по описанию параметров запуска сервисов, командах Docker, включении Grafana для визуализации мониторинга и пр.
Для активации LUNA PLATFORM требуется файл лицензии. Этот файл предоставляется компанией VisionLabs по запросу.
Все действия, описанные в данном руководстве, должны выполняться пользователем root. В данном документе не описывается создание пользователя с привилегиями администратора и последующая установка, выполняемая этим пользователем.
Подготовка к обновлению#
Убедитесь в том, что вы являетесь root-пользователем перед тем, как начать установку!
- Ознакомиться с информацией по миграции аккаунтов
- Создать резервные копии
- Удалить старую символическую ссылку
- Распаковать дистрибутив новой версии LUNA PLATFORM
- Создать новую символическую ссылку
- Изменить группу и владельца для новых директорий
- Выполнить перенос бакетов Image Store
- Настроить SELinux и Firewall, если ранее не были настроены
- Создать директории логов для новых сервисов, если ранее использовалась запись логов в файл
- Обновить лицензию
- Выполнить установку Docker
- Настроить вычисления с помощью GPU, если планируется использовать GPU
- Авторизироваться в registry VisonLabs, если ранее не была выполнена авторизация
- Удалить контейнеры LUNA PLATFORM 4
Информация по миграции аккаунтов#
Все аккаунты, созданные с помощью сервиса Admin будут автоматически мигрированы. Аккаунту администратора будет присвоен тип "admin", а аккаунтам, создаваемым при запросе к ресурсу "/accounts" будет присвоен тип "advanced_user". В качестве логина и пароля будет использован почтовый адрес. Имя организации будет записано в поле "description".
Старый аккаунт | Новый аккаунт |
---|---|
Organization name: VisionLabs | login: example@visionlabs.ai |
E-mail address: example@visionlabs.ai | password: example@visionlabs.ai |
Account id: e8531a5b-a429-4980-8d04-b38d8c220409 | description: VisionLabs |
account_id: e8531a5b-a429-4980-8d04-b38d8c220409 | |
account_type: admin |
Для того, чтобы сохранить возможность использования данных, созданных ранее с помощью указания идентификатора "account_id" в заголовке "Luna-Account-Id", необходимо в запросе создания аккаунта "create account" указать "login", "password", "account_type" и старый идентификатор "account_id" в заголовке "Luna-Account-Id" запроса. Таким образом, старый "account_id" привяжется к создаваемому аккаунту.
Примеры привязки аккаунта и создания нового аккаунта приведены в разделе "Создание аккаунта".
Создание резервных копий#
Создайте резервные копии всех баз данных, используемых с LUNA PLATFORM перед выполнением миграции. Данные можно восстановить в случае возникновения каких-либо проблем в процессе миграции.
Рекомендуется создавать резервные копии для бакетов Image Store.
Создание резервных копий баз данных и бакетов не описано в данном документе.
Удаление старой символической ссылки#
Откройте директорию "luna".
cd /var/lib/luna
Удалите символическую ссылку "current".
rm -f current
Распаковка дистрибутива#
Дистрибутив представляет собой архив luna_v.5.67.0, где v.5.67.0 это числовой идентификатор, обозначающий версию LUNA PLATFORM.
Архив включает в себя конфигурационные файлы, требуемые для установки и использования. Он не включает в себя Docker образы сервисов, их требуется скачать из Интернета отдельно.
Переместите дистрибутив в директорию на вашем сервере перед установкой. Например, переместите файлы в директорию /root/
. В ней не должно быть никакого другого дистрибутива или файлов лицензии кроме целевых.
Переместите дистрибутив в директорию c LUNA PLATFORM.
mv /root/luna_v.5.67.0.zip /var/lib/luna
Установите приложение для распаковки архива при необходимости
yum install -y unzip
Откройте папку с дистрибутивом
cd /var/lib/luna
Распакуйте файлы
unzip luna_v.5.67.0.zip
Создание символической ссылки#
Создайте символическую ссылку. Она показывает, что актуальная версия файла дистрибутива используется для запуска LUNA PLATFORM.
ln -s luna_v.5.67.0 current
Изменение группы и владельца для директорий#
Сервисы LP запускаются внутри контейнеров пользователем "luna". Таким образом, требуется установить разрешения для данного пользователя на работу с примонтированными директориями.
Откройте директорию LP "example-docker":
cd /var/lib/luna/current/example-docker/
Создайте директорию для хранения настроек:
mkdir luna_configurator/used_dumps
Установите для пользователя с UID 1001 и группой 0 разрешения на работу с примонтированными директориями.
chown -R 1001:0 luna_configurator/used_dumps
Перенос бакетов Image Store#
В LUNA PLATFORM 5 предполагается хранить бакеты в корневой директории /var/lib/luna/
для упрощения процесса последующего обновления.
Создайте директорию для хранения бакетов Image Store:
mkdir -p /var/lib/luna/image_store
Перенесите содержимое директории с бакетами Image Store в новую директорию для хранения бакетов:
mv /var/lib/luna/luna_v.4.5.4/example-docker-compose/image_store/* /var/lib/luna/image_store
Установите для пользователя с UID 1001 и группой 0 разрешения на работу с примонтированными директориями.
chown -R 1001:0 /var/lib/luna/image_store
SELinux и Firewall#
SELinux и Firewall необходимо настроить так, чтобы они не блокировали сервисы LUNA PLATFORM.
Конфигурация SELinux и Firewall не описываются в данном руководстве.
Если SELinux и Firewall не настроены, дальнейшая установка невозможна.
Создание директории логов для новых сервисов#
Пропустите этот раздел в случае, если ранее логи не сохранялись на сервере.
В версии LUNA PLATFORM 5 появились новые сервисы, для которых нужно создать директории с логами.
См. раздел "Запись логов на сервер" если вы ранее не использовали запись логов в файл, но хотите включить её.
Ниже приведены команды для создания директорий для всех существующих сервисов. Данные команды создадут и присвоят права только отсутствующим директориям.
mkdir -p /tmp/logs/configurator /tmp/logs/image-store /tmp/logs/accounts /tmp/logs/faces /tmp/logs/licenses /tmp/logs/events /tmp/logs/python-matcher /tmp/logs/handlers /tmp/logs/remote-sdk /tmp/logs/tasks /tmp/logs/tasks-worker /tmp/logs/sender /tmp/logs/api /tmp/logs/admin /tmp/logs/backport3 /tmp/logs/backport4
chown -R 1001:0 /tmp/logs/configurator /tmp/logs/image-store /tmp/logs/accounts /tmp/logs/faces /tmp/logs/licenses /tmp/logs/events /tmp/logs/python-matcher /tmp/logs/handlers /tmp/logs/remote-sdk /tmp/logs/tasks /tmp/logs/tasks-worker /tmp/logs/sender /tmp/logs/api /tmp/logs/admin /tmp/logs/backport3 /tmp/logs/backport4
Если необходимо использовать сервис Python Matcher Proxy, то нужно дополнительно создать директорию /tmp/logs/python-matcher-proxy
и установить ей разрешения.
Обновление лицензии#
Для обновления лицензии необходимо выполнить следующие действия:
- выполнить действия из руководства по активации лицензии
- задать настройки лицензирования HASP или Guardant перед запуском контейнера Licenses
Действия из руководства по активации лицензии#
Откройте руководство по активации лицензии и выполните необходимые шаги.
Примечание. Это действие является обязательным. Лицензия не будет работать без выполнения шагов по активации лицензии из соответствующего руководства.
Примечание. При обновлении Guardant Control Center необходимо заново выписать лицензионный ключ.
Установка Docker#
Установка Docker описана в официальной документации.
Примечание. При тестировании данной инструкции использовался Docker версии 25.0.3. Не гарантируется работа с более высокими версиями Docker.
Команды для быстрой установки приведены ниже.
Проверьте официальную документацию на наличие обновлений при возникновении каких-либо проблем с установкой.
Установите зависимости:
yum install -y yum-utils device-mapper-persistent-data lvm2
Добавьте репозиторий:
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
Установите Docker:
yum -y install docker-ce docker-ce-cli containerd.io
Запустите Docker:
systemctl start docker
systemctl enable docker
Проверьте статус Docker:
systemctl status docker
Вычисления с помощью GPU#
Для основных вычислений, выполняемых сервисом Remote SDK, можно использовать GPU.
Пропустите данный раздел, если не собираетесь использовать GPU для вычислений.
Для использования GPU с Docker-контейнерами необходимо установить NVIDIA Container Toolkit. Пример установки приведен ниже.
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | tee /etc/yum.repos.d/nvidia-docker.repo
yum install -y nvidia-container-toolkit
systemctl restart docker
Проверьте работу NVIDIA Container toolkit, запустив базовый контейнер CUDA (он не входит в дистрибутив LP, его необходимо загрузить из Интернета):
docker run --rm --gpus all nvidia/cuda:11.4.3-base-centos7 nvidia-smi
См. документацию NVIDIA для дополнительной информации.
Извлечение атрибутов на GPU разработано для максимальной пропускной способности. Выполняется пакетная обработка входящих изображений. Это снижает затраты на вычисления для изображения, но не обеспечивает минимальную задержку для каждого изображения.
GPU-ускорение разработано для приложений с высокой нагрузкой, где количество запросов в секунду достигает тысяч. Нецелесообразно использовать ускорение GPU в сценариях с небольшой нагрузкой, когда задержка начала обработки имеет значение.
Авторизация в registry#
При запуске контейнеров необходимо указать ссылку на образ, необходимый для запуска контейнера. Этот образ загружается из VisionLabs registry. Перед этим необходима авторизация.
Логин и пароль можно запросить у представителя VisionLabs.
Введите логин
docker login dockerhub.visionlabs.ru --username <username>
После выполнения команды будет запрошен ввод пароля. Введите пароль.
В команде
docker login
можно вводить логин и пароль одновременно, однако это не гарантирует безопасность, т.к. пароль можно будет увидеть в истории команд.
Удаление контейнеров LUNA PLATFORM 4#
Используйте следующую команду для остановки и удаления контейнеров LUNA PLATFORM 4.5.3.
Следует удалить все контейнеры сервисов LUNA PLATFORM, если запущено другое количество контейнеров или у них другие имена.
docker container rm -f admin api sender tasks tasks-worker events luna-matcher luna-detector luna-extractor licenses faces_2 faces_1 image-store configurator influxdb
Также рекомендуется остановить NGINX или отредактировать его настройки, т.к. данная инструкция не включает масштабирование с использованием NGINX.
docker container rm -f nginx
Запуск сервисов#
В данном разделе приведены примеры:
- Миграции таблиц баз данных
- Создания бакетов
- Запуска контейнеров
Сервисы LUNA PLATFORM должны запускаться в следующем порядке:
- Базы данных, балансировщики, HASP сервис и прочие сторонние сервисы
- Configurator
- Image Store
- Accounts
- Licenses
- Faces
- Events
- Python Matcher
- Python Matcher Proxy. Сервис отключен по умолчанию.
- Remote SDK
- Handlers
- Tasks
- Sender
- API
- Admin
Далее необходимо запустить сервис Backport 4 и его пользовательский интерфейс:
Рекомендуется запускать контейнеры один за другим и ожидать отображения статуса контейнера "up" (команда docker ps
).
Некоторые из этих сервисов не являются обязательными к запуску и можно отключить их использование. Рекомендуется использовать сервисы Events, Tasks, Sender и Admin по умолчанию. См. раздел "Использование необязательных сервисов" для более подробной информации.
При запуске каждого сервиса используются определенные параметры, например, --detach
, --network
и др. См. раздел "Описание параметров запуска" для получения более подробной информации о всех параметрах запуска сервисов LUNA PLATFORM и баз данных.
См. раздел "Команды Docker" для получения более подробной информации о работе с контейнерами.
Сторонние сервисы#
В данном разделе описывается запуск баз данных в Docker-контейнерах. Они должны быть запущены перед сервисами LP.
InfluxDB#
Для мониторинга сервисов LUNA PLATFORM требуется наличие запущенной базы данных Influx 2.0.8-alpine. Ниже приведены команды по запуску контейнера InfluxDB.
Дополнительную информацию см. в разделе "Мониторинг" в руководстве администратора.
При необходимости можно настроить визуализацию данных мониторинга с помощью сервиса LUNA Dashboards, включающего в себя настроенную систему визуализации данных Grafana. Кроме того, можно запустить инструмент для расширенной работы с логами Grafana Loki. См. инструкцию по запуску LUNA Dashboards и Grafana Loki в разделе "Визуализация мониторинга и логов с помощью Grafana".
Примечание. При необходимости можно использовать внешнюю БД InfluxDB 2.0.8-alpine. В таком случае можно пропустить команду ниже, однако вам придется задать пользовательские настройки для каждого сервиса LUNA PLATFORM.
Используйте команду docker run
со следующими параметрами:
docker run \
-e DOCKER_INFLUXDB_INIT_MODE=setup \
-e DOCKER_INFLUXDB_INIT_BUCKET=luna_monitoring \
-e DOCKER_INFLUXDB_INIT_USERNAME=luna \
-e DOCKER_INFLUXDB_INIT_PASSWORD=password \
-e DOCKER_INFLUXDB_INIT_ORG=luna \
-e DOCKER_INFLUXDB_INIT_ADMIN_TOKEN=kofqt4Pfqjn6o0RBtMDQqVoJLgHoxxDUmmhiAZ7JS6VmEnrqZXQhxDhad8AX9tmiJH6CjM7Y1U8p5eSEocGzIA== \
-v /etc/localtime:/etc/localtime:ro \
-v /var/lib/luna/influx:/var/lib/influxdb2 \
--restart=always \
--detach=true \
--network=host \
--name influxdb \
dockerhub.visionlabs.ru/luna/influxdb:2.0.8-alpine
PostgreSQL#
Миграция с PostgreSQL 9.6 на PostgreSQL 16#
В LUNA PLATFORM 5 обновился образ VisionLabs для PostgreSQL с 9.6 версии на 16 версию.
Если ранее использовался данный образ, то необходимо самостоятельно выполнить миграцию согласно официальной документации. При необходимости можно продолжить использовать PostgreSQL 9.6.
Монтирование данных PostgreSQL 9.6 в контейнер для PostgreSQL 16 приведет к ошибке.
Запуск контейнера PostgreSQL#
Используйте следующую команду для запуска PostgreSQL.
Убедитесь, что старая PostgreSQL удалена.
docker run \
--env=POSTGRES_USER=luna \
--env=POSTGRES_PASSWORD=luna \
--shm-size=1g \
-v /var/lib/luna/postgresql/data/:/var/lib/postgresql/data/ \
-v /var/lib/luna/current/example-docker/postgresql/entrypoint-initdb.d/:/docker-entrypoint-initdb.d/ \
-v /etc/localtime:/etc/localtime:ro \
--name=postgres \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/postgis-vlmatch:16
-v /var/lib/luna/current/example-docker/postgresql/entrypoint-initdb.d/:/docker-entrypoint-initdb.d/ \
— скрипт "docker-entrypoint-initdb.d" включает в себя команды для создания баз данных сервисов.
-v /var/lib/luna/current/example-docker/postgresql/data/:/var/lib/postgresql/data/
— эта команда позволяет монтировать директорию "data" в контейнер PostgreSQL. Директория на сервере и директория в контейнере будут синхронизированы. Данные PostgreSQL из контейнера будут сохраняться в эту директорию.
--network=host
— при необходимости изменить порт для PostgreSQL, следует изменить эту строку на -p 5440:5432
. Здесь первый порт 5440
— локальный, а 5432
— порт в контейнере.
Все базы данных для сервисов LP следует создавать вручную, если используется уже установленный PostgreSQL.
Redis#
Примечание. Если у вас уже установлен Redis, пропустите этот шаг.
Используйте следующую команду для запуска Redis.
docker run \
-v /etc/localtime:/etc/localtime:ro \
--name=redis \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/redis:7.2
Configurator#
Использование необязательных сервисов#
Следующие сервисы необязательны для LP:
- Events
- Image Store
- Tasks
- Sender
- Handlers
- Python Matcher Proxy (отключен по умолчанию)
- Lambda (отключен по умолчанию)
Работа с сервисом Lambda возможна только при разворачивании сервисов LUNA PLATFORM в Kubernetes. См. подробную информацию в руководстве по разворачиванию LP в Kubernetes.
Эти сервисы можно отключить при отсутствии необходимости в них.
Используйте секцию "ADDITIONAL_SERVICES_USAGE" в настройках сервиса API в сервисе Configurator, чтобы отключить ненужные сервисы.
Можно использовать файл сброса, предоставленный в комплекте поставки, для включения/отключения сервисов перед запуском сервиса Configurator.
vi /var/lib/luna/current/extras/conf/platform_settings.json
Отключение какого-либо из сервисов имеет определенные последствия. См. подробную информацию в разделе "Отключаемые сервисы" руководства администратора.
Пересоздание базы данных Configurator#
Нет необходимости переносить базу данных сервиса Configurator, так как она должна создаваться с нуля и заполняться вручную.
Используйте следующие команды для удаления и создания базы данных сервиса Configurator.
Удалите старую базу данных:
docker exec -it postgres psql -U luna -c "DROP DATABASE luna_configurator;"
Создайте новую базу данных:
docker exec -it postgres psql -U luna -c "CREATE DATABASE luna_configurator;"
Присвойте привилегии пользователю базы данных:
docker exec -it postgres psql -U luna -c "GRANT ALL PRIVILEGES ON DATABASE luna_configurator TO luna;"
Разрешите пользователю авторизацию в базе данных:
docker exec -it postgres psql -U luna -c "ALTER ROLE luna WITH LOGIN;"
Создание таблиц базы данных Configurator#
Используйте команду docker run
со следующими параметрами для создания таблиц базы данных Configurator.
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /var/lib/luna/current/example-docker/luna_configurator/configs/luna_configurator_postgres.conf:/srv/luna_configurator/configs/config.conf \
-v /var/lib/luna/current/extras/conf/platform_settings.json:/srv/luna_configurator/used_dumps/platform_settings.json \
--network=host \
-v /tmp/logs/configurator:/srv/logs \
--rm \
--entrypoint bash \
dockerhub.visionlabs.ru/luna/luna-configurator:v.2.2.18 \
-c "python3 ./base_scripts/db_create.py; cd /srv/luna_configurator/configs/configs/; python3 -m configs.migrate --config /srv/luna_configurator/configs/config.conf head; cd /srv; python3 ./base_scripts/db_create.py --dump-file /srv/luna_configurator/used_dumps/platform_settings.json"
/var/lib/luna/current/extras/conf/platform_settings.json
— позволяет задавать путь к файлу с конфигурациями LP.
./base_scripts/db_create.py;
— создает структуру базы данных.
python3 -m configs.migrate head;
— выполняет миграции настроек в базе данных Configurator и устанавливает ревизию для миграции. Ревизия потребуется в процессе обновления на новую сборку LP5.
--dump-file /srv/luna_configurator/used_dumps/platform_settings.json
— обновляет настройки в базе данных Configurator значениями из предоставленного файла.
Запуск контейнера Configurator#
Используйте команду docker run
со следующими параметрами для запуска Configurator:
docker run \
--env=PORT=5070 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /var/lib/luna/current/example-docker/luna_configurator/configs/luna_configurator_postgres.conf:/srv/luna_configurator/configs/config.conf \
-v /tmp/logs/configurator:/srv/logs \
--name=luna-configurator \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-configurator:v.2.2.18
На данном этапе можно активировать запись логов в файл, если необходимо сохранять их на сервере (см. раздел "Запись логов на сервер").
Image Store#
Миграция биометрических образцов#
Для миграции из LUNA PLATFORM 4 можно присвоить аккаунт всем биометрическим образцам в бакете Image Store. В противном случае ко всем объектам, созданным для LUNA PLATFORM 4, можно получить доступ из любого аккаунта или вообще без аккаунта.
Следующий скрипт можно пропустить, если биометрические образцы не должны быть привязаны к какому-либо аккаунту, и к ним можно получить доступ из любого аккаунта.
Создайте резервную копию всех бакетов биометрических образцов перед запуском следующего скрипта.
Следует запустить скрипт "migrate_4_to_5.py" для обновления информации об аккаунтах для хранящихся биометрических образцов.
Необходимо использовать существующие бакеты в процессе работы скрипта миграции биометрических образцов. Установите актуальные настройки хранилища для сервиса Image Store в пользовательском интерфейсе сервиса Configurator.
Выполните скрипт миграции биометрических образцов:
docker run \
--rm -t \
-v /tmp/logs/image-store:/srv/logs \
-v /var/lib/luna/image_store/:/srv/luna_image_store/local_storage/ \
--network=host \
--entrypoint bash dockerhub.visionlabs.ru/luna/luna-image-store:v.3.14.2 \
-c "python3 ./base_scripts/accounting/migrate_4_to_5.py --account_id=<account_id> --bucket=visionlabs-samples"
-v /var/lib/luna/image_store
путь к локальному хранилищу биометрических образцов Image Store.
<account_id>
— необходимо задать ID аккаунта, у которого будет доступ ко всем биометрическим образцам из указанного бакета (visionlabs-samples
).
Запуск контейнера Image Store#
Примечание. Если вы не собираетесь использовать сервис Image Store, не запускайте этот контейнер и отключите использование сервиса в сервисе Configurator. См. раздел "Использование необязательных сервисов".
Используйте следующую команду для запуска сервиса Image Store:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5020 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /var/lib/luna/image_store/:/srv/local_storage/ \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/image-store:/srv/logs \
--name=luna-image-store \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-image-store:v.3.14.2
-v /var/lib/luna/image_store/:/srv/local_storage/
— данные из указанной директории добавляются в Docker-контейнер, когда он запущен. Все данные из указанной директории Docker-контейнера сохраняются в данную директорию.
Если директория с бакетами LP уже создана, укажите ее вместо
/var/lib/luna/image_store/
.
Создание бакетов#
Бакеты используются для хранения данных в Image Store. Сервис Image Store должен быть запущен перед выполнением команд.
При обновлении с предыдущей версии рекомендуется запустить команды создания бакетов еще раз. Это гарантирует создание всех необходимых бакетов.
Если в процессе запуска приведенных выше команд появляется ошибка со статус-кодом 13006, это означает, что бакет уже создан.
Бакеты в LP можно создавать двумя способами:
- с помощью скрипта
lis_bucket_create.py
, расположенного в контейнере сервиса Image Store - с помощью прямых запросов к сервису Image Store
Скрипт создания бакетов
Запустите данный скрипт для создания основных бакетов:
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/api:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-api:v.6.29.0 \
python3 ./base_scripts/lis_bucket_create.py -ii --luna-config http://localhost:5070/1
Если необходимо задать время хранения объекта в бакете, то можно дополнительно указать количество дней с помощью аргумента
--bucket-ttl
. См. подробную информацию в разделе "Жизненный цикл объектов" руководства администратора.
Если вы собираетесь использовать сервис Tasks, используйте следующую команду, чтобы дополнительно создать "task-result" в сервисе Image Store:
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/tasks:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-tasks:v.3.22.1 \
python3 ./base_scripts/lis_bucket_create.py -ii --luna-config http://localhost:5070/1
Если вы собираетесь использовать портреты, используйте следующую команду, чтобы дополнительно создать "portraits".
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/api:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-backport3:v.0.11.9 \
python3 ./base_scripts/lis_bucket_create.py -ii --luna-config http://localhost:5070/1
Запросы к сервису Image Store
Для следующих запросов требуется утилита curl.
Бакет "visionlabs-samples" используется для хранения биометрических образцов лиц. Этот бакет требуется для использования LP.
curl -X POST http://127.0.0.1:5020/1/buckets?bucket=visionlabs-samples
Если необходимо задать время хранения объекта в бакете, то можно дополнительно указать количество дней с параметра запроса
ttl
. См. подробную информацию в разделе "Жизненный цикл объектов" руководства администратора.
Бакет "portraits" используется для хранения портретов. Этот бакет требуется для использования Backport 3.
curl -X POST http://127.0.0.1:5020/1/buckets?bucket=portraits
Бакет "visionlabs-bodies-samples" используется для хранения биометрических образцов тел. Этот бакет требуется для использования LP.
curl -X POST http://127.0.0.1:5020/1/buckets?bucket=visionlabs-bodies-samples
Бакет "visionlabs-image-origin" используется для хранения исходных изображений. Этот бакет требуется для использования LP.
curl -X POST http://127.0.0.1:5020/1/buckets?bucket=visionlabs-image-origin
Бакет "visionlabs-objects" используется для хранения объектов. Этот бакет требуется для использования LP.
curl -X POST http://127.0.0.1:5020/1/buckets?bucket=visionlabs-objects
Бакет "task-result" для сервиса Tasks. Не используйте его, если не собираетесь использовать этот сервис.
curl -X POST http://127.0.0.1:5020/1/buckets?bucket=task-result
Добавление TTL для локальных бакетов#
Примечание. Выполняйте нижеописанные действия только если бакеты хранятся в локальном хранилище и требуется управлять временем жизни существующих и/или новых объектов в бакете.
Для того, чтобы добавить TTL для всех объектов в бакете, расположенном в локальном хранилище, необходимо обновить его, указав параметр запроса ttl
.
Например, можно добавить время жизни всех объектов равным 2 дня в бакете "visionlabs-samples" с помощью следующей команды:
curl -X PUT http://127.0.0.1:5020/1/buckets?bucket=visionlabs-samples?ttl=2
Добавление TTL для S3 бакетов#
Примечание. Выполняйте нижеописанные действия только если бакеты хранятся в S3-подобном хранилище и требуется управлять временем жизни существующих и/или новых объектов в бакете.
Для того, чтобы добавить TTL для объектов в бакетах, расположенных в S3-подобном хранилище, необходимо выполнить специальный скрипт миграции migrate_ttl_settings.py
.
Примечание. См. подробную информацию о миграции и её особенностях в разделе "Миграция для добавления TTL к объектам в S3" в руководстве администратора.
Скрипт миграции необходимо запускать со следующими аргументами:
--bucket
— название бакета, например,visionlabs-samples
--update-tags
— следует ли добавлять теги ко всем существующим объектам
Если аргумент --update-tags
равен 1, то необходимые для TTL теги будут добавлены ко всем существующим объектам. Длительность миграции будет зависеть от количества существующих объектов.
Если аргумент --update-tags
равен 0, то необходимые для TTL теги не будут добавлены ко всем существующим объектам. В таком случае управление жизненным циклом для существующих объектов будет недоступно.
К новым объектам после миграции теги будут добавляться автоматически.
Также для скрипта необходимо заполнить данные авторизации к S3-подобному хранилищу в конфигурационном файле и примонтировать его к контейнеру сервиса Image Store.
Заполните конфигурационный файл с помощью следующей команды:
vi /var/lib/luna/current/extras/conf/s3_bucket.conf
Выполните миграцию бакетов в хранилище S3:
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/image-store:/srv/logs \
-v /var/lib/luna/current/extras/conf/s3_bucket.conf:/srv/base_scripts/migrate_ttl_settings/config.conf \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-image-store:v.3.14.2 \
python3 ./base_scripts/migrate_ttl_settings/migrate_ttl_settings.py --bucket=<your_bucket_name> --update-tags=<your_value>
Accounts#
Преобразование БД Admin#
Примечание. Выполните нижеописанные действия только если сервис Admin использовался ранее. В противном случае пропустите данный раздел.
По умолчанию для сервиса Accounts создается собственная база данных luna_accounts
, однако если ранее использовался сервис Admin, то база данных luna_admin
должна быть преобразована для работы с сервисом Accounts. Для этого нужно сменить используемую по умолчанию сервисом Accounts базу данных luna_accounts
на luna_admin
в сервисе Configurator и выполнить скрипт миграции данных.
Обратите внимание, что после миграции база данных будет иметь название luna_admin
, однако будет использоваться исключительно сервисом Accounts.
Миграция БД Admin#
Выполните скрипт миграции для обновления структуры базы данных Admin и её преобразования для работы с сервисом Accounts.
Обратите внимание, что после миграции база данных будет иметь название luna_admin
, однако будет использоваться исключительно сервисом Accounts.
Рекомендуется создать резервную копию базы данных перед тем, как принимать какие-либо изменения.
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/accounts:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-accounts:v.0.3.9 \
alembic -x luna-config=http://127.0.0.1:5070/1 upgrade head
Создание таблиц базы данных Accounts#
Примечание. Выполните нижеописанные действия только если сервис Accounts запускается впервые и раньше не использовался сервис Admin. Если раньше использовался сервис Admin, то пропустите данный раздел и убедитесь, что выполнены действия из раздела "Преобразование БД Admin".
Используйте следующую команду для создания таблиц базы данных Accounts:
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/accounts:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-accounts:v.0.3.9 \
python3 ./base_scripts/db_create.py --luna-config http://localhost:5070/1
Запуск контейнера Accounts#
Используйте следующую команду для запуска сервиса Accounts:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5170 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/accounts:/srv/logs \
--name=luna-accounts \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-accounts:v.0.3.9
Licenses#
Примечание. Для использования триальной лицензии необходимо запускать сервис Licenses на том же сервере, на котором она используется.
Задание настроек лицензии с помощью Configurator#
Выполните действия по заданию настроек для HASP-ключа или Guardant-ключа.
Задание настроек лицензии HASP#
Примечание. Выполняйте данные действия только если используется лицензия HASP. См. раздел "Задание настроек лицензии Guardant", если используется ключ Guardant.
Для задания адреса сервера лицензирования нужно выполнить следующие действия:
-
перейдите в интерфейс сервиса Configurator
http://<configurator_server_ip>:5070/
-
введите в поле "Setting name" значение "LICENSE_VENDOR" и нажмите "Apply Filters"
-
задайте IP-адрес сервера с вашим ключом HASP в поле "server_address" в формате "127.0.0.1".
-
нажмите "Save"
Обратите внимание, что если лицензия активируется с помощью ключа HASP, то должно быть указано два параметра "vendor" и "server_address". Если вы хотите изменить защиту HASP на Guardant, то необходимо добавить поле "license_id".
Задание настроек лицензии Guardant#
Примечание. Выполняйте данные действия только если используется ключ Guardant. См. раздел "Задание настроек лицензии HASP", если используется ключ HASP.
Для задания адреса сервера лицензирования нужно выполнить следующие действия:
-
перейдите в интерфейс сервиса Configurator
http://<configurator_server_ip>:5070/
-
введите в поле "Setting name" значение "LICENSE_VENDOR" и нажмите "Apply Filters"
-
задайте IP-адрес сервера с вашим ключом Guardant в поле "server_address"
-
задайте идентификатор лицензии в формате
0x<your_license_id>
, полученный в разделе "Сохранение идентификатора лицензии" руководства по активации лицензии, в поле "license_id" -
нажмите "Save"
Обратите внимание, что если лицензия активируется с помощью ключа Guardant, то должно быть указано три параметра "vendor", "server_address" и "license_id". Если вы хотите изменить защиту Guardant на HASP, то необходимо удалить поле "license_id".
Запуск контейнера Licenses#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5120 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/licenses:/srv/logs \
--name=luna-licenses \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-licenses:v.0.10.18
Faces#
Миграция базы данных Faces#
Необходимо выполнить скрипты миграции для обновления структуры базы данных Faces.
Рекомендуется создать резервную копию базы данных перед тем, как принимать какие-либо изменения.
Запустите следующую команду для выполнения миграции базы данных Faces.
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/faces:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-faces:v.4.11.9 \
alembic -x luna-config=http://127.0.0.1:5070/1 upgrade head
Запуск контейнера Faces#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5030 \
--env=WORKER_COUNT=2 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/faces:/srv/logs \
--name=luna-faces \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-faces:v.4.11.9
Добавление функции VLMatch в базу данных Faces#
Функцию VLMatch необходимо применить в базу данных PostgreSQL.
- Определите функцию в базе данных Faces:
docker exec -it postgres psql -U luna -d luna_faces -c "CREATE OR REPLACE FUNCTION VLMatch(bytea, bytea, int) RETURNS float8 AS '/srv/VLMatchSource.so', 'VLMatch' LANGUAGE C PARALLEL SAFE;";
- Протестируйте функцию, отправив следующий запрос в базу данных сервиса:
docker exec -it postgres psql -U luna -d luna_faces -c "SELECT VLMatch('\x1234567890123456789012345678901234567890123456789012345678901234'::bytea, '\x0123456789012345678901234567890123456789012345678901234567890123'::bytea, 32);"
База данных должна вернуть результат "0.4765625".
Events#
Миграция базы данных Events#
Для обновления структуры базы данных Events необходимо выполнить скрипты миграции.
Рекомендуется создать резервную копию базы данных перед тем, как применять какие-либо изменения.
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/events:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-events:v.4.12.9 \
alembic -x luna-config=http://127.0.0.1:5070/1 upgrade head
Запуск контейнера Events#
Примечание. Если вы не собираетесь использовать сервис Events, не запускайте этот контейнер и отключите использование сервиса в сервисе Configurator. См. раздел "Использование необязательных сервисов".
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5040 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/events:/srv/logs \
--name=luna-events \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-events:v.4.12.9
Добавление функции VLMatch в базу данных Events#
Функцию VLMatch необходимо применить в базе данных PostgreSQL.
Определите функцию в базе данных Events.
docker exec -it postgres psql -U luna -d luna_events -c "CREATE OR REPLACE FUNCTION VLMatch(bytea, bytea, int) RETURNS float8 AS '/srv/VLMatchSource.so', 'VLMatch' LANGUAGE C PARALLEL SAFE;";
Протестируйте функцию.
docker exec -it postgres psql -U luna -d luna_events -c "SELECT VLMatch('\x1234567890123456789012345678901234567890123456789012345678901234'::bytea, '\x0123456789012345678901234567890123456789012345678901234567890123'::bytea, 32);"
База данных должна вернуть результат "0.4765625".
Сервисы Python Matcher#
Для задач сравнения можно использовать либо только сервис Python Matcher, либо дополнительно использовать сервис Python Matcher Proxy, который перенаправляет запросы сравнения либо сервису Python Matcher либо плагинам сравнения. В данном разделе описывается использование Python Matcher без Python Matcher Proxy.
Необходимо использовать сервис Python Matcher Proxy только если собираетесь использовать плагины сравнения. Использование Python Matcher Proxy и запуск соответствующего docker-контейнера описаны в разделе "Использование Python Matcher c Python Matcher Proxy".
См. описание и использование плагинов сравнения в руководстве администратора.
Использование Python Matcher без Python Matcher Proxy#
Сервис Python Matcher со сравнением посредством базы данных Faces включен по умолчанию при запуске.
Сервис Python Matcher со сравнением посредством Events также включен по умолчанию. Его можно отключить, указав "USE_LUNA_EVENTS = 0" в разделе "ADDITIONAL_SERVICES_USAGE" настроек Configurator (см. раздел "Использование необязательных сервисов"). Таким образом, сервис Events не будет использоваться для LUNA PLATFORM.
Python Matcher, который производит сравнение с помощью библиотеки сравнений, включается когда "CACHE_ENABLED" установлен как "true" в настройке "DESCRIPTORS_CACHE".
Для сервисов Python Matcher и Python Matcher Proxy загружается одно изображение.
Запуск контейнера Python Matcher#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5100 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/python-matcher:/srv/logs \
--name=luna-python-matcher \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-python-matcher:v.1.9.9
Remote SDK#
Запуск контейнера Remote SDK#
Вы можете запустить сервис Remote SDK, используя CPU (задано по умолчанию) или GPU.
По умолчанию сервис Remote SDK запускается со всеми включенными эстиматорами и детекторами. При необходимости можно отключить использование некоторых эстиматоров или детекторов при запуске контейнера Remote SDK. Отключение ненужных эстиматоров позволяет экономить оперативную память или память GPU, поскольку при старте сервиса Remote SDK выполняется проверка возможности выполнения указанных оценок и загрузка нейронных сетей в память. При отключении эстиматора или детектора можно также удалить его нейронную сеть из контейнера Remote SDK. См. подробную информацию в разделе "Включение/отключение некоторых эстиматоров и детекторов" руководства администратора.
Запустите сервис Remote SDK, используя одну из следующих команд в соответствии с используемым процессором.
Запуск Remote SDK с использованием CPU#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5220 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/remote-sdk:/srv/logs \
--network=host \
--name=luna-remote-sdk \
--restart=always \
--detach=true \
dockerhub.visionlabs.ru/luna/luna-remote-sdk:v.0.6.0
Запуск Remote SDK с использованием GPU#
Сервис Remote SDK не использует GPU по умолчанию. Если вы собираетесь использовать GPU, то следует включить его использование для сервиса Remote SDK в сервисе Configurator.
Если необходимо использовать GPU сразу для всех эстиматоров и детекторов, то необходимо использовать параметр "global_device_class" в секции "LUNA_REMOTE_SDK_RUNTIME_SETTINGS". Все эстиматоры и детекторы будут использовать значение данного параметра, если в параметре "device_class" их собственных настроек выставлено значение "global" (по умолчанию).
Если необходимо использовать GPU для определенного эстиматора или детектора, то необходимо использовать параметр "device_class" в секциях вида "LUNA_REMOTE_SDK_
См. раздел "Вычисления с помощью GPU" для получения дополнительных требований к использованию GPU.
Используйте следующую команду для запуска сервиса Remote SDK с помощью GPU:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5220 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
--gpus device=0 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/remote-sdk:/srv/logs \
--network=host \
--name=luna-remote-sdk \
--restart=always \
--detach=true \
dockerhub.visionlabs.ru/luna/luna-remote-sdk:v.0.6.0
--gpus device=0
— параметр указывает используемое устройство GPU и позволяет использовать GPU. Один GPU используется для одного экземпляра Remote SDK. Использование множества GPU для одного экземпляра невозможно.
Запуск облегченной версии Remote SDK#
Можно запустить облегченную версию сервиса Remote SDK, содержащую только конфигурационные файлы без нейронных сетей. Предполагается, что пользователь сам добавит в контейнер необходимые ему нейронные сети.
Запуск облегченной версии сервиса Remote SDK предназначен для продвинутых пользователей.
Для успешного запуска контейнера Remote SDK с пользовательским набором нейронных сетей нужно выполнить следующие действия:
- запросить у VisionLabs требуемые нейронные сети
- поместить нейронные сети в папку с установленной LUNA PLATFORM
- присвоить соответствующие права для файлов нейронных сетей
- смонтировать файлы нейронных сетей в папку
/srv/fsdk/data
контейнера Remote SDK - с помощью аргументов переменной "EXTEND_CMD" явно указать какие из нейронных сетей должны использоваться
Обратите внимание, что с помощью флага "enable-all-estimators-by-default" для переменной "EXTEND_CMD" можно выключить по умолчанию использование всех нейронных сетей (эстиматоров), а затем с помощью специальных флагов явно указывать какие нейронные сети должны быть использованы. Если не указывать данный флаг или выставить значение "--enable-all-estimators-by-default=1", то сервис Remote SDK будет пытаться найти в контейнере все нейронные сети. Если какая-то из нейронных сетей не будет найдена, то сервис Remote SDK не запустится.
Список доступных аргументов для запуска:
Аргумент | Описание |
---|---|
--enable-all-estimators-by-default | включить все эстиматоры по умолчанию |
--enable-human-detector | одновременный детектор |
--enable-face-detector | детектор лиц |
--enable-body-detector | детектор тел |
--enable-face-landmarks5-estimator | эстиматор 5 контрольных точек лица |
--enable-face-landmarks68-estimator | эстиматор 68 контрольных точек лица |
--enable-head-pose-estimator | эстиматор положения головы |
--enable-liveness-estimator | эстиматор OneShotLiveness |
--enable-fisheye-estimator | эстиматор бочообразной дисторсии (эффекта FishEye) |
--enable-face-detection-background-estimator | эстиматор фона изображения |
--enable-face-warp-estimator | эстиматор биометрического образца лица |
--enable-body-warp-estimator | эстиматор биометрического образца тела |
--enable-quality-estimator | эстиматор качества изображения |
--enable-image-color-type-estimator | эстиматор типа цвета по лицу |
--enable-face-natural-light-estimator | эстиматор естественности освещения |
--enable-eyes-estimator | эстиматор глаз |
--enable-gaze-estimator | эстиматор направления взгляда |
--enable-mouth-attributes-estimator | эстиматор атрибутов рта |
--enable-emotions-estimator | эстиматор эмоций |
--enable-mask-estimator | эстиматор маски |
--enable-glasses-estimator | эстиматор очков |
--enable-eyebrow-expression-estimator | эстиматор бровей |
--enable-red-eyes-estimator | эстиматор красных глаз |
--enable-headwear-estimator | эстиматор головного убора |
--enable-basic-attributes-estimator | эстиматор базовых атрибутов |
--enable-face-descriptor-estimator | эстиматор извлечения биометрического шаблона лица |
--enable-body-descriptor-estimator | эстиматор извлечения биометрического шаблона тела |
--enable-body-attributes-estimator | эстиматор атрибутов тел |
--enable-people-count-estimator | эстиматор количества людей |
--enable-deepfake-estimator | эстиматор Deepfake |
См. подробную информацию включении и выключении определенных эстиматоров в разделе "Включение/отключение некоторых эстиматоров и детекторов" руководства администратора.
Ниже приведен пример команды для присвоения прав файлу нейронной сети:
chown -R 1001:0 /var/lib/luna/current/<neural_network_name>.plan
Пример команды запуска контейнера Remote SDK с монтированием нейронных сетей для детекции лиц и извлечения биометрических шаблонов лиц:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5220 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
--env=EXTEND_CMD="--enable-all-estimators-by-default=0 --enable-face-detector=1 --enable-face-descriptor-estimator=1" \
-v /var/lib/luna/current/cnn59b_cpu-avx2.plan:/srv/fsdk/data/cnn59b_cpu-avx2.plan \
-v /var/lib/luna/current/FaceDet_v3_a1_cpu-avx2.plan:/srv/fsdk/data/FaceDet_v3_a1_cpu-avx2.plan \
-v /var/lib/luna/current/FaceDet_v3_redetect_v3_cpu-avx2.plan:/srv/fsdk/data/FaceDet_v3_redetect_v3_cpu-avx2.plan \
-v /var/lib/luna/current/slnet_v3_cpu-avx2.plan:/srv/fsdk/data/slnet_v3_cpu-avx2.plan \
-v /var/lib/luna/current/LNet_precise_v2_cpu-avx2.plan:/srv/fsdk/data/LNet_precise_v2_cpu-avx2.plan \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/remote-sdk:/srv/logs \
--network=host \
--name=luna-remote-sdk \
--restart=always \
--detach=true \
dockerhub.visionlabs.ru/luna/luna-remote-sdk:v.0.6.0
Handlers#
Примечание. Если вы не собираетесь использовать сервис Handlers, не запускайте этот контейнер и отключите использование сервиса в сервисе Configurator. См. раздел "Использование необязательных сервисов".
Изменение используемой базы данных для Handlers#
База данных, используемая сервисом Handlers в LUNA PLATFORM 5 — та же, которая использовалась сервисом API в LUNA PLATFORM 4.
Следует заменить базу данных, используемую для Handlers, на базу данных "luna_api" в сервисе Configurator.
- Откройте интерфейс сервиса Configurator (
http://<server_address>:5070
by default); - Задайте LUNA_HANDLERS_DB в поле "Setting name" фильтра и нажмите [Apply filters] или выберите "luna-handlers" в поле "Service name field" и найдите настройку там;
- Задайте параметр "db_name": "luna_api" в поле.
- Нажмите [Save].
Миграция базы данных Handlers#
Необходимо выполнить скрипты миграции для обновления структуры базы данных Handlers.
Рекомендуется создать резервную копию базы данных перед внесением любых изменений.
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/handlers:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-handlers:v.3.6.0 \
alembic -x luna-config=http://127.0.0.1:5070/1 upgrade head
Запуск контейнера Handlers#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5090 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/handlers:/srv/logs \
--name=luna-handlers \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-handlers:v.3.6.0
Tasks#
Примечание. Если вы не собираетесь использовать сервис Tasks, не запускайте контейнер Tasks и контейнер Tasks Worker. Отключите сервис Tasks в сервисе Configurator. См. раздел "Использование необязательных сервисов".
Миграция базы данных Tasks#
Необходимо выполнить скрипты миграции для обновления структуры базы данных Tasks.
Рекомендуется создать резервную копию базы данных перед тем, как вносить какие-либо изменения.
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/tasks:/srv/logs \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/luna-tasks:v.3.22.1 \
alembic -x luna-config=http://127.0.0.1:5070/1 upgrade head
Запуск контейнеров Tasks и Tasks Worker#
Образ сервиса Tasks включает в себя сервисы Tasks и Tasks Worker ("рабочие процессы сервиса Tasks"). Они оба должны быть запущены.
Необходимо создать бакет "task-result" для сервиса Tasks перед запуском сервиса. Создание бакетов описано в разделе "Создание бакетов".
Если необходимо использовать задачу Estimator с использованием сетевого диска, то необходимо предварительно смонтировать директорию с изображениями с сетевого диска в специальные директории контейнеров Tasks и Tasks Worker. См. подробную информацию в разделе "Задача Estimator" в руководстве администратора.
Запуск контейнера Tasks worker#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5051 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
--env=SERVICE_TYPE="tasks_worker" \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/tasks-worker:/srv/logs \
--name=luna-tasks-worker \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-tasks:v.3.22.1
Запуск контейнера Tasks#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5050 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/tasks:/srv/logs \
--name=luna-tasks \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-tasks:v.3.22.1
Sender#
Запуск контейнера Sender#
Примечание. Если вы не собираетесь использовать сервис Sender, не запускайте этот контейнер и отключите этот сервис в Configurator. См. раздел "Использование необязательных сервисов".
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5080 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/sender:/srv/logs \
--name=luna-sender \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-sender:v.2.11.9
API#
Запуск контейнера API#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5000 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
--name=luna-api \
--restart=always \
--detach=true \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/api:/srv/logs \
--network=host \
dockerhub.visionlabs.ru/luna/luna-api:v.6.29.0
Создание аккаунта#
Аккаунт создается с помощью HTTP-запроса к ресурсу "create account".
Аккаунт также можно создать с помощью сервиса Admin. Данный способ требует наличия существующих логина и пароль (или логина и пароля по умолчанию) и позволяет создать аккаунты типа "admin". См. подробную информацию в разделе "Сервис Admin" руководства администратора.
Для создания аккаунта с помощью запроса к сервису API необходимо указать следующие обязательные данные:
- login — электронный адрес
- password — пароль
- account_type — тип аккаунта ("user" или "advanced_user")
Создайте аккаунт, используя свои аутентификационные данные.
Если необходимо сохранить возможность использования "account_id", который использовался в качестве заголовка "Luna-Account-Id" в предыдущих версиях LP (без создания аккаунта в сервисе Admin), то необходимо дополнительно указать нужный идентификатор в заголовке "Luna-Account-Id".
Пример CURL-запроса к ресурсу "create account":
curl --location --request POST 'http://127.0.0.1:5000/6/accounts' \
--header 'Content-Type: application/json' \
--header 'Luna-Account-Id: <your_old_account_id>' \
--data '{
"login": "user@mail.com",
"password": "password",
"account_type": "user",
"description": "description"
}'
Необходимо заменить аутентификационные данные из примера на свои.
См. подробную информацию об аккаунтах в разделе "Аккаунты и типы авторизации" руководства администратора.
Для работы с токенами необходимо наличие аккаунта.
Admin#
Запуск контейнера Admin#
Примечание. Если вы не собираетесь использовать сервис Admin, не запускайте этот контейнер.
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5010 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/admin:/srv/logs \
--name=luna-admin \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-admin:v.5.7.1
Данные о количестве выполненных запросов сохраняются в бакете luna-admin
базы данных Influx. Для включения сохранения этих данных требуется выполнить следующую команду:
docker exec -it luna-admin python3 ./base_scripts/influx2_cli.py create_usage_task --luna-config http://127.0.0.1:5070/1
Backport 4#
В данном разделе описывается запуск сервиса Backport 4.
Этот сервис необязателен для использования LP5 и требуется только для эмуляции LP 4 API.
Запуск контейнера Backport 4#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5130 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
--name=luna-backport4 \
--restart=always \
--detach=true \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/backport4:/srv/logs \
--network=host \
dockerhub.visionlabs.ru/luna/luna-backport4:v.1.5.9
User Interface 4#
User Interface 4 используется только с сервисом Backport 4.
Запуск контейнера User Interface 4#
Примечание. Перед запуском контейнера User Interface 4 необходимо наличие аккаунта типа user. Его логин и пароль в формате Base64 будут использованы для работы с пользовательским интерфейсом.
Используйте следующую команду для запуска сервиса:
docker run \
--env=PORT=4200 \
--env=LUNA_API_URL=http://<server_external_ip>:5130 \
--env=BASIC_AUTH=dXNlckBtYWlsLmNvbTpwYXNzd29yZA== \
--name=luna-ui-4 \
--restart=always \
--detach=true \
--network=host \
-v /etc/localtime:/etc/localtime:ro \
dockerhub.visionlabs.ru/luna/luna4-ui:v.0.1.8
--env=PORT
— задает порт для запуска User Interface 4.
--env=BASIC_AUTH
— задает авторизацию типа Basic для аккаунта, данные которого отображаются в пользовательском интерфейсе. Необходимо перевести login:password
, созданные согласно разделу "Создание аккаунта" в формат Base64. Для аккаунта должен быть задан тип user.
--env=LUNA_API_URL
— задает URL сервиса Backport 4.
-
Необходимо использовать внешний IP сервиса, а не локальный хост.
-
Необходимо указать порт сервиса Backport 4 (5130 задан по умолчанию).
Дополнительная информация#
В данном разделе приводится следующая дополнительная информация:
- Визуализация монтиторинга и логов с помощью Grafana
- Полезные команды для работы с Docker
- Описание параметров запуска сервисов LUNA PLATFORM и создания баз данных
- Действия по включению сохранения логов сервисов LP в файлы
- Настройка ротации логов Docker
- Задание пользовательских настроек InfluxDB
- Использование сервиса Python Matcher с сервисом Python Matcher Proxy
- Масштабирование системы
- Компиляция библиотеки VLMatch для Oracle
Визуализация монтиторинга и логов с помощью Grafana#
Визуализация мониторинга выполняется за счет сервиса LUNA Dashboards, который содержит в себе платформу для визуализации данных мониторинга Grafana с настроенными дашбордами LUNA PLATFORM.
При необходимости можно отдельно установить настроенные дашборды для Grafana. См. дополнительную информацию в разделе "LUNA Dashboards" в руководстве администратора.
Вместе с Grafana можно использовать систему агрегации логов Grafana Loki, позволяющую гибко работать с логами LUNA PLATFORM. Для доставки логов LUNA PLATFORM в Grafana Loki используется агент Promtail (дополнительную информацию см. в разделе "Grafana Loki" в руководстве администратора).
LUNA Dashboards#
Примечание. Для работы с Grafana необходимо использовать InfluxDB версии 2.
Примечание. Перед обновлением убедитесь, что старый контейнер LUNA Dashboards удален.
Запуск контейнера LUNA Dashboards#
Используйте команду docker run
со следующими параметрами для запуска LUNA Dashboards:
docker run \
--restart=always \
--detach=true \
--network=host \
--name=grafana \
-v /etc/localtime:/etc/localtime:ro \
dockerhub.visionlabs.ru/luna/luna-dashboards:v.0.1.0
Для использования веб-интерфейса Grafana нужно перейти по адресу "http://IP_ADDRESS:3000", при условии, что контейнеры LUNA Dashboards и InfluxDB были запущены.
Grafana Loki#
Примечание. Для запуска Grafana Loki требуется наличие запущенного сервиса LUNA Dashboards.
Примечание. Перед обновлением убедитесь, что старые контейнеры Grafana Loki и Promtail удалены.
Запуск контейнера Grafana Loki#
Используйте команду docker run
со следующими параметрами для запуска Grafana Loki:
docker run \
--name=loki \
--restart=always \
--detach=true \
--network=host \
-v /etc/localtime:/etc/localtime:ro \
dockerhub.visionlabs.ru/luna/loki:2.7.1
Запуск контейнера Promtail#
Используйте команду docker run
со следующими параметрами для запуска Promtail:
docker run \
-v /var/lib/luna/current/example-docker/logging/promtail.yml:/etc/promtail/luna.yml \
-v /var/lib/docker/containers:/var/lib/docker/containers \
-v /etc/localtime:/etc/localtime:ro \
--name=promtail \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/promtail:2.7.1 \
-config.file=/etc/promtail/luna.yml -client.url=http://127.0.0.1:3100/loki/api/v1/push -client.external-labels=job=containerlogs,pipeline_id=,job_id=,version=
-v /var/lib/luna/current/example-docker/logging/promtail.yml:/etc/promtail/luna.yml
— монтирование конфигурационного файла в контейнер Promtail
-config.file=/etc/promtail/luna.yml
— флаг с адресом конфигурационного файла
-client.url=http://127.0.0.1:3100/loki/api/v1/push
— флаг с адресом развернутой Grafana Loki
-client.external-labels=job=containerlogs,pipeline_id=,job_id=,version=
— статические метки для добавления ко всем логам, отправляемым в Grafana Loki
Команды Docker#
Показать контейнеры#
Чтобы показать список запущенных Docker-контейнеров, используйте команду:
docker ps
Чтобы показать все имеющиеся Docker-контейнеры, используйте команду:
docker ps -a
Копировать файлы в контейнер#
Можно переносить файлы в контейнер. Используйте команду docker cp
для копирования файла в контейнер.
docker cp <file_location> <container_name>:<folder_inside_container>
Вход в контейнер#
Можно входить в отдельные контейнеры с помощью следующей команды:
docker exec -it <container_name> bash
Для выхода из контейнера используйте следующую команду:
exit
Имена образов#
Можно увидеть все имена образов с помощью команды
docker images
Удаление образа#
Если требуется удаление образа:
- запустите команду
docker images
- найдите требуемый образ, например dockerhub.visionlabs.ru/luna/luna-image-store
- скопируйте соответствующий ID образа из IMAGE ID, например, "61860d036d8c"
- укажите его в команде удаления:
docker rmi -f 61860d036d8c
Удалите все существующие образы:
docker rmi -f $(docker images -q)
Остановка контейнера#
Контейнер можно остановить с помощью следующей команды:
docker stop <container_name>
Остановить все контейнеры:
docker stop $(docker ps -a -q)
Удаление контейнера#
Если необходимо удалить контейнер:
- запустите команду "docker ps"
- остановите контейнер (см. Остановка контейнера)
- найдите требуемый образ, например:
dockerhub.visionlabs.ru/luna/luna-image-store
- скопируйте соответствующий ID контейнера из столбца CONTAINER ID, например, "23f555be8f3a"
- укажите его в команде удаления:
docker container rm -f 23f555be8f3a
Удалить все контейнеры:
docker container rm -f $(docker container ls -aq)
Проверка логов сервисов#
Чтобы показать логи сервиса, используйте команду:
docker logs <container_name>
Описание параметров запуска#
При запуске Docker-контейнера для какого-либо из сервисов LUNA PLATFORM необходимо задать дополнительные параметры, требуемые для работы этого сервиса.
Параметры, требуемые для конкретного контейнера, описаны в разделе, посвященном запуску этого контейнера.
Все параметры, приведенные в примере запуска сервиса, необходимы для корректного запуска и работы сервиса.
Параметры запуска сервисов#
Пример команды запуска контейнеров сервисов LP:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=<Port_of_the_launched_service> \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/<service>:/srv/logs/ \
--name=<service_container_name> \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/<service-name>:<version>
Следующие параметры используются при запуске контейнеров сервисов LP:
-
docker run
— команда для запуска выбранного образа в качестве нового контейнера. -
dockerhub.visionlabs.ru/luna/<service-name>:<version>
— позволяет задать образ, требуемый для запуска контейнера.
Ссылки для загрузки требуемых образов контейнера доступны в описании запуска соответствующего контейнера.
-
--network=host
— указывает, что отсутствует симуляция сети и используется серверная сеть. При необходимости изменить порт для сторонних контейнеров следует заменить эту строку на-p 5440:5432
. Здесь первый порт5440
— это локальный порт, а5432
— это порт, используемый в контейнере. Пример приведен для PostgreSQL. -
--env=
— задает переменные окружения, требуемые для запуска контейнера (см. раздел "Аргументы сервисов"). -
--name=<service_container_name>
— задает имя запускаемого контейнера. Имя должно быть уникальным. Если уже существует контейнер с таким же именем, произойдет ошибка. -
--restart=always
— определяет политику перезагрузки. Daemon всегда перезагружает контейнер вне зависимости от кода завершения. -
--detach=true
— позволяет запустить контейнер в фоновом режиме. -
-v
— позволяет загружать содержимое серверной папки в объем контейнера. Таким образом содержимое синхронизируется. Загружаются следующие общие данные: -
/etc/localtime:/etc/localtime:ro
— задает текущий часовой пояс, используемый системой контейнера. -
/tmp/logs/<service>:/srv/logs/
— позволяет копировать папку с записями (логами) сервиса на сервер в директорию/tmp/logs/<service>
. Директорию для хранения логов можно изменить при желании.
Аргументы сервисов#
Каждый сервис в LUNA PLATFORM имеет свои собственные аргументы запуска. Эти аргументы можно передать через:
- задание флага для скрипта запуска (
run.py
) соответствующего сервиса - установку отдельных переменных окружения (
--env
) в командной строке Docker
Например, с использованием флага --help
можно получить список всех доступных аргументов. Пример передачи аргумента для сервиса API может выглядеть следующим образом:
docker run --rm dockerhub.visionlabs.ru/luna/luna-api:v.6.29.0 python3 /srv/luna_api/run.py --help
Список основных аргументов:
Флаг в строке запуска |
Переменная окружения |
Описание |
|
|
Порт, на котором сервис будет ожидать подключений. |
|
|
Количество "рабочих процессов" для сервиса. |
|
|
Суффикс, добавляемый к именам файлов логов (при включенном параметре записи логов в файл). |
|
|
Включение автоматической перезагрузки конфигураций. См. раздел "Автоматическая перезагрузка конфигураций" в руководстве администратора LUNA PLATFORM 5. |
|
|
Период проверки конфигураций (по умолчанию 10 секунд). См. раздел "Автоматическая перезагрузка конфигураций" в руководстве администратора LUNA PLATFORM 5. |
|
|
Адрес сервиса Configurator для загрузки настроек. Для
|
|
Нет |
Путь до конфигурационного файла с настройками сервиса. |
|
Нет |
Тег указанной настройки в Configurator. При задании данной настройки
будет использовано значение тегированной настройки. Пример:
Примечание. Необходимо заранее присвоить тег соответствующим настройкам в Configurator. Примечание. Работает только с флагом |
|
Нет |
Путь к SSL-сертификату для запуска сервиса с использованием протокола HTTPS. |
|
Нет |
Путь к SSL-закрытому ключу для запуска сервиса с использованием протокола HTTPS. |
|
Нет |
Пароль для SSL-закрытого ключа для запуска сервиса с использованием протокола HTTPS. |
Перечень аргументов может отличаться в зависимости от сервиса.
Также доступна возможность переопределить настройки сервисов при их старте с помощью переменных окружения.
Для переопределения настроек используется префикс VL_SETTINGS
. Примеры:
--env=VL_SETTINGS.INFLUX_MONITORING.SEND_DATA_FOR_MONITORING=0
. Использование переменной окружения из данного примера установит значение настройки "SEND_DATA_FOR_MONITORING" для секции "INFLUX_MONITORING" равным "0".--env=VL_SETTINGS.OTHER.STORAGE_TIME=LOCAL
. Для несоставных настроек (настроек, которые расположены в секции "OTHER" в конфигурационном файле) необходимо указать префикс "OTHER". Использование переменной окружения из данного примера установит значение настройки "STORAGE_TIME" (если сервис использует данную настройку) на значение "LOCAL".
Передача флагов с использованием переменной окружения
Флаги, для которых явно не выделена переменная окружения, можно передать с помощью переменной окружения EXTEND_CMD
.
Например, можно передать тег настроек следующим способом:
--env=EXTEND_CMD="--INFLUX_MONITORING=TAG_1 --LUNA_EVENTS_DB=TAG_2"
Параметры создания баз данных#
Пример команды запуска контейнеров для миграции баз данных или их создания:
docker run \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/<service>:/srv/logs/ \
--rm \
--network=host \
dockerhub.visionlabs.ru/luna/<service-name>:<version> \
python3 ./base_scripts/db_create.py --luna-config http://localhost:5070/1
Следующие параметры используются при запуске контейнеров для миграции баз данных или их создания:
--rm
— этот параметр указывает, удаляется ли контейнер после завершения обработки всех заданных скриптов.
python3 ./base_scripts/db_create.py
— этот параметр содержит версию Python и скрипт db_create.py
, запускаемый в контейнере. Этот скрипт используется для создания структуры базы данных.
--luna-config http://localhost:5070/1
— этот параметр указывает, откуда запущенный скрипт должен получать конфигурации. По умолчанию конфигурации запрашиваются сервисами от сервиса Configurator.
Запись логов на сервер#
Чтобы включить сохранение логов на сервер, необходимо:
- создать директории для логов на сервере;
- активировать запись логов и задать расположение хранения логов внутри контейнеров сервисов LP;
- настроить синхронизацию директорий логов в контейнере с логами на сервере с помощью аргумента
volume
при старте каждого контейнера.
Создание директории логов#
Ниже приведены примеры команд для создания директорий для хранения логов и присвоения им прав для всех сервисов LUNA PLATFORM.
mkdir -p /tmp/logs/configurator /tmp/logs/image-store /tmp/logs/accounts /tmp/logs/faces /tmp/logs/licenses /tmp/logs/events /tmp/logs/python-matcher /tmp/logs/handlers /tmp/logs/remote-sdk /tmp/logs/tasks /tmp/logs/tasks-worker /tmp/logs/sender /tmp/logs/api /tmp/logs/admin /tmp/logs/backport3 /tmp/logs/backport4
chown -R 1001:0 /tmp/logs/configurator /tmp/logs/image-store /tmp/logs/accounts /tmp/logs/faces /tmp/logs/licenses /tmp/logs/events /tmp/logs/python-matcher /tmp/logs/handlers /tmp/logs/remote-sdk /tmp/logs/tasks /tmp/logs/tasks-worker /tmp/logs/sender /tmp/logs/api /tmp/logs/admin /tmp/logs/backport3 /tmp/logs/backport4
Если необходимо использовать сервис Python Matcher Proxy, то нужно дополнительно создать директорию /tmp/logs/python-matcher-proxy
и установить ей разрешения.
Активация записи логов#
Активация записи логов сервисов LP#
Для активации записи логов в файл необходимо задать настройки log_to_file
и folder_with_logs
в секции <SERVICE_NAME>_LOGGER
настроек каждого сервиса.
Автоматический способ (перед/после запуска Configurator)
Для обновления настроек ведения логов можно использовать файл настроек logging.json
, предоставленный в комплекте поставки.
Выполните следующую команду после запуска сервиса Configurator:
docker cp /var/lib/luna/current/extras/conf/logging.json luna-configurator:/srv/luna_configurator/used_dumps/logging.json
Обновите настройки записи логов с помощью скопированного файла.
docker exec -it luna-configurator python3 ./base_scripts/db_create.py --dump-file /srv/luna_configurator/used_dumps/logging.json
Ручной способ (после запуска Configurator)
Перейдите в интерфейс сервиса Configurator (127.0.0.1:5070
) и задайте путь расположения логов в контейнере в параметре folder_with_logs
для всех сервисов, чьи логи необходимо сохранить. Например, можно использовать путь /srv/logs
.
Установите параметр log_to_file
как true
чтобы активировать запись логов в файл.
Активация записи логов сервиса Configurator (перед/после запуска Configurator)#
Настроек сервиса Configurator нет в пользовательском интерфейсе Configurator, они расположены в следующем файле:
/var/lib/luna/current/example-docker/luna_configurator/configs/luna_configurator_postgres.conf
Следует изменить параметры логирования в этом файле перед запуском сервиса Configurator или перезапустить его после внесения изменений.
Задайте путь расположения логов в контейнере в параметре FOLDER_WITH_LOGS = ./
файла. Например, FOLDER_WITH_LOGS = /srv/logs
.
Установите параметр log_to_file
как true
чтобы активировать запись логов в файл.
Монтирование директорий с логами при старте сервисов#
Директория с логами монтируется с помощью следующего аргумента при старте контейнера:
-v <server_logs_folder>:<container_logs_folder> \
где <server_logs_folder>
директория, созданная на этапе создания директории логов, а <container_logs_folder>
директория, созданная на этапе активации записи логов.
Пример команды запуска сервиса API с монтированием директории с логами:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5000 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
--name=luna-api \
--restart=always \
--detach=true \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/api:/srv/logs \
--network=host \
dockerhub.visionlabs.ru/luna/luna-api:v.6.29.0
Примеры команд запуска контейнеров в данной документации содержат эти аргументы.
Настройка ротации логов Docker#
Чтобы ограничить размер логов, генерируемых Docker, можно настроить автоматическую ротацию логов. Для этого необходимо добавить в файл /etc/docker/daemon.json
следующие данные:
{
"log-driver": "json-file",
"log-opts": {
"max-size": "100m",
"max-file": "5"
}
}
Это позволит Docker хранить до 5 файлов логов на контейнер, при этом каждый файл будет ограничен 100 Мб.
После изменения файла необходимо перезапустить Docker:
systemctl reload docker
Вышеописанные изменения являются значениями по умолчанию для любого вновь созданного контейнера, они не применяются к уже созданным контейнерам.
Задание пользовательских настроек InfluxDB#
Для InfluxDB OSS 2 доступны следующие настройки:
"send_data_for_monitoring": 1,
"use_ssl": 0,
"flushing_period": 1,
"host": "127.0.0.1",
"port": 8086,
"organization": "<ORGANIZATION_NAME>",
"token": "<TOKEN>",
"bucket": "<BUCKET_NAME>",
"version": <DB_VERSION>
Можно обновить настройки InfluxDB для сервисов LP в сервисе Configurator, выполнив следующие действия:
- откройте следующий файл:
vi /var/lib/luna/current/extras/conf/influx2.json
- задайте необходимые данные;
- сохраните изменения;
- скопируйте файл в контейнер InfluxDB:
docker cp /var/lib/luna/current/extras/conf/influx2.json luna-configurator:/srv/
- обновите настройки в сервисе Configurator.
docker exec -it luna-configurator python3 ./base_scripts/db_create.py --dump-file /srv/influx2.json
Также можно вручную обновить настройки в пользовательском интерфейсе сервиса Configurator.
Настройки сервиса Configurator задаются отдельно.
- откройте файл с настройками Configurator:
vi /var/lib/luna/current/example-docker/luna_configurator/configs/luna_configurator_postgres.conf
- задайте необходимые данные;
- сохраните изменения;
- перезапустите Configurator:
docker restart luna-configurator
Использование Python Matcher с Python Matcher Proxy#
Как было сказано ранее, вместе с сервисом Python Matcher можно дополнительно использовать сервис Python Matcher Proxy, который будет перенаправлять запросы сравнения либо сервису Python Matcher, либо плагинам сравнения. Использование плагинов может значительно ускорить выполнение запросов на сравнение. Например, с помощью плагинов возможно организовать хранение необходимых для выполнения операций сравнения данных и дополнительных полей объектов в отдельном хранилище, что позволит ускорить доступ к данным по сравнению с использованием стандартной БД LUNA PLATFORM.
Для использования сервиса Python Matcher с Python Matcher Proxy необходимо дополнительно запустить соответствующий контейнер, а затем выставить определенную настройку в сервисе Configurator. Выполняйте нижеперечисленные действия только если собираетесь использовать плагины сравнения.
См. описание и использование плагинов сравнения в руководстве администратора.
Запуск контейнера Python Matcher Proxy#
Используйте следующую команду для запуска сервиса:
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=5110 \
--env=WORKER_COUNT=1 \
--env=RELOAD_CONFIG=1 \
--env=RELOAD_CONFIG_INTERVAL=10 \
--env=SERVICE_TYPE="proxy" \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/python-matcher-proxy:/srv/logs \
--name=luna-python-matcher-proxy \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-python-matcher:v.1.9.9
После запуска контейнера необходимо выставить следующее значение в сервисе Configurator.
ADDITIONAL_SERVICES_USAGE = "luna_matcher_proxy":true
Масштабирование системы#
Все сервисы LP линейно масштабируемы и могут располагаться на нескольких серверах.
Можно запустить дополнительные контейнеры с сервисами LP для повышения производительности и отказоустойчивости. Количество сервисов и характеристики серверов зависят от решаемой задачи.
Для повышения производительности можно либо увеличить производительность одного сервера, либо увеличить количество используемых серверов, распределив наиболее ресурсозатратные компоненты системы.
Для распределения запросов среди запущенных экземпляров сервисов используются балансировщики. Этот подход обеспечивает требуемую скорость обработки и требуемый уровень отказоустойчивости для конкретных задач клиента. В случае отказа узла система не остановится: запросы перераспределятся на другой узел.
На рисунке ниже показано, как два экземпляра сервиса Faces балансируются посредством Nginx. Nginx получает запросы на порту 5030 и направляет их экземплярам Faces. Сервисы Faces запущены на портах 5031 и 5032.
Крайне рекомендуется регулярно создавать резервные копии баз данных на отдельном сервере независимо от уровня отказоустойчивости системы. Это защитит от потери данных в непредвиденных случаях.
Очереди сообщений, базы данных и балансировщики, используемые LUNA PLATFORM — это продукты сторонних разработчиков. Их необходимо конфигурировать в соответствии с рекомендациями их поставщиков.
Сервисы Remote SDK и Python Matcher выполняют наиболее ресурсозатратные операции.
Сервис Remote SDK выполняет математическое преобразование изображений и извлечение биометрических шаблонов. Эти операции требуют значительных вычислительных мощностей. Для вычислений можно использовать как CPU, так и GPU.
Использование GPU предпочтительно, т.к. обработка запросов происходит эффективнее. Однако, поддерживаются не все типы видеокарт.
Сервис Python Matcher выполняет сравнение по спискам. Сравнение требует ресурсов CPU, однако также следует выделить максимально возможный объем оперативной памяти под каждый экземпляр Python Matcher. RAM используется для хранения биометрических шаблонов, полученных из базы данных. Таким образом, сервису Python Matcher не требуется запрашивать каждый БШ из базы данных.
При распределении экземпляров на нескольких серверах следует учитывать производительность каждого сервера. Например, если крупная задача выполняется несколькими экземплярами Python Matcher, а один из них находится на сервере с низкой производительностью, выполнение всей задачи в целом может замедлиться.
Обратите внимание, что для каждого экземпляра сервиса можно задать количество "рабочих процессов". Чем больше количество "рабочих процессов", тем больше ресурсов и памяти потребляется экземпляром сервиса. См. подробную информацию в разделе "Рабочие процессы" в руководстве администратора LUNA PLATFORM.
Запуск нескольких контейнеров#
Для запуска нескольких экземпляров одного и того же сервиса LP необходимо выполнить два шага.
- Запустить несколько контейнеров этого сервиса
Необходимо запустить требуемое количество сервисов, используя соответствующую команду для каждого сервиса.
Например, для сервиса API необходимо запустить следующую команду с обновленными параметрами.
docker run \
--env=CONFIGURATOR_HOST=127.0.0.1 \
--env=CONFIGURATOR_PORT=5070 \
--env=PORT=<port> \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/logs/<folder_name>:/srv/logs \
--name=<name> \
--restart=always \
--detach=true \
--network=host \
dockerhub.visionlabs.ru/luna/luna-api:v.6.29.0
При запуске нескольких схожих контейнеров должны различаться следующие параметры контейнеров:
--env=PORT=<port>
— порты, указываемые для схожих контейнеров, должны быть разными. Необходимо задать доступный порт для экземпляра. Например, "5001", "5002". Порт "5000" будет задан для балансировщика Nginx.
/tmp/logs/<folder_name>:/srv/logs
— папки для логов должны быть с разными именами, чтобы не смешивались записи разных экземпляров сервиса.
--name=<container_name>
— запущенный контейнер должен иметь другое имя, т.к. нельзя запускать два контейнера с одним и тем же именем. Например, "api_1", "api_2".
--gpus device=0
— сервисы CORE обычно используют разные устройства GPU. Таким образом необходимо указывать разные номера устройств.
- Настройте балансировщик (например, Nginx) для маршрутизации запросов по сервисам.
Для каждого масштабированного сервиса LP необходимо задать порт, на котором Nginx будет слушать запросы сервисам и реальные порты каждого экземпляра сервиса, куда Nginx будет перенаправлять запросы.
Пример конфигурационного файла Nginx можно посмотреть здесь:
“/var/lib/luna/current/extras/conf/nginx.conf”.
Можно использовать другой балансировщик, но его использование не описано в данном документе.
VLMatch для Oracle#
Примечание. В следующей инструкции описана установка для Oracle 21c.
Все файлы, требуемые для компиляции расширения, заданного пользователем (UDx), в VLMatch, можно найти в следующей директории:
/var/lib/luna/current/extras/VLMatch/oracle
Для компиляции функции VLMatch UDx необходимо:
- Установить требуемое окружение, см. требования:
sudo yum install gcc g++
- Поменяйте переменную
SDK_HOME
— oracle sdk root (по умолчанию$ORACLE_HOME/bin
, проверьте, что переменная окружения$ORACLE_HOME
задана) в makefile.
vi /var/lib/luna/current/extras/VLMatch/oracle/make.sh
- Откройте директорию и запустите файл "make.sh".
cd /var/lib/luna/current/extras/VLMatch/oracle
chmod +x make.sh
./make.sh
- Определите библиотеку и функцию внутри базы данных (из консоли базы данных):
CREATE OR REPLACE LIBRARY VLMatchSource AS '$ORACLE_HOME/bin/VLMatchSource.so';
CREATE OR REPLACE FUNCTION VLMatch(descriptorFst IN RAW, descriptorSnd IN RAW, length IN BINARY_INTEGER)
RETURN BINARY_FLOAT
AS
LANGUAGE C
LIBRARY VLMatchSource
NAME "VLMatch"
PARAMETERS (descriptorFst BY REFERENCE, descriptorSnd BY REFERENCE, length UNSIGNED SHORT, RETURN FLOAT);
- Протестируйте функцию посредством вызова (из консоли базы данных):
SELECT VLMatch(HEXTORAW('1234567890123456789012345678901234567890123456789012345678901234'), HEXTORAW('0123456789012345678901234567890123456789012345678901234567890123'), 32) FROM DUAL;
Результат должен быть равен "0.4765625".