Подготовка к обновлению#

Убедитесь в том, что вы являетесь root-пользователем перед тем, как начать обновление!

Перед обновлением необходимо выполнить следующие действия:

Ознакомиться с ключевыми изменениями предыдущих версий, если выполняется обновление с версии, отличной от версии LUNA PLATFORM 5.53.0
Создать резервные копии
Подготовиться к смене версии нейронной сети для извлечения биометрических шаблонов, если это необходимо
Удалить старую символическую ссылку
Распаковать дистрибутив новой версии LUNA PLATFORM
Создать новую символическую ссылку
Изменить группу и владельца для новых директорий
Выполнить перенос данных, если выполняется обновление с версии 5.38.3 и ниже
Сохранить пользовательские настройки сервиса Configurator, если они изменялись
Настроить SELinux и Firewall, если ранее не были настроены
Создать директории с логами, если ранее использовалась запись логов в файлы
Активировать лицензию, если это необходимо
Настроить вычисления с помощью GPU, если планируется использовать GPU
Авторизироваться в registry VisonLabs, если ранее не была выполнена авторизация
Удалить старые контейнеры

Ключевые изменения предыдущих версий#

Примечание. При обновлении LUNA PLATFORM с предыдущей версии, пропустите данный раздел.

Ниже перечислены ключевые изменения предыдущих версий, на которые надо обратить внимание при выполнении обновления со старых версий LUNA PLATFORM. Для некоторых из этих изменений требуется выполнить обязательные действия, иначе LUNA PLATFORM может не запуститься или функционировать некорректно.

В таблице ниже перечислены не все изменения. См. подробную информацию о всех изменениях в примечаниях к выпуску LUNA PLATFORM.

Версия	Изменения	Обязательные действия
5.53.0	Обновлен образ VisionLabs для PostgreSQL с 12 версии на 16 версию.	Если ранее использовался данный образ, то необходимо самостоятельно выполнить миграцию согласно официальной документации.
5.46.0	Функционал для работы с нейронными сетями (детекция, эстимация и извлечение) перенесен из сервиса Handlers в новый сервис Remote SDK.	-
	Из контейнера Remote SDK удалена 105ая модель нейронной сети для извлечения биометрических шаблонов тел. Теперь по умолчанию используется 110ая модель нейронной сети для извлечения биометрических шаблонов тел.	Ознакомиться с информацией, описанной в разделе "Подготовка к смене версии нейронной сети", и выполнить определенные действия перед запуском Remote SDK, т.к. изменилась версия по умолчанию.
5.45.1	Значение по умолчанию настройки "score_threshold" в секции "LUNA_HANDLERS_FACE_DETECTOR_SETTINGS" сервиса Configurator изменено с 0.42 до 0.5.	Проверить логику распознавания лиц, если используется значение "score_threshold", отличное от значения по умолчанию.
5.40.0	В командах запуска контейнеров PostgreSQL, InfluxDB и Image Store теперь прописываются пути директорий для монтирования, расположенные в корневом каталоге `/var/lib/luna/<db_or_bucket_folder>`, в отличие от предыдущих версий, где пути прописывались для определенной версии LUNA PLATFORM `/var/lib/luna/current/example-docker/<db_or_bucket_folder>`. Это позволяет не переносить данные при каждом обновлении.	Перенести старые данные PostgreSQL, InfluxDB и Image Store в корневой каталог (см. "Перенос данных"), а затем удалить и заново создать контейнеры, прописав новые пути директорий для монтирования.
5.38.3	Значение по умолчанию настройки "score_threshold" в секции "LUNA_HANDLERS_BODY_DETECTOR_SETTINGS" сервиса Configurator изменено с 0.3 до 0.5.	Проверить логику распознавания тел, если используется значение "score_threshold", отличное от значения по умолчанию.
	Значение по умолчанию настройки "redetect_face_target_size" в секции "LUNA_HANDLERS_FACE_DETECTOR_SETTINGS" сервиса Configurator изменено с 45 до 64.	Проверить логику распознавания лиц, если используется значение "redetect_face_target_size", отличное от значения по умолчанию.
5.36.5	Адрес сервера лицензирования теперь нужно задавать в настройках Configurator перед запуском контейнера Licenses.	Выполнить действия, описанные в разделе "Задание адреса сервера лицензирования с помощью Configurator".
5.35.0	Прекращена поддержка старых сервисов Индексирования и поиска по индексу.	-
5.34.0	Из контейнера Handlers удалены 54, 56 и 57 модели нейронных сетей для извлечения биометрических шаблонов.	Ознакомиться с информацией, описанной в разделе "Подготовка к смене версии нейронной сети", и выполнить определенные действия перед запуском Handlers, если использовалась одна из перечисленных моделей.
	Из контейнера Handlers удалены 104 и 106 модели нейронных сетей для извлечения биометрических шаблонов. Теперь по умолчанию используется модель 107.	Ознакомиться с информацией, описанной в разделе "Подготовка к смене версии нейронной сети", и выполнить определенные действия перед запуском Handlers, т.к. изменилась версия по умолчанию.
	Прекращена поддержка сервиса Liveness V1.	-
5.30.0	Обновлены библиотеки вендора для HASP ключа и HASP утилита (c 111186 на 30147).	Обновить сервис HASP и выписать новую лицензию (см. "Активация лицензионного ключа").
	Изменен механизм создания и управления аккаунтами.	Выполнить действия, помеченные фразой Внимание! Миграция аккаунтов (только версии 5.2.0...5.28.0)
5.28.0	Значение по умолчанию настройки "score_threshold" в секции "FACE_DETECTOR_V3" сервиса Configurator изменено с 0.89 до 0.42.	Проверить логику распознавания лиц, если используется значение "score_threshold", отличное от значения по умолчанию.
5.26.0	Наличие маски на подбородке с этой версии относится к состоянию "missing". В предыдущих версиях оно относилось к состоянию "medical_mask".	Проверить логику работы оценки масок.
5.24.0	Прекращена поддержка БД Vertica для сервиса Events.	-
5.23.0	Обновлены пороги по умолчанию (рекомендуемые) для следующих проверок в группе проверок “face_quality” и ресурсе “/iso”: "mouth_occluded" (старые значения: min=0, max=0.3; новые значения: min=0, max=0.5) и "mouth_open" (старые значения: min=0, max=0.64; новые значения: min=0, max=0.5)	Проверить логику работы "mouth_occluded" и "mouth_open", если использовались значения по умолчанию.
5.14.0	Обновлён алгоритм Liveness V2. Пороги по умолчанию для “liveness_threshold” и “quality_threshold” теперь равняются “0.5”. Рекомендуемый порог “liveness_threshold” теперь равен “0.5” вместо “0.88”.	Проверить логику работы алгоритма Liveness V2.
5.6.0	Теперь по умолчанию используется модель 59 нейронной сети для извлечения биометрических шаблонов.	Ознакомиться с информацией, описанной в разделе "Подготовка к смене версии нейронной сети", и выполнить определенные действия перед запуском Handlers, т.к. изменилась версия по умолчанию.
	Из контейнера Handlers удалена 101 модель нейронной сети извлечения биометрических шаблонов тел. Теперь по умолчанию используется модель 104.	Ознакомиться с информацией, описанной в разделе "Подготовка к смене версии нейронной сети", и выполнить определенные действия перед запуском Handlers, т.к. изменилась версия по умолчанию.
5.3.0	Изменена логика запуска сервисов LUNA PLATFORM внутри контейнеров. Теперь приложения запускаются не от пользователя root, а от пользователя luna.	-
	Прекращена поддержка детекторов FaceDetV1 и FaceDetV2.	-

Создание резервных копий#

Рекомендуется создать следующие резервные копии:

резервные копии всех баз данных, используемых с LUNA PLATFORM;
резервную копию бакетов Image Store;
резервную копию настроек сервисов LUNA PLATFORM.

Создание резервных копий позволит восстановить в случае возникновения каких-либо проблем в процессе миграции.

Ниже приведены команды создания резервных копий для версий v.5.40.0 и выше. Если вы обновляетесь более низкой версии, то к расположению директорий с данными LP необходимо добавлять путь до распакованной предыдущей версии LP, например, для создания резервной копии базы данных PostgreSQL для версии v.5.38.1 необходимо выполнить следующую команду:

cp -r /var/lib/luna/luna_v.5.38.1/example-docker/postgresql /var/lib/luna/BACKUP_postgresql

Копия базы данных PostgreSQL#

Создайте резервную копию БД PostgreSQL с помощью следующей команды:

cp -r /var/lib/luna/postgresql /var/lib/luna/BACKUP_postgresql

Копия базы данных InfluxDB#

Создайте резервную копию БД InfluxDB с помощью следующей команды:

cp -r /var/lib/luna/influx /var/lib/luna/BACKUP_influx

Копия бакетов Image Store#

Создайте резервную копию бакетов с помощью следующей команды:

cp -r /var/lib/luna/image_store /var/lib/luna/BACKUP_image_store

Дамп-файл с настройками сервисов#

Пользовательские значения настроек сервисов LUNA PLATFORM (всех, кроме сервиса Configurator) автоматически мигрируются с помощью механизма миграции сервиса Configurator, описанном в разделе "Миграция базы данных Configurator".

Если миграция сервиса по каким-либо причинам затерла пользовательскую настройку или пользователь просто хочет хранить старые настройки сервисов для различных версий LP, то можно создать дамп-файл.

Чтобы создать дамп-файл, используйте следующие команды (можно выполнить из любой директории на сервере):

wget -O /var/lib/luna/BACKUP_settings_dump.json 127.0.0.1:5070/1/dump

или

curl 127.0.0.1:5070/1/dump > /var/lib/luna/BACKUP_settings_dump.json

Данный файл не будет использован в процессе нормальной установки LUNA PLATFORM. Чтобы применить сохраненные настройки, нужно использовать скрипт db_create.py с аргументом командной строки--dump-file (за которым следует имя созданного дамп-файла): base_scripts/db_create.py --dump-file settings_dump.json. Применить дамп-файл можно только к пустой базе данных с созданными таблицами. См. подробную информацию в разделе "Дамп-файл с настройками LP" руководства администратора.

Подготовка к смене версии нейронной сети#

В некоторых сборках LUNA PLATFORM удаляются модели нейронных сетей для извлечения биометрических шаблонов лиц и тел, а также меняются настройки использования моделей по умолчанию. См. раздел "Ключевые изменения предыдущих версий" для подробной информации о данных изменениях.

Если выполняется обновление с версий 5.2.0 и выше и в предыдущей сборке в настройках "DEFAULT_FACE_DESCRIPTOR_VERSION" или "DEFAULT_HUMAN_DESCRIPTOR_VERSION" была указана какая-то из удаленных моделей, то запуск сервиса Remote SDK запустится с ошибкой, если не выполнить дополнительные действия.

Доступные модели нейронных сетей для извлечения БШ в текущей сборке LUNA PLATFORM:

Объект, из которого извлекается БШ	Модели нейронных сетей	Модель по умолчанию
Лицо	59, 60, 62	59
Тело	107, 110	110

Необходимо выполнить одно из дополнительных действий в зависимости от следующих сценариев работы:

Продолжение использования отсутствующих нейронных сетей

Запросите у VisionLabs старую модель нейронной сети и подготовьте её к переносу в новый контейнер Remote SDK после его запуска (см. инструкцию по переносу в разделе "Использование модели нейросети не из поставки" руководства администратора).

Переход на новую версию нейронной сети с продолжением использования старых биометрических шаблонов

выполните задачу Additional extraction перед началом обновления (см. раздел "Задача Additional extraction" в руководстве администратора). Это позволит преобразовать старые шаблоны на новую версию нейронной сети.
укажите новую версию нейронной сети в настройках "DEFAULT_FACE_DESCRIPTOR_VERSION" или "DEFAULT_HUMAN_DESCRIPTOR_VERSION" перед запуском сервиса Remote SDK (см. раздел "Смена модели нейронной сети для извлечения биометрических шаблонов").

Переход на новую версию нейронной сети с прекращением использования старых биометрических шаблонов

Укажите новую версию нейронной сети в настройках "DEFAULT_FACE_DESCRIPTOR_VERSION" или "DEFAULT_HUMAN_DESCRIPTOR_VERSION" перед запуском сервиса Remote SDK (см. раздел "Смена модели нейронной сети для извлечения биометрических шаблонов").

Если не требуется использовать извлечение биометрических шаблонов тел, то можно отключить использование нейронной сети с помощью команды --env=EXTEND_CMD="--enable-body-descriptor-estimator=0" при запуске контейнера Remote SDK (см. подробную информацию в разделе "Включение/отключение некоторых эстиматоров и детекторов" руководства администратора).

Удаление символической ссылки#

Удалите символическую ссылку в директорию предыдущей минорной версии с помощью следующей команды:

rm -f /var/lib/luna/current

Распаковка дистрибутива#

Дистрибутив представляет собой архив luna_v.5.54.0, где v.5.54.0 это числовой идентификатор, обозначающий версию LUNA PLATFORM.

Архив включает в себя конфигурационные файлы, требуемые для установки и использования. Он не включает в себя Docker образы сервисов, их требуется скачать из Интернета отдельно.

Переместите дистрибутив в директорию на вашем сервере перед установкой. Например, переместите файлы в директорию /root/. В ней не должно быть никакого другого дистрибутива или файлов лицензии кроме целевых.

Переместите дистрибутив в директорию c LUNA PLATFORM.

mv /root/luna_v.5.54.0.zip /var/lib/luna

Установите приложение для распаковки архива при необходимости

yum install -y unzip

Откройте папку с дистрибутивом

cd /var/lib/luna

Распакуйте файлы

unzip luna_v.5.54.0.zip

Создание символической ссылки#

Создайте символическую ссылку. Она показывает, что актуальная версия файла дистрибутива используется для запуска LUNA PLATFORM.

ln -s luna_v.5.54.0 current

Изменение группы и владельца для директорий#

Сервисы LP запускаются внутри контейнеров пользователем "luna". Таким образом, требуется установить разрешения для данного пользователя на работу с примонтированными директориями.

Откройте директорию LP "example-docker":

cd /var/lib/luna/current/example-docker/

Создайте директорию для хранения настроек:

mkdir luna_configurator/used_dumps

Установите для пользователя с UID 1001 и группой 0 разрешения на работу с примонтированными директориями.

chown -R 1001:0 luna_configurator/used_dumps

Перенос данных (версии 5.38.3 и ниже)#

Примечание. Выполняйте данные действия только если выполняется обновлении с версии 5.38.3 и ниже, т.к. начиная с версии LUNA PLATFORM v.5.40.0, в командах запуска контейнеров PostgreSQL, InfluxDB и Image Store прописываются пути директорий для монтирования, расположенные в корневом каталоге /var/lib/luna/<db_or_bucket_folder>, в отличие от предыдущих версий, где пути прописывались для определенной версии LUNA PLATFORM /var/lib/luna/current/example-docker/<db_or_bucket_folder>. Таким образом, в новых версиях не нужно переносить данные.

Переместите данные со своей версии в директорию /var/lib/luna/. Ниже приведены примеры команд для версии 5.38.3.

Перенос бакетов Image Store#

Скопируйте директорию "image_store" со всеми бакетами:

mv /var/lib/luna/luna_v.5.38.3/example-docker/image_store /var/lib/luna/

Установите права пользователя luna:

chown -R 1001:0 /var/lib/luna/image_store

Перенос данных PostgreSQL#

Скопируйте директорию "data":

mv /var/lib/luna/luna_v.5.38.3/example-docker/postgresql /var/lib/luna/

Перенос данных InfluxDB#

Следующий шаг необходим если используется InfluxDB в Docker-контейнере.

Скопируйте директорию "influx" со всеми бакетами:

mv /var/lib/luna/luna_v.5.38.3/example-docker/influx /var/lib/luna/

Начиная с версии 5.9.0, по умолчанию используется InfluxDB версии 2. Эта версия позволяет визуализировать данные мониторинга с помощью Grafana. При необходимости можно перенести данные из базы данных InfluxDB версии 1 в базу данных InfluxDB версии 2. См. документацию InfluxDB.

Сохранение пользовательских настроек сервиса Configurator#

Примечание. Пропустите данный шаг, если настройки Configurator не изменялись.

Настройки сервиса Configurator не мигрируются автоматически, в отличие от настроек всех остальных сервисов.

Если предыдущая версия LP использовалась с настройками сервиса Configurator, отличных от настроек по умолчанию, нужно создать резервную копию файла конфигурации "luna_configurator_postgres.conf" в отдельной директории на сервере.

cp /var/lib/luna/<your_previous_lp_version>/example-docker/luna_configurator/configs/luna_configurator_postgres.conf /var/lib/luna/BACKUP_luna_configurator_postgres.conf

Эта резервная копия должна быть примонтирована к запускаемому контейнеру сервиса Configurator.

Если вы не уверены, менялись ли настройки сервиса Configurator, то можете сравнить созданную резервную копию с настройками Configurator из текущей поставки с помощью следующей команды:

diff /var/lib/luna/current/example-docker/luna_configurator/configs/luna_configurator_postgres.conf /var/lib/luna/BACKUP_luna_configurator_postgres.conf

SELinux и Firewall#

SELinux и Firewall необходимо настроить так, чтобы они не блокировали сервисы LUNA PLATFORM.

Конфигурация SELinux и Firewall не описываются в данном руководстве.

Если SELinux и Firewall не настроены, дальнейшая установка невозможна.

Создание директории логов для новых сервисов#

Пропустите этот раздел в случае, если ранее логи не сохранялись на сервере.

В новой версии LUNA PLATFORM могли появиться новые сервисы, для которых нужно создать директории с логами. Это зависит от версии, с которой выполняется обновление. Например, в версии 5.30.0 появился сервис Accounts.

См. раздел "Запись логов на сервер" если вы ранее не использовали запись логов в файл, но хотите включить её.

Ниже приведены команды для создания директорий для всех существующих сервисов. Данные команды создадут и присвоят права только отсутствующим директориям.

mkdir -p /tmp/logs/configurator /tmp/logs/image-store /tmp/logs/accounts /tmp/logs/faces /tmp/logs/licenses /tmp/logs/events /tmp/logs/python-matcher /tmp/logs/handlers /tmp/logs/remote-sdk /tmp/logs/tasks /tmp/logs/tasks-worker /tmp/logs/sender /tmp/logs/api /tmp/logs/admin /tmp/logs/backport3 /tmp/logs/backport4

chown -R 1001:0 /tmp/logs/configurator /tmp/logs/image-store /tmp/logs/accounts /tmp/logs/faces /tmp/logs/licenses /tmp/logs/events /tmp/logs/python-matcher /tmp/logs/handlers /tmp/logs/remote-sdk /tmp/logs/tasks /tmp/logs/tasks-worker /tmp/logs/sender /tmp/logs/api /tmp/logs/admin /tmp/logs/backport3 /tmp/logs/backport4

Если необходимо использовать сервис Python Matcher Proxy, то нужно дополнительно создать директорию /tmp/logs/python-matcher-proxy и установить ей разрешения.

Активация лицензии#

Для активации/обновления лицензии необходимо выполнить следующие действия:

выполнить действия из руководства по активацию лицензии
задать настройки лицензирования HASP или Guardant перед запуском контейнера Licenses

Действия из руководства по активации лицензии#

Откройте руководство по активации лицензии и выполните необходимые шаги.

Примечание. Это действие является обязательным. Лицензия не будет работать без выполнения шагов по активации лицензии из соответствующего руководства.

Вычисления с помощью GPU#

Для основных вычислений, выполняемых сервисом Remote SDK, можно использовать GPU.

Пропустите данный раздел, если не собираетесь использовать GPU для вычислений.

Для использования GPU с Docker-контейнерами необходимо установить NVIDIA Container Toolkit. Пример установки приведен ниже.

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | tee /etc/yum.repos.d/nvidia-docker.repo

yum install -y nvidia-container-toolkit

systemctl restart docker

Проверьте работу NVIDIA Container toolkit, запустив базовый контейнер CUDA (он не входит в дистрибутив LP, его необходимо загрузить из Интернета):

docker run --rm --gpus all nvidia/cuda:11.4.3-base-centos7 nvidia-smi

Для дополнительной информации см. следующую документацию:

https://github.com/NVIDIA/nvidia-docker#centos-7x8x-docker-ce-rhel-7x8x-docker-ce-amazon-linux-12.

Извлечение атрибутов на GPU разработано для максимальной пропускной способности. Выполняется пакетная обработка входящих изображений. Это снижает затраты на вычисления для изображения, но не обеспечивает минимальную задержку для каждого изображения.

GPU-ускорение разработано для приложений с высокой нагрузкой, где количество запросов в секунду достигает тысяч. Нецелесообразно использовать ускорение GPU в сценариях с небольшой нагрузкой, когда задержка начала обработки имеет значение.

Авторизация в registry#

При запуске контейнеров необходимо указать ссылку на образ, необходимый для запуска контейнера. Этот образ загружается из VisionLabs registry. Перед этим необходима авторизация.

Логин и пароль можно запросить у представителя VisionLabs.

Введите логин .

docker login dockerhub.visionlabs.ru --username <username>

После выполнения команды будет запрошен ввод пароля. Введите пароль.

В команде docker login можно вводить логин и пароль одновременно, однако это не гарантирует безопасность, т.к. пароль можно будет увидеть в истории команд.

Удаление старых контейнеров#

Перед запуском контейнеров текущей минорной версии необходимо остановить все контейнеры, относящиеся к предыдущей минорной версии LUNA PLATFORM, а также контейнеры сторонних приложений.

Необходимо также удалить контейнеры PostgreSQL и InfluxDB для того, чтобы пересоздать их с новыми примонтированными директориями (см. "Перенос данных").

Для удаления контейнера используйте следующую команду:

docker container rm -f [container_name]

где [container_name] это имя контейнера сервиса docker или ID.

Например, для удаления контейнеров LP используйте следующую команду:

docker container rm -f luna-configurator luna-backport3 luna-backport4 luna-sender  luna-tasks luna-handlers luna-remote-sdk luna-python-matcher luna-events luna-licenses luna-faces luna-image-store luna-ui-3 luna-ui-4 luna-admin luna-api luna-tasks-worker luna-accounts

Для удаления контейнеров PostgreSQL и InfluxDB используйте следующую команду:

docker container rm -f postgres influxdb

Если выполняется обновление с версии 5.38.3 и ниже, то необходимо обязательно удалить контейнеры PostgreSQL и InfluxDB.

Чтобы посмотреть имена контейнеров или их ID, используйте следующую команду:

docker ps -a

Также рекомендуется удалить старые образы контейнеров для освобождения места. Можно использовать следующую команду для удаления всех неиспользуемых образов.

Если на сервере достаточно места, рекомендуется выполнить это действие только после успешного запуска новой версии LP.

Данная команда удаляет все неиспользуемые образы, а не только образы, относящиеся к LP.

docker image prune -a -f