Производительность подсистемы LCA API#
В данном разделе представлены результаты тестирования производительности подсистемы LCA API для различных конфигураций серверного оборудования.
Для выполнения вычислений на центральном процессоре обязательна поддержка инструкций AVX2.
Для достижения максимальной производительности рекомендуется использовать процессоры с поддержкой наборов инструкций AVX512 и VNNI. Их использование позволяет сократить время инференса нейронных сетей и увеличить количество запросов в секунду (RPS), обрабатываемых подсистемой API.
Минимальные требования для запуска LCA API#
| Параметр | Значение |
|---|---|
| Количество потоков сервера API | 1 |
| Количество доступных потоков для Flower | 1 |
Для сценария, когда по изображению с обзорной камеры необходимо распознать только ГРЗ транспортного средства (Детектор ТС > Детектор ГРЗ > Распознавание символов ГРЗ).
| Параметр | Значение |
|---|---|
| RPS | 7 |
| Загрузка CPU | 2 потока |
| Использование памяти | 2.1 GB |
Для сценария, когда по изображению с обзорной камеры необходимо распознать атрибуты ТС и ГРЗ (Детектор ТС > Классификаторы ТС > Детектор ГРЗ > Распознавание символов ГРЗ).
| Параметр | Значение |
|---|---|
| RPS | 2.5 |
| Загрузка CPU | 2 потока |
| Использование памяти | 2.5 GB |
Конфигурация тестового сервера#
Производительность распознавания атрибутов ТС и ГРЗ зависит от характеристик входных изображений, включая:
- разрешение изображения;
- глубину цвета.
Таблица 52. Параметры тестового сервера
| Параметр | Значение |
|---|---|
| Архитектура | x86_64 |
| CPU | Intel(R) Xeon(R) Gold 6248R CPU @ 3.00GHz, 2 thread(s) per core, 24 core(s) per socket, 2 socket(s) |
| Logical CPUs | 96 |
| Оперативная память (RAM) | 314 GB |
| GPU | NVIDIA GeForce RTX 3060, 12 GB VRAM |
Результаты тестирования представлены для двух вариантов выполнения вычислений.
Таблица 53. Режимы тестирования
| Режим | Описание |
|---|---|
| AVX2 | Выполнение вычислений на CPU с поддержкой инструкций AVX2, AVX512 и VNNI |
| GPU | Выполнение вычислений на GPU |
| Параметр | Значение |
|---|---|
| Количество потоков сервера API | 8 |
| Количество доступных потоков для Flower | 6 |
Обратите внимание! Поддержка работы на GPU
Работа на GPU поддерживается только на видеокартах NVIDIA с установленными драйверами и NVIDIA Container Toolkit. Вам нужно установить драйверы NVIDIA и NVIDIA Container Toolkit. Подробную инструкцию по установке можно найти на официальном сайте NVIDIA.
GPU-карты с архитектурой ниже Turing и старше Ada не поддерживаются.
Значения, приведенные в данном разделе, являются средними и получены по результатам не менее 100 измерений. При тестировании использовались все доступные ядра центрального процессора.
Сценарий 1. Распознавание ГРЗ#
Последовательность обработки изображения: Детектор ТС > Детектор ГРЗ > Распознавание символов ГРЗ
Сценарий используется, когда по изображению с обзорной камеры необходимо распознать только ГРЗ транспортного средства.
Сценарий 1. Результаты тестирования#
Таблица 54. Результаты тестирования на CPU
| Параметр | Значение |
|---|---|
| RPS | 35 |
| Загрузка CPU | 14 потоков |
| Использование памяти | 2.6 GB |
Сценарий 2. Распознавание атрибутов ТС и ГРЗ#
Последовательность обработки изображения: Детектор ТС > Классификаторы ТС > Детектор ГРЗ > Распознавание символов ГРЗ
При обработке изображения используются следующие классификаторы ТС:
- featured_vehicle_type
- detailed_vehicle_color
- detailed_vehicle_emergency_v2
- special_transport_type
- public_transport_type
- vehicle_axles
- car_brand_model_v2
Для распознавания ГРЗ используется классификатор:
- grz_all_countries
Сценарий используется, когда по изображению с обзорной камеры необходимо распознать атрибуты ТС и ГРЗ.
Сценарий 2. Результаты тестирования#
Таблица 56. Результаты тестирования на CPU
| Параметр | Значение |
|---|---|
| RPS | 12 |
| Загрузка CPU | 14 потоков |
| Использование памяти | 3.7 GB |