Перейти к содержанию

Производительность CARS_API#

В данном разделе представлены значения результатов тестирования CARS_API для разных конфигураций оборудования сервера.

Инструкция AVX2 процессора обязательна при выполнении вычислений на мощностях процессора.

Рекомендуется устанавливать процессор с набором инструкций: AVX512, VNNI. При наличии данных инструкций инференс нейросетей значительно меньше по времени, за счет чего увеличивается количество запросов (RPS), которые успевает обрабатывать CARS API.

Конфигурация сервера#

Эффективность распознавания атрибутов ТС и ГРЗ зависит от параметров входного изображения:

  • Размер изображения;
  • Количество бит на один цвет.

Тестирование проводилось для изображений, имеющих следующие характеристики:

  • Разрешение изображения ТС: 500х439 px;
  • Разрешение изображения ГРЗ: 117x33 px;
  • Формат исходных изображений: jpeg.

Таблица 52. Параметры тестового сервера

№ Параметр Значение
1 CPU Model name: Intel(R) Xeon(R) Gold 6240R CPU, Thread(s) per core: 2, Core(s) per socket: 24, Socket(s): 2
2 Частота CPU 2.40GHz
3 Оперативная память 394Gb
4 Видеопамять 15360MiB
5 Операционная система CentOS 8

Измерения производительности CARS_API представлены для нескольких типов ускорителей.

Таблица 53. Описание параметров ускорителей при тестировании

Параметр Описание
AVX2 Запуск CARS_API на сервере с CPU c поддержкой инструкций AVX512 и VNNI
GPU Запуск CARS_API на сервере с GPU

Обратите внимание! Поддержка работы на GPU

Работа на GPU поддерживается только на видеокартах NVIDIA с установленными драйверами и NVIDIA Container Toolkit. Вам нужно установить драйверы NVIDIA и NVIDIA Container Toolkit. Подробную инструкцию по установке можно найти на официальном сайте NVIDIA.

GPU-карты ниже Turing-архитектуры и старше Ada-архитектуры не поддерживаются.

Представленные в настоящем руководстве значения являются средними величинами, полученными по итогам проведения не менее 100 экспериментов. В экспериментах по определению атрибутов ТС и ГРЗ, перечисленных в таблице ниже, использовались все доступные ядра центрального процессора.

Результаты проведения тестирования производительности#

Тестирование проводилось с использованием следующих классификаторов:

  • featured_vehicle_type;
  • vehicle_orientation_v1;
  • detailed_vehicle_color;
  • detailed_vehicle_emergency_v2;
  • special_transport_type;
  • public_transport_type;
  • vehicle_axles;
  • car_brand_model_v2;
  • grz_all_countries.

Запрос /classify для классификаторов#

Таблица 54. Результаты тестирования для запроса /classify

Параметр AVX2 GPU
RPS (transactions/s) 18.84 32.31
Response time (ms) 424.34 247.43

Запрос /detector с параметром cars, /detector с параметром grz и /classify для классификаторов#

Таблица 55. Результаты тестирования для запроса /detector с параметром cars, /detector с параметром grz и /classify для классификаторов

Параметр AVX2 GPU
Total RPS (transactions/s) 40.24 74.75
Total CARS Response time (ms) 198.33 106.89
Classify RPS (transactions/s) 13.45 24.96
Classify CARS Response time (ms) 428.63 193.35
Detect car RPS (transactions/s) 13.46 24.95
Detect car CARS Response time (ms) 99.08 82.02
Detect grz RPS (transactions/s) 13.48 24.98
Detect grz CARS Response time (ms) 67.34 45.30