Что произошло
NVIDIA представила обновление своего фреймворка для видеоаналитики DeepStream до версии 9.1. Главные нововведения — две технологии: AutoMagicCalib для автоматической калибровки камер и Multi-View 3D Tracking для сквозного отслеживания объектов между разными камерами в 3D-пространстве.
Детали
AutoMagicCalib (AMC) решает сложную проблему ручной калибровки камер. Система анализирует движение объектов в существующих видеопотоках и автоматически вычисляет:
- Внутренние параметры камер (фокусное расстояние, искажения)
- Внешние параметры (положение и ориентацию в пространстве)
Пользователю нужно только указать несколько опорных точек на плане помещения. AMC доступен как микросервис с веб-интерфейсом и REST API.
Multi-View 3D Tracking (MV3DT) работает так:
- Каждая камера независимо обнаруживает объекты
- Координаты объектов проецируются в единое 3D-пространство
- Система сопоставляет объекты между камерами и назначает единый ID
MV3DT работает с тремя моделями детекции:
- PeopleNetTransformer (трансформерная архитектура)
- PeopleNet v2.6.3 (оптимизированная для пешеходов)
- RT-DETR (для промышленных объектов)
Результаты выводятся в трёх форматах:
- Видеопоток с разметкой
- Вид сверху (BEV) с траекториями
- Данные в Kafka для интеграции с другими системами
Почему это важно
Традиционные системы видеоаналитики теряют объект при переходе между камерами и требуют сложной ручной настройки. DeepStream 9.1 решает обе проблемы:
- Автоматизация — AMC убирает необходимость в ручной калибровке с помощью шаблонов
- Сквозной трекинг — объект сохраняет один ID даже при переходе между зонами видимости камер
- Гибкость — система работает как с файлами, так и с RTSP-потоками
"Каждая камера независимо проецирует объекты в 3D, а система объединяет эти данные для глобально согласованного трекинга"
Что дальше
NVIDIA продолжает развивать концепцию "skills" — готовых модулей, которые можно комбинировать через естественно-языковые запросы. В будущем стоит ожидать:
- Расширения библиотеки skills для новых сценариев
- Поддержки большего количества моделей детекции
- Упрощения интеграции с облачными сервисами
Для работы требуется Ubuntu 24.04, NVIDIA драйверы версии 580+, Docker с поддержкой GPU и Jetson платформы для edge-развёртывания.
Источники
- Оригинал: developer.nvidia.com — © developer.nvidia.com