Detection and classification of dynamic objects using 3D virtual models
This R&D is dedicated to creating a system for detecting and classifying dynamic objects using 3D virtual models and synthetic data generated in environments such as Unreal Engine.
The main goal is to overcome the shortage of high-quality, diverse, and well-annotated real-world data, especially for rare or hazardous scenarios. By leveraging 3D object models, controlled lighting, varied viewpoints, and dynamic scenes, we generated large and diverse training datasets with automatic annotations, significantly reducing the cost of data collection and manual labeling.
Using 3D object models, controlled lighting, viewing angles, and dynamic scenes, large and diverse training samples with automatic annotations were generated, significantly reducing the cost of data collection and manual labeling.
The proposed approach includes using modern deep learning models (such as YOLOv9 and YOLOv10) for real-time detection, along with 3D modeling–based data augmentation techniques to simulate complex backgrounds, varied lighting, and motion. The system demonstrated high accuracy and detection speed in testing, and experiments confirmed its advantage over classical methods (shallow ML). As a result, the solution is suitable for applications in autonomous transportation, video surveillance, and augmented reality, offering scalability and adaptability to new objects and scenarios with minimal additional cost.
The system showed high accuracy and detection speed in tests, and experiments confirmed the superiority of this approach over classical methods (HOG, cascades). The result is a solution suitable for applications in autonomous transportation, video surveillance, and augmented reality, which can be scaled and adapted to new objects and scenarios with minimal additional costs.
Text in Ukrainian
Ця науково-дослідна робота присвячена створенню системи для виявлення та класифікації динамічних об’єктів із використанням 3D віртуальних моделей і синтетичних даних, згенерованих у середовищі Unreal Engine.
Основна мета — подолати брак якісних, різноманітних і анотованих реальних даних, особливо для рідкісних або небезпечних сценаріїв.
Використовуючи 3D-моделі об’єктів, кероване освітлення, кути огляду й динамічні сцени, згенеровано великі й різноманітні навчальні вибірки з автоматичними анотаціями, що суттєво скоротили витрати на збір і ручне маркування даних.
Запропонований підхід включає використання сучасних моделей глибинного навчання (наприклад, YOLOv9 , YOLOv10) для реального часу, а також техніки аугментації даних із 3D-моделюванням для симуляції складних фонів, різного освітлення й руху.
Система показала високу точність і швидкість детекції на тестах, а експерименти підтвердили перевагу такого підходу над класичними методами (HOG, каскади). В результаті отримано рішення, придатне для застосувань у сфері автономного транспорту, відеоспостереження та доповненої реальності, яке можна масштабувати та адаптувати до нових об’єктів і сценаріїв з мінімальними додатковими витратами.