Ukrainian Journal of Physical Optics


2025 Volume 26, Issue 4


ISSN 1816-2002 (Online), ISSN 1609-1833 (Print)

DEEP LEARNING-BASED TRAFFIC SIGN OPTICAL RECOGNITION FOR INTELLIGENT TRANSPORTATION

Ling Xu, Jiaao Wang, Xiaoling Cheng, Weiping Zhu, Yiguo Wan, Jinju Tang, Xiaokun Yang, XiangQing Wang and Dongfei Wang

Author Information
1Ling Xu ORCID logo, 2Jiaao Wang ORCID logo, 3Xiaoling Cheng ORCID logo, 3Weiping Zhu ORCID logo, 1Yiguo Wan ORCID logo, 3Jinju Tang ORCID logo, 3Xiaokun Yang ORCID logo, 3XiangQing Wang ORCID logo, 2,3,*Dongfei Wang ORCID logo
1Jiangxi Vocational and Technical College of Communications, Nanchang, 330013, Jiangxi Province, China
2School of Information Engineering, Beijing Institute of Graphic Communication, Beijing, 102627, China
3School of Electronics and Information, Nanchang institute of technology, 330044, Jiangxi Province, China
*Corresponding author: wdfchina@126.com

ABSTRACT

This paper aims to develop a high-efficiency, high-accuracy driver assistance system by integrating deep learning with an optimized Kalman filter approach. The system is designed to recognize traffic signs in complex road environments, enabling the rapid and accurate identification of critical signage to assist drivers in making correct decisions. This paper addresses key challenges in the field of intelligent transportation: in dynamic traffic environments, conventional object detection algorithms struggle to capture deformation features of traffic signs caused by viewpoint variations, resulting in high miss rates for small and deformed targets; existing tracking systems suffer frequent identity switches in densely populated vehicle scenes due to occlusion, compromising tracking continuity; and complex road conditions significantly degrade recognition robustness. To overcome these limitations, the proposed system integrates an enhanced YOLOv11 object detection framework with a Kalman filter-based multi-object tracking algorithm, forming a real-time, end-to-end processing pipeline. Compared to existing technologies, the proposed approach incorporates a deformable convolutional network to enhance spatial feature deformation modeling. The optimized algorithm combines motion trajectory prediction with appearance feature fusion to reduce the frequency of identity switches and mitigate target loss. The mean average precision value has increased; specifically, with 42 categories, the mean average precision of 50 has improved to 0.9222, and with a mean average precision of 50-95, it can also reach 0.7649.

Keywords: optical recognition, traffic signs, deep learning, YOLOv11 model, Kalman filter

UDC: 535.8

    1. Viola, P., & Jones, M. (2001, December). Rapid object detection using a boosted cascade of simple features. In Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition. CVPR 2001 (Vol. 1, pp. I-I). IEEE.
      doi:10.1109/CVPR.2001.990517
    2. Dalal, N., & Triggs, B. (2005, June). Histograms of oriented gradients for human detection. In 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05) (Vol. 1, pp. 886-893). IEEE.
      doi:10.1109/CVPR.2005.177
    3. Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2014). Rich feature hierarchies for accurate object detection and semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 580-587).
      doi:10.1109/CVPR.2014.81
    4. Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in neural information processing systems, 28.
    5. Benallal, M., & Meunier, J. (2003, May). Real-time color segmentation of road signs. In CCECE 2003-Canadian Conference on Electrical and Computer Engineering. Toward a Caring and Humane Technology (Cat. No. 03CH37436) (Vol. 3, pp. 1823-1826). IEEE.
      doi:10.1109/CCECE.2003.1226265
    6. De La Escalera, A., Moreno, L. E., Salichs, M. A., & Armingol, J. M. (1997). Road traffic sign detection and classification. IEEE transactions on industrial electronics, 44(6), 848-859.
      doi:10.1109/41.649946
    7. Piccioli, G., De Micheli, E., & Campani, M. (1994, May). A robust method for road sign detection and recognition. In European Conference on Computer Vision (pp. 493-500). Berlin, Heidelberg: Springer Berlin Heidelberg.
      doi:10.1007/3-540-57956-7_55
    8. Natarajan, S., Annamraju, A. K., & Baradkar, C. S. (2018). Traffic sign recognition using weighted multi‐convolutional neural network. IET Intelligent Transport Systems, 12(10), 1396-1405.
      doi:10.1049/iet-its.2018.5171
    9. Yang, B., & Zhang, H. (2022). A CFAR algorithm based on Monte Carlo method for millimeter-wave radar road traffic target detection. Remote Sensing, 14(8), 1779.
      doi:10.3390/rs14081779
    10. Zhang, J., Wang, R., Liu, R., Guo, D., Li, B., & Chen, S. (2022). DSP-based traffic target detection for intelligent transportation. IEEE Transactions on Intelligent Transportation Systems, 24(11), 13180-13191.
      doi:10.1109/TITS.2022.3225709
    11. Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., & Berg, A. C. (2016, September). Ssd: Single shot multibox detector. In European conference on computer vision (pp. 21-37). Cham: Springer International Publishing.
      doi:10.1007/978-3-319-46448-0_2
    12. Lin, T. Y., Goyal, P., Girshick, R., He, K., & Dollár, P. (2017). Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision (pp. 2980-2988).
      doi:10.1109/ICCV.2017.324
    13. Tan, M., Pang, R., & Le, Q. V. (2020). Efficientdet: Scalable and efficient object detection. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 10781-10790).
      doi:10.1109/CVPR42600.2020.01079
    14. Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 779-788).
      doi:10.1109/CVPR.2016.91
    15. Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2014). Rich feature hierarchies for accurate object detection and semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 580-587).
      doi:10.1109/CVPR.2014.81
    16. Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2015). Region-based convolutional networks for accurate object detection and segmentation. IEEE transactions on pattern analysis and machine intelligence, 38(1), 142-158.
      doi:10.1109/TPAMI.2015.2437384
    17. He, K., Zhang, X., Ren, S., & Sun, J. (2015). Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE transactions on pattern analysis and machine intelligence, 37(9), 1904-1916.
      doi:10.1109/TPAMI.2015.2389824
    18. Zou, W., Li, W., Li, G., Zhou, Q., & Liu, Q. (2023, August). An improved small target traffic sign detection algorithm for YOLOv5s. In 2023 5th International Conference on Electronics and Communication, Network and Computer Technology (ECNCT) (pp. 223-229). IEEE.
      doi:10.1109/ECNCT59757.2023.10281017
    19. Yu, J., Ye, X., & Tu, Q. (2022). Traffic sign detection and recognition in multiimages using a fusion model with YOLO and VGG network. IEEE Transactions on Intelligent Transportation Systems, 23(9), 16632-16642.
      doi:10.1109/TITS.2022.3170354
    20. Wang, Q., Song, W. L., Zhang, Y. Z., Chen, J. H., & Jiang, D. P. (2021). Study on hyperspectral conifer species classification based on improved VGG16 network. Forest Engineering, 2021, 37(3), 79-87.
    21. Hou, Q., Zhou, D., & Feng, J. (2021). Coordinate attention for efficient mobile network design. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 13713-13722).
      doi:10.1109/CVPR46437.2021.01350
    22. Zhang, Y. F., Ren, W., Zhang, Z., Jia, Z., Wang, L., & Tan, T. (2022). Focal and efficient IOU loss for accurate bounding box regression. Neurocomputing, 506, 146-157.
      doi:10.1016/j.neucom.2022.07.042

    У статті представлено розробку високоефективної та високоточної системи допомоги водієві шляхом інтеграції глибокого навчання з оптимізованим підходом фільтра Калмана. Система призначена для розпізнавання дорожніх знаків у складних дорожніх умовах, забезпечуючи швидке та точне виявлення критично важливих знаків для допомоги водієві у прийнятті правильних рішень. У роботі розглядаються ключові проблеми в галузі інтелектуального транспорту, зокрема: у динамічних дорожніх середовищах традиційні алгоритми виявлення об’єктів не здатні ефективно фіксувати особливості деформації дорожніх знаків, спричинені змінами кута огляду, що призводить до високого рівня пропущених об'єктів, особливо малих і деформованих; наявні системи відстеження часто мають збої ідентифікації в щільних транспортних потоках через перекриття об’єктів, що погіршує безперервність відстеження; складні дорожні умови значно знижують надійність розпізнавання. Для подолання цих обмежень, запропонована система поєднує вдосконалену структуру виявлення об’єктів YOLOv11 з алгоритмом мультиоб’єктного відстеження на основі фільтра Калмана, формуючи конвеєр обробки в режимі реального часу. На відміну від наявних технологій, запропонований підхід використовує змінювану згорткову мережу для покращення моделювання деформації просторових ознак. Оптимізований алгоритм поєднує прогнозування траєкторії руху з об’єднанням ознак зовнішнього вигляду, що дозволяє зменшити частоту зміни ідентифікаторів та знизити ймовірність втрати цілі.

    Ключові слова: оптичне розпізнавання, дорожні знаки, глибоке навчання, модель YOLOv11, фільтр Калмана

Free download this article 

This work is licensed under CC BY 4.0