Ukrainian Journal of Physical Optics


2023 Volume 24, Issue 1


ISSN 1816-2002 (Online), ISSN 1609-1833 (Print)

Complex-scalar and complex-vector approaches for express target-oriented image fusion

1Khaustov D.Ye., 1Kyrychuk O.A., 1Stakh T. M., 1Khaustov Ya.Ye., 1Burashnikov O.O., 1Ryzhov Ye., 2Vlokh R. and 1Nastishin Yu.A.

1Hetman Petro Sahaidachnyi National Army Academy, 32 Heroes of Maidan Street, 79012 Lviv, Ukraine
2O.G. Vlokh Institute of Physical Optics, 23 Dragomanov Street, 79005 Lviv, Ukraine

ABSTRACT

Express techniques of target-oriented image fusion (IF) aim at target-data acquisition such as visual search, detection, recognition and identification of a target. They form a distinct class of the IF methods different from those designed for art photography. The most evident argument for their distinction is that the requirements concerned with the complexity of image-processing procedures and image-quality assessment are essentially different for the two classes. Namely, these requirements are of primary importance for one of the above classes and of no significance (or even inapplicable) for the other class. The express target-oriented IF methods need their specific quantitative image-quality indices, which are selectively associated with target visibility and conspicuity. After discussing the specific features of assessment of the quality of images fused using the express target-oriented IF methods, we suggest a method for determining the local contrast of a target and relate this index to the visibility of this target. We focus on applying the complex-scalar IF and complex-vector IF (CVIF) approaches, which have been developed recently, to the problems of express target-oriented IF. It is demonstrated that the ellipticity algorithm of the CVIF provides a considerable enhancement of the target visibility in comparison with the other express target-oriented IF methods.

Keywords: image fusion, target-data acquisition, complex-scalar image-fusion method, complex-vector image-fusion method, local contrast of target, target visibility

UDC: 004.93

    1. Eckstein M P, 2011. Visual search: a retrospective. J. Vis. 11: 1-36. doi:10.1167/11.5.14
    2. Bowler Y M. Towards a Simplified Model of Visual Search. In: Visual Search, Ed. by D. Brogan, pp. 303-309, London: Taylor & Francis (1990).
    3. Wolfe J M. Visual Search. In: The handbook of Attention. Ed. by J. M. Fawcett, E. F. Risko and A. Kingstone, pp. 27-56, Boston Review (2015).
    4. Jiayi Ma, Yong Ma and Chang Li, 2019. Infrared and visible image fusion methods and applications: a survey. Inform. Fusion. 45: 153-178. doi:10.1016/j.inffus.2018.02.004
    5. Parvatikar M V and Phadke G S, 2013. Comparative study of different image fusion techniques. Int. J. Sci. Engin. Techn. 3: 375-379.
    6. Sicong Zheng. Pixel-level image fusion algorithms for multicamera imaging system. Master Thesis. University of Tennessee, Knoxville (2010).
    7. Hryvachevskyi A P. Improving the informativeness of multispectral monitoring systems by image fusion of the visible and infrared ranges. Ph. D. Thesis. Lviv (2019). doi:10.1109/UkrMiCo43733.2018.9047527
    8. Piella G, 2003. A general framework for multiresolution image fusion: from pixels to regions. Inform. Fus. 4: 259-280. doi:10.1016/S1566-2535(03)00046-0
    9. Kaur H, Koundal D and Kadyan V, 2021. Image fusion techniques: a survey. Arch. Comp. Meth. Engin. 28: 4425-4447. doi:10.1007/s11831-021-09540-7
    10. Williams M L, Wilson R C and Hancock E R, 1999. Deterministic search for relational graph matching, Patt. Recog. 32: 1255-1516. doi:10.1016/S0031-3203(98)00152-6
    11. Khaustov Ya Ye, Khaustov D Ye, Lychkovskyy Е, Ryzhov Ye and Nastishin Yu A, 2019. Image fusion for a target sightseeing system of armored vehicles. Milit. Techn. Collect. 21: 28-37. doi:10.33577/2312-4458.21.2019.28-37
    12. Khaustov Ya Ye, Khaustov D Ye, Ryzhov Ye, Lychkovskyy E and Nastishin Yu A, 2020. Fusion of visible and infrared images via complex function. Milit. Techn. Collect. 22: 20-31. doi:10.33577/2312-4458.22.2020.20-31
    13. Khaustov Ya Ye, Khaustov D Ye, Hryvachevskyi A P, Ryzhov Ye, Lychkovskyy E, Prudyus I N and Nastishin Yu A, 2021. Complex function as a template for image fusion. Res. Opt. 2: 100038. doi:10.1016/j.rio.2020.100038
    14. Khaustov D Ye, Khaustov Ya Ye, Ryzhov Ye, Lychkowskyy E, Vlokh R and Nastishin Yu A, 2021. Jones formalism for image fusion. Ukr. J. Phys. Opt. 22: 165-180. doi:10.3116/16091833/22/3/165/2021
    15. Khaustov D, Khaustov Ya, Ryzhov Ye, Burashnikov O, Lychkovskyy E and Nastishin Yu, 2021. Dynamic fusion of images from the visible and infrared channels of sightseeing system by complex matrix formalism. Milit. Techn. Collect. 25: 29-37. doi:10.33577/2312-4458.25.2021.29-37
    16. Visual and Infrared Database Image Fusion. Provided for free downloading by the SMT/COPPE/Poli/UFRJ and IME-Instituto Militar de Engenharia within the CAPES/Pró-Defesa Program, in a partnership with IPqM-Instituto de Pesquisa da Marinha. url: http://www02.smt.ufrj.br/~fusion/
    17. Li S, Kang X and Hu J, 2013. Image fusion with guided filtering. IEEE Trans. Image Process. 22: 2864-2875. doi:10.1109/TIP.2013.2244222
    18. Yang B and Li S, 2014. Visual attention guided image fusion with sparse representation. Optik. 125: 4881-4888. doi:10.1016/j.ijleo.2014.04.036
    19. Liu Y, Liu S and Wang Z, 2015. A general framework for image fusion based on multi-scale transform and sparse representation. Inform. Fusion. 24: 147-164. doi:10.1016/j.inffus.2014.09.004
    20. Bavirisetti D P, Xiao G and Liu G, 2017. Multi-sensor image fusion based on fourth order partial differential equations, Proc. of 20th International Conference on Information Fusion. Xian, China, pp. 1-9. doi:10.23919/ICIF.2017.8009719
    21. Bavirisetti D P and Dhuli R, 2016. Two-scale image fusion of visible and infrared images using saliency detection. Infrared Phys. Technol. 76: 52-64. doi:10.1016/j.infrared.2016.01.009
    22. Xiao G, Bavirisetti D P, Liu G and Zhang X. Image Fusion based on machine learning and deep learning. In: Image Fusion. Singapore: Springer (2020). doi:10.1007/978-981-15-4867-3
    23. Yu Liu, Xun Chen, Zengfu Wang, Z Jane Wang, Raba K Ward, and Xuesong Wang, 2018. Deep learning for pixel-level image fusion: recent advances and future prospects. Inform. Fusion. 42: 158-173. doi:10.1016/j.inffus.2017.10.007
    24. Jingchun Piao, Yunfan Chen and Hyunchul Shin, 2019. A new deep learning based multi-spectral image fusion method. Entropy. 21: 570. doi:10.3390/e21060570
    25. Yu Zhang, Yu Liu, Peng Sun, Han Yan, Xiaolin Zhao and Li Zhang, 2020. IFCNN: a general image fusion framework based on convolutional neural network. Inform. Fusion. 54: 99-118. doi:10.1016/j.inffus.2019.07.011
    26. Kong W, Zhang L and Lei Y, 2014. Novel fusion method for visible light and infrared images based on nsst-sf-pcnn. Infrared Phys. Technol. 65: 103-112. doi:10.1016/j.infrared.2014.04.003
    27. Sreeja G and Saraniya O. 2019. Chap. 3. Image fusion through deep convolutional neural network in deep learning and parallel computing environment for bioengineering systems. In: Deep Learning and Parallel Computing Environment for Bioengineering Systems, Ed. by Arun Kumar Sangaiah, Elsevier, pp. 37-52. doi:10.1016/B978-0-12-816718-2.00010-5
    28. Thung K-H and Raveendran P, 2009. A survey of image quality measures. 2009 International Conference for Technical Postgraduates (TECHPOS), Kuala Lumpur, Malaysia, pp. 1-4. doi:10.1109/TECHPOS.2009.5412098
    29. Wertheim A H, 2010. Visual conspicuity: a new simple standard, its reliability, validity and applicability. Ergonomics. 53: 421-442. doi:10.1080/00140130903483705
    30. Huckauf A, Heller D and Nazir T A, 1999. Lateral masking: limitations of the feature interaction account. Percept. Psychophys. 61: 177-189. doi:10.3758/BF03211958
    31. Krikke K, Wertheim A H and Johnson A, 2000. The role of lateral masking in visual search. Perception (Suppl.). 29: 102.
    32. Wertheim A H, Hooge I T C, Krikke K and Johnson A, 2006. How important is lateral masking in visual search? Exp. Brain Res. 170: 387-402. doi:10.1007/s00221-005-0221-9
    33. Wolford G and Chambers L, 1983. Lateral masking as a function of spacing. Percept. Psychophys. 33: 129-138. doi:10.3758/BF03202830
    34. Westheimer G, 1985. The oscilloscopic view: retinal illuminance and contrast of point and line targets. Vision Res. 25: 1097-1103. doi:10.1016/0042-6989(85)90098-7
    35. Adrian W, 1989. Visibility of targets: model for calculation. Light. Res. Technol. 21: 181-188. doi:10.1177/096032718902100404
    36. Landsberg G S. Optics. Moscow: Nauka (1976).
    37. Born M and Wolf E. Principles of Optics. Electromagnetic Theory of Propagation, Interference and Diffraction of Light. 7th Ed. Cambridge: Cambridge University Press (2005).
    38. Azzam R M A and Bashara N M, Ellipsometry and Polarized Light. Amsterdam, New York: North-Holland Publ. (1977).
    39. Nastyshyn S Yu, Bolesta I M, Tsybulia S A, Lychkovskyy E, Yakovlev M Yu, Ryzhov Ye, Vankevych P I and Nastishin Yu A, 2018. Differential and integral Jones matrices for a cholesteric. Phys. Rev. A. 97: 053804. doi:10.1103/PhysRevA.97.053804
    40. Nastyshyn S Yu, Bolesta I M, Tsybulia S A, Lychkovskyy E, Fedorovych Z Ya, Khaustov D Ye, Ryzhov Ye, Vankevych P I and Nastishin Yu A, 2019. Optical spatial dispersion in terms of Jones calculus. Phys. Rev. A. 100: 013806. doi:10.1103/PhysRevA.100.013806
    41. Konstantinova A F, Grechushnikov B N, Bokut B V and Valyashko Ye G. Optical properties of crystals. Minsk: Navuka i Teknnika (1995).
    42. Eli Peli J, 1990. Contrast in complex images. Opt. Soc. Amer. A. 7: 2032-2040. doi:10.1364/JOSAA.7.002032
    43. Bogdanov P and Romanov Yu N, 2012. Quality assessment of digital images. Mechanics, Control and Informatics. 9: 218-226.
    44. Bondarenko M A, Drynkin V N, Nabokov C A and Pavlov Yu V, 2017. Adaptive algorithm for selecting informative channels in onboard multispectral video systems. Prog. Syst. Comp. Meth. 1: 46-52.
    45. Xydeas C S and Petrović V, 2000. Objective Image Fusion Perf. Meas. Electron. Lett. 36: 308-309. doi:10.1049/el:20000267
    46. Cvejic N A, Loza D and Bul N, 2005. Similarity metric for assessment of image fusion algorithms. Int. J. Sign. Proc. 2: 178-182.

    Орієнтовані на пошук цілей (або «цільові») експрес-методи злиття зображень (ЗЗ) спрямовані на отримання даних про ціль, тобто на її візуальний пошук, виявлення, розпізнавання та ідентифікацію. Вони формують окремий клас методів ЗЗ, відмінний від класу методів, орієнтованих на художню фотографію. Найбільш очевидним аргументом на користь їхнього розрізнення є те, що вимоги до складності процедур обробки зображень та оцінки їхньої якості істотно відрізняються для цих класів. Зокрема, ці вимоги мають першочергове значення для одного із вищезазначених класів і не мають значення (або навіть не застосовні) для іншого класу. Цільові експрес-методи ЗЗ потребують власних кількісних показників якості зображення, які повинні бути вибірково пов’язаними саме з видимістю чи помітністю цілі. Після обговорення особливостей оцінки якості зображень, злитих за експрес-методами цільового ЗЗ, запропоновано спосіб визначення локального контрасту цілі та встановлено зв’язок цього показника з видимістю цієї цілі. Ми зосередилися на застосуванні комплексно-скалярного та комплексно-векторного підходів ЗЗ, які були розроблені останнім часом, до вирішення проблем експрес-методів цільового ЗЗ. Показано, що алгоритм еліптичності комплексно-векторного ЗЗ забезпечує значне підвищення видимості цілі, порівняно з іншими експрес-методами цільового ЗЗ.

    Ключові слова: злиття зображень, збір даних про ціль, метод комплексно-скалярного злиття зображень, метод комплексно-векторного злиття зображень, локальний контраст цілі, видимість цілі

Free download this article Download Fig_4.avi 

© Ukrainian Journal of Physical Optics ©