Автоматизована система аналізу пошкоджень об’єктів міської інфраструктури з використанням моделей комп’ютерного зору
DOI:
https://doi.org/10.30837/2522-9818.2026.2.121Ключові слова:
аналіз пошкоджень; міська інфраструктура; глибоке навчання; моделі комп’ютерного зору; сегментація екземплярів; набір зображень; інтелектуальна системаАнотація
Нині актуальним є питання забезпечення інтеграції багаторівневих даних для ефективного моніторингу й аналізу пошкоджень будівель унаслідок воєнних дій на території України, а також визначення пріоритетів відновлювальних робіт. Метою дослідження є розроблення інтелектуальної системи автоматизованого аналізу пошкоджень об’єктів міської інфраструктури, яка б дала змогу ефективно обробляти великі обсяги зображень, отриманих з використанням засобів комп’ютерного зору, для подальшого оцінювання рівня руйнувань і прийняття рішень щодо пріоритетності їх відновлення. Надані системою детальні звіти щодо стану кожної будівлі суттєво спрощують процес експертного оцінювання без необхідності фізичної присутності фахівців на місці. Ранжування пошкоджених об’єктів за рівнем їх впливу на життєдіяльність країни забезпечує більш раціональний і зважений розподіл ресурсів, необхідних для відновлення інфраструктури. Крім того, в системі здійснюється активна взаємодія з профільними державними структурами, органами місцевого самоврядування та фахівцями, відповідальними за планування й організацію відновлювальних робіт. У межах такої взаємодії передбачається отримання доступу до комплексних баз даних з інформацією про архітектурні особливості будівель, їх історико-культурну цінність, а також використання наявної технічної документації, що дає змогу брати до уваги всі аспекти під час оцінювання серйозності пошкоджень і формування планів відновлення будівель. Аналіз інформації, отриманої під час спеціалізованих інженерних обстежень і досліджень із застосуванням високоточних інструментальних методів, допомагає додатково уточнювати параметри ушкоджень і створювати розширені датасети для подальшого навчання й валідації моделей комп’ютерного зору. Досліджено та обґрунтовано доцільність використання сегментації екземплярів за допомогою моделей YOLOv11 і Mask R-CNN, що сприяє не лише виявленню пошкоджень, а й точному визначенню їх обсягів, що є важливим для всебічного оцінювання масштабу руйнувань і планування заходів відновлення. Результати дослідження демонструють, що запропонована система ефективно працює за умови застосування підходів до боротьби з дисбалансом класів. Важливим етапом роботи системи є автоматизоване формування оптимізованих планів відновлення, основаних на комплексному аналізі виявлених ушкоджень. Такі плани мають зважати не тільки на технічні параметри руйнувань, а й на фінансові, матеріальні та кадрові обмеження. Висновок. Розроблена система є ефективним інструментом для підтримки ухвалення рішень на державному й регіональному рівнях про відновлення пошкоджених споруд, сприяє прискоренню процесів відновлення критично важливої інфраструктури й мінімізації соціально-економічних втрат, пов’язаних із воєнними руйнуваннями.Завантаження
Посилання
References
Gupta, R., Goodman, B., Patel, N., Hosfelt, R., Sajeev, S., Heim, E., Doshi, J., Curtis, K., Seferbekov, S., Alker, A. and Lee, S. (2019), "xBD: A Dataset for Assessing Building Damage from Satellite Imagery", arXiv, pp. 1–9. DOI: https://doi.org/10.48550/arXiv.1911.09296
Risso, M., Goffi, A., Motetti, B.A., Burrello, A., Bove, J.B., Macii, E., Poncino, M., Pagliari, D.J. and Maffeis, G. (2025), "Building Damage Assessment in Conflict Zones: A Deep Learning Approach Using Geospatial Sub-Meter Resolution Data", in Proceedings of the 2025 IEEE 6th International Conference on Image Processing, Applications and Systems (IPAS), pp. 1–6. DOI: https://doi.org/10.1109/IPAS63548.2025.10924534
Yuan, Q., Shen, H., Li, T., Li, Z., Li, S., Jiang, Y., Xu, H., Tan, W., Yang, Q., Wang, J., Gao, J. and Zhang, L. (2020), "Deep learning in environmental remote sensing: Achievements and challenges", Remote Sensing of Environment, 241, 111716. DOI: https://doi.org/10.1016/j.rse.2020.111716
Shevchenko, L. (2022), "Mass Housing in Ukraine in the Second Half of the 20th Century", Docomomo Journal, 67, pp. 72–78. DOI: https://doi.org/10.52200/docomomo.67.08
Teng, S., Chen, G., Liu, Z., Cheng, L. and Sun, X. (2021), "Multi-sensor and decision-level fusion-based structural damage detection using a one-dimensional convolutional neural network", Sensors, 21(12), 3950. DOI: https://doi.org/10.3390/s21123950
UN News (2025), "Ukraine: Post-War Reconstruction Set to Cost $524 Billion" [online]. Available from: https://news.un.org/en/story/2025/02/1160466 (Accessed: 2 April 2025).
UNDP Ukraine (n.d.) "In Ukraine, Machine-Learning Algorithms and Big Data Scans Used to Identify War-Damaged Infrastructure" [online]. Available from: https://www.undp.org/ukraine/blog/ukraine-machine-learning-algorithms-and-big-data-scans-used-identify-war-damaged-infrastructure (Accessed: 11 March 2025).
Geospatial World (n.d.) "Assessing Infra Damage in War-Torn Ukraine" [online]. Available from: https://geospatialworld.net/prime/technology-and-innovation/assessing-infra-damage-war-torn-ukraine/ (Accessed: 11 March 2025).
FlyPix (n.d.) "AI-Driven Building Damage Assessment: Innovations and Applications" [online]. Available from: https://flypix.ai/blog/building-damage-assessment/ (Accessed: 11 April 2025).
T2D2 (n.d.) "AI Damage Detection" [online]. Available from: https://t2d2.ai/damage-detector (Accessed: 11 March 2025).
WarUpClose (n.d.) "Memorialization of Destructions" [online]. Available from: https://war.city/about-us/ (Accessed: 23 April 2025).
Ukrainska Pravda (2023), "Rebuilding of Housing Destroyed by Russians Can Now Be Seen Online in 3D" [online]. Available from: https://www.pravda.com.ua/eng/news/2023/10/3/7422472/ (Accessed: 23 April 2025).
SCAN UA (n.d.) "Save Ukrainian Heritage" [online]. Available from: https://scanua.com/ (Accessed: 24 April 2025).
Kashtan, V. and Hnatushenko, V. (2023), "Automated building damage detection on digital imagery using machine learning", Naukovyi Visnyk Natsionalnoho Hirnychoho Universytetu, 6, pp. 134–140. DOI: https://doi.org/10.33271/nvngu/2023-6/134
Li, X., Caragea, D., Zhang, H. and Imran, M. (2018), "Localizing and quantifying damage in social media images", in Proceedings of the IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM), Barcelona, 28–31 August 2018. DOI: https://doi.org/10.1109/asonam.2018.8508298
Li, X., Caragea, D., Zhang, H. and Imran, M. (2019), "Localizing and quantifying infrastructure damage using class activation mapping approaches", Social Network Analysis and Mining, Vol. 9, No. 1, pp. 194–201. DOI: https://doi.org/10.1007/s13278-019-0588-4
Nia, K.R. and Mori, G. (2017), "Building damage assessment using deep learning and ground-level image data", in Proceedings of the 14th Conference on Computer and Robot Vision (CRV), Edmonton, 16–19 May 2017, pp. 95–102. DOI: https://doi.org/10.1109/CRV.2017.54
Klyshnia, A. (n.d.) "First Step Towards Circular Reconstruction: Damage Assessment and Material Mapping of Buildings in Ukraine Through Ground Imagery Processing" [online]. Available from: https://blog.iaac.net/first-step-towards-circular-reconstruction-damage-assessment-and-material-mapping-of-buildings-in-ukraine-through-ground-imagery-processing/ (Accessed: 24 April 2025).
Liu, C., Wang, Y., Zhang, J. and Li, H. (2022), "Real-time ground-level building damage detection based on lightweight and accurate YOLOv5 using terrestrial images", Remote Sensing, Vol. 14, No. 12, 2763. DOI: https://doi.org/10.3390/rs14122763
Bošnjak, A. and Jajac, N. (2023), "Determining priorities in infrastructure management using multicriteria decision analysis", Sustainability, Vol. 15, No. 20, 14953. DOI: https://doi.org/10.3390/su152014953
Mohammadnazari, Z., Mousapour, M., Alipour-Vaezi, M., Aghsami, A., Jolai, F. and Yazdani, M. (2022), "Prioritizing post-disaster reconstruction projects using an integrated multi-criteria decision-making approach: a case study", Buildings, Vol. 12, No. 2, 136. DOI: https://doi.org/10.3390/buildings12020136
Szeliski, R. (2022), Computer Vision: Algorithms and Applications, 2nd ed. Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-34372-9
Liu, L., Ouyang, W., Wang, X., Fieguth, P., Chen, J., Liu, X. and Pietikäinen, M. (2020), "Deep learning for generic object detection: a survey", International Journal of Computer Vision, 128(2), pp. 261–318. DOI: https://doi.org/10.1007/s11263-019-01247-4
Krizhevsky, A., Sutskever, I. and Hinton, G.E. (2012), "ImageNet Classification with Deep Convolutional Neural Networks", Advances in Neural Information Processing Systems (NeurIPS), Vol. 25. DOI: https://doi.org/10.1145/3065386
He, K., Zhang, X., Ren, S. and Sun, J. (2016), "Deep Residual Learning for Image Recognition", in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770–778. DOI: https://doi.org/10.1109/CVPR.2016.90
Manakitsa, N., Maraslidis, G.S., Moysis, L. and Fragulis, G.F. (2024), "A review of machine learning and deep learning for object detection, semantic segmentation, and human action recognition in machine and robotic vision", Technologies, Vol. 12, No. 2, 15. DOI: https://doi.org/10.3390/technologies12020015
Girshick, R. (2015), "Fast R-CNN", in Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 1440–1448. DOI: https://doi.org/10.1109/ICCV.2015.169
Sultana, F., Sufian, A. and Dutta, P. (2020), "Evolution of image segmentation using deep convolutional neural networks: a survey", Knowledge-Based Systems, 201–202, 106062. DOI: https://doi.org/10.1016/j.knosys.2020.106062
Cheng, B., Schwing, A. and Kirillov, A. (2022), "Masked-attention Mask Transformer for Universal Image Segmentation (Mask2Former)", in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1290–1299. DOI: https://doi.org/10.48550/arXiv.2112.01527
Wang, C.Y. et al. (2022) "YOLOv7: Trainable bag-of-freebies for real-time object detection", in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). DOI: https://doi.org/10.48550/arXiv.2207.02696
Zhao, Q. and Zhu, J. (2025), "An Improved YOLOv11 Architecture with Multi-Scale Attention and Spatial Fusion for Fine-Grained Residual Detection", Results in Engineering, 27, 107061. DOI: https://doi.org/10.1016/j.rineng.2025.107061
Huang, H., Zhao, S., Zhang, D. and Chen, J. (2020), "Deep learning-based instance segmentation of cracks from shield tunnel lining images", Structure and Infrastructure Engineering. DOI: https://doi.org/10.1080/15732479.2020.1838559
Kumar, T., Brennan, R., Mileo, A. and Bendechache, M. (2024), "Image data augmentation approaches: a comprehensive survey and future directions", IEEE Access, 12, pp. 187536–187571. DOI: https://doi.org/10.1109/ACCESS.2024.3470122
Johnson, J. and Khoshgoftaar, T. (2019), "Survey on deep learning with class imbalance", Journal of Big Data, 6(1), pp. 1–54. DOI: https://doi.org/10.1186/s40537-019-0192-5
Taherdoost, H. and Madanchian, M. (2023), "Multi-Criteria Decision Making (MCDM) methods and concepts", Encyclopedia, 3(1), pp. 77–87. DOI: https://doi.org/10.3390/encyclopedia3010006
Madanchian, M. and Taherdoost, H. (2023), "A comprehensive guide to the TOPSIS method for multi-criteria decision making", Sustainable Social Development, 1(1), pp. 1–6. DOI: https://doi.org/10.54517/ssd.v1i1.2220
Jagerman, R., Oosterhuis, H. and de Rijke, M. (2022), "To model or to intervene: A comparison of counterfactual and online learning to rank from user interactions", in Proceedings of the ACM International Conference on Web Search and Data Mining. DOI: https://doi.org/10.1145/3331184.3331269
Aftab, S. and Ramampiaro, H. (2024), "Improving top-N recommendations using batch approximation for weighted pair-wise loss", Machine Learning with Applications, 15, 100520. DOI: https://doi.org/10.1016/j.mlwa.2023.100520
Buda, M., Maki, A. and Mazurowski, M.A. (2018), "A systematic study of the class imbalance problem in convolutional neural networks", Neural Networks, 106, pp. 249–259. DOI: https://doi.org/10.1016/j.neunet.2018.07.011
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
-
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
-
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
-
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.
