ispltaИзвестия Санкт-Петербургской лесотехнической академииIzvestia Sankt-Peterburgskoj lesotehniceskoj akademii2079-43042658-5871СПбГЛТУ10.21266/2079-4304.2024.250.318-332isplta-396Research ArticleТЕХНОЛОГИЯ И ОБОРУДОВАНИЕ ЛЕСОЗАГОТОВОКTECHNOLOGY AND EQUIPMENT OF LOGGING INDUSTRIESИзучение возможностей компьютерного зрения для определения обособленных препятствий на грунтовых лесных дорогахStudy of computer vision methods for identifying obstacles on forest roadshttps://orcid.org/0000-0003-4569-9508ХитровЕ. Г.KhitrovE. G.

Хитров Егор Германович – доцент высшей школы  программной инженерии; доктор технических наук

195251, ул. Политехническая, д. 29, Санкт-Петербург

Khitrov Egor G. – DSc (Technical), Associate Professor of the Higher School of Software Engineering, Associate Professor

195251. Politekhnicheskaya str. 29. St. Petersburg

 

hitrov_eg@spbstu.ruhttps://orcid.org/0000-0002-1035-9231АндроновА. В.AndronovA. V.

Андронов Александр Вячеславович – доцент кафедры лесного машиностроения, сервиса и ремонта

194021, Институтский пер., д. 5У, Санкт-Петербург

Andronov Aleksandr V. – PhD (Technical), Associate Professor of the Department of Forestry Machinery, Service and Repair

194021. Institutsky per. 5U. St. Petersburg

 

andronovalexandr@gmail.comhttps://orcid.org/0009-0002-2674-3884СуховА. С.SukhovA. S.

Сухов Артем Сергеевич – магистрант научно-образовательного центра математики

197101, Кронверкский пр., д. 49, Санкт-Петербург

Sukhov Artem S. – Master's student of the Scientific and Educational Center of Mathematics

197101. Kronverkskii av. 49. St. Petersburg

sukhovtema@gmail.comНиконовВ. С.NikonovV. S.

Никонов Виталий Сергеевич – аспирант кафедры лесного машиностроения, сервиса и ремонта

194021, Институтский пер., д. 5У, Санкт-Петербург

 

Nikonov Vitaliy S. – PhD student of the Department of Forestry Machinery, Service and Repair

194021. Institutsky per. 5U. St. Petersburg

nikonov99@outlook.comhttps://orcid.org/0009-0007-6224-9900ПетросянС. С.PetrosyanS. S.

Петросян Сурен Сергеевич – аспирант кафедры автоматизации, метрологии и управления в технических системах 

194021, Институтский пер., д. 5У, Санкт-Петербург

 

Petrosyan Suren S. – PhD student of the Department of Automation, Metrology and Management in Technical Systems

194021. Institutsky per. 5U. St. Petersburg

surik1622@gmail.comhttps://orcid.org/0000-0003-0881-2911БожбовВ. Е.BozhbovV. E.

Божбов Владимир Евгеньевич – доцент кафедры геодезии, землеустройства и кадастров; кандидат технических наук

194021, Институтский пер., д. 5У, Санкт-Петербург

 

Bozhbov Vladimir E. – PhD (Technical), Associate Professor of the Department of Geodesy, Land Management and Cadastre

194021. Institutsky per. 5U. St. Petersburg

 

vb@mail.ruСанкт-Петербургский политехнический университет Петра ВеликогоРоссияPeter the Great St. Petersburg Polytechnic UniversityRussian FederationСанкт-Петербургский государственный лесотехнический университет имени С.М. КироваРоссияSt.Petersburg State Forest Technical UniversityRussian FederationФГАОУ ВО «Национальный исследовательский университет ИТМО»РоссияNational Research University ITMORussian FederationСанкт-Петербургский государственный лесотехнический университет имени С.М. КироваРоссияSt.Petersburg State Forest Technical University.Russian Federation2024261120240250318332Copyright © Хитров Е.Г., Андронов А.В., Сухов А.С., Никонов В.С., Петросян С.С., Божбов В.Е., 20242024Хитров Е.Г., Андронов А.В., Сухов А.С., Никонов В.С., Петросян С.С., Божбов В.Е.Khitrov E.G., Andronov A.V., Sukhov A.S., Nikonov V.S., Petrosyan S.S., Bozhbov V.E.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://izvestiya-lta.spbftu.ru/jour/article/view/396

Методы технического и компьютерного зрения активно развиваются и находят все более широкое применение в различных гражданских областях промышленности. Инструменты CV могут потенциально использоваться для повышения профильной проходимости и безопасности движения лесных и лесотранспортных машин за счет оперативного распознавания обособленных препятствий в виде корней, пней, кочек, ям и проч., встречающихся на пути лесной техники. В исследовании выполнена апробация методики эксперимента по изучению возможностей инструментов компьютерного зрения для распознавания обособленных препятствий на лесных грунтовых дорогах. Эксперименты в работе проведены для различных версий искусственной нейронной сети YOLO (YOLOv8n.pt, YOLOv8s.pt, YOLOv8m.pt, YOLOv8l.pt), дообученной на большом наборе данных Road Damage Detection 2022. Установлено, что экспериментальный стенд, включающий программную и аппаратную часть, а также подобранные гиперпараметры процесса обучения моделей позволяют получать стабильные экспериментальные сведения по распознаванию и классификации дефектов дорог, включая грунтовые и лесные. Результаты оценки моделей YOLO при дообучении и валидации показали, что в качестве перспективной версии для разработки технического решения по распознаванию одиночных препятствий на лесных дорогах можно рекомендовать модель ИНС YOLOv8m.pt; при этом следует дополнительно рассмотреть вопрос регуляризации весов модели. Тестирование и экспертная оценка результатов подтвердили предварительные выводы о перспективности версии YOLOv8m.pt в качестве основы технического решения для определения обособленных препятствий, встречающихся на лесных дорогах. Отмечена целесообразность использования численного метода оптимизации Adam с шагом минимизации 0,00001 в дальнейших исследованиях, связанных с экспериментами с моделями искусственной нейронной сети YOLOv9, YOLOv9v10 для составления более полного и систематизированного научного представления о применимости моделей компьютерного зрения для определения обособленных препятствий на лесных дорогах.

Methods of technical and computer vision are developing and being increasingly used in various civil industries. Computer vision tools may be used to improve passability and traffic safety of forest machinery by promptly recognizing isolated obstacles in the form of roots, stumps, hummocks, potholes, etc. The study tested methodology of an experiment to study capabilities of computer vision tools for recognizing isolated obstacles on forest roads. The experiments in were carried out for various versions of the YOLO artificial neural network (YOLOv8n.pt, YOLOv8s.pt, YOLOv8m.pt, YOLOv8l.pt), retrained on a large dataset of Road Damage Detection 2022. It was found that the experimental setup, including software and hardware, as well as the selected hyperparameters of the model training process, make it possible to obtain stable experimental data on the recognition and classification of road defects, including forest ones. The results of scoring the YOLO models during retraining and validation showed that the YOLOv8m.pt artificial neural network model should be recommended as a promising version for developing a technical solution for recognizing single obstacles on forest roads; however, the issue of regularizing the model weights should be additionally considered. Testing and expert evaluation of the results confirmed the preliminary conclusions about the promise of the YOLOv8m.pt version as basis for the technical solution. The expediency of using the numerical optimization method Adam with a minimization step of 0.00001 in further studies related to experiments with the models of the artificial neural network YOLOv9, YOLOv9v10 is noted for the purpose of compiling a more complete and systematic scientific understanding of the applicability of computer vision models for identifying isolated obstacles on forest roads.

профильная проходимостьдвижение лесных машинzero-shot learningсегментацияклассификацияprofile passabilityforest machinery locomotionzero-shot learningsegmentationclassificationReferencesHan S., Jiang X., Wu Z. An Improved YOLOv5 Algorithm for Wood Defect Detection Based on Attention // IEEE Access. 2023. Vol. 11. P. 71800–71810. URL: https://api.semanticscholar.org/CorpusID:259721127 (дата обращения: 10.08.2024).Han S., Jiang X., Wu Z. An Improved YOLOv5 Algorithm for Wood Defect Detection Based on Attention. IEEE Access, 2023, vol. 11, pp. 71800–71810. URL: https://api.semanticscholar.org/CorpusID:259721127 (accessed August 10, 2024).Hutter F., Kotthoff L., Vanschoren J. (editors). Automated Machine Learning: Methods, Systems, Challenges. Springer, 2019. DOI: 10.1007/978-3-030-05318-5.Hutter F., Kotthoff L., Vanschoren J. (editors). Automated Machine Learning: Methods, Systems, Challenges. Springer, 2019. DOI: 10.1007/978-3-030-05318-5.Latour B. Science in Action: How to Follow Scientists and Engineers through Society. Cambridge, MA: Harvard University Press, 1987.Latour B. Science in Action: How to Follow Scientists and Engineers through Society. Cambridge, MA: Harvard University Press, 1987.Mohan Prakash B., Sriharipriya K.C. Enhanced pothole detection system using YOLOX algorithm // Auton. Intell. Syst. 2022. 2. 22. URL: https://doi.org/10.1007/s43684-022-00037-zMohan Prakash B., Sriharipriya K.C. Enhanced pothole detection system using YOLOX algorithm. Auton. Intell. Syst, 2022, 2, 22. URL: https://doi.org/10.1007/s43684-022-00037-zPothole Dataset: Project on Realtime Potholes Detection. URL: https://public.roboflow.com/object-detection/pothole (дата обращения: 10.08.2024).Pothole Dataset: Project on Realtime Potholes Detection. URL: https://public.roboflow.com/object-detection/pothole (accessed August 10, 2024).RDD2022 Dataset: The Multi-National Road Damage Dataset 2022. URL: https://datasetninja.com/road-damage-detector (дата обращения: 10.08.2024).RDD2022 Dataset: The Multi-National Road Damage Dataset 2022. URL: https://datasetninja.com/road-damage-detector (accessed August 08, 2024).Shevtekar S. Enhanced Pothole Detection Using YOLOv8 Nano // International Scientific Journal of Engineering and Management. 2024. 03. P. 1–9. 10.55041/ISJEM01632.2024Shevtekar S. Enhanced Pothole Detection Using YOLOv8 Nano. International Scientific Journal of Engineering and Management, 2024, 03, pp. 1–9. 10.55041/ISJEM01632.2024Wang M., Li M., Cui W., Xiang X., Duo H. TSW-YOLO-v8n: Optimization of detection algorithms for surface defects on sawn timber // BioResources. 2023. Vol. 18, no. 4. P. 8444–8457.Wang M., Li M., Cui W., Xiang X., Duo H. TSW-YOLO-v8n: Optimization of detection algorithms for surface defects on sawn timber. BioResources, 2023, vol. 18, no. 4, pp. 8444–8457.Wang R., Chen Y., Liang F., Wang B., Mou X., Zhang G. BPN-YOLO: A Novel Method for Wood Defect Detection Based on YOLOv7 // Forests. 2024. URL: https://api.semanticscholar.org/CorpusID:270753559 (дата обращения: 10.08.2024).Wang R., Chen Y., Liang F., Wang B., Mou X., Zhang G. BPN-YOLO: A Novel Method for Wood Defect Detection Based on YOLOv7. Forests. 2024. URL: https://api.semanticscholar.org/CorpusID:270753559 (access August 08, 2024). Wang R.,Wang R., Liang F., Wang B., Mou X. ODCA-YOLO: An Omni-Dynamic Convolution Coordinate Attention-Based YOLO for Wood Defect Detection // Forests. 2023. Т. 14, no. 9. 1885 p. DOI: https://doi.org/10.3390/f14091885.Liang F., Wang B., Mou X. ODCA-YOLO: An Omni-Dynamic Convolution Coordinate Attention-Based YOLO for Wood Defect Detection. Forests, 2023, vol. 14, no. 9, 1885 p. DOI: https://doi.org/10.3390/f14091885.YOLOv8 Docs: Ultralytics YOLO Docs. URL: https://docs.ultralytics.com (дата обращения: 10.08.2024).YOLOv8 Docs: Ultralytics YOLO Docs. URL: https://docs.ultralytics.com (accessed August 08, 2024).

The authors declare that there are no conflicts of interest present.