Статья: Настройка, обучение и тестирование сверточной нейронной сети в задаче тематической обработки спутниковых изображений

Рис. 5. Сравнение масок облачности и снежного покрова в трех вариантах нейросетевых классификаторов.

На рис. 5 представлены следующие фрагменты: (а) - мультиспектральное изображение каналов 0,9, 0,7 и 0,6 мкм (RGB) прибора МСУ-ГС; (b) - мультиспектральное изображение каналов 0,9, 3,8 и 10,7 мкм (RGB) прибора МСУ-ГС; (c) - RGB-изображение спектральных каналов 0,9, 0,7 и 0,6 мкм с маской, полученной с помощью первой версии классификатора (зеленый: облака; синий: снег); (d) - RGB-изображение спектральных каналов 0,9, 0,7 и 0,6 мкм с маской, полученной второй версией классификатора (зеленый: облака; синий: снег); (e) - RGB-изображение спектральных каналов 0,9, 0,7 и 0,6 мкм с маской, полученной с помощью третьей версии классификатора (зеленый: облака; синий: снег).

Все обученные модели были протестированы на основе статистических коэффициентов с использованием тестовой выборки. Precision, Recall и показатель F были получены таким же образом, как и во время обучения. В табл. 2 представлены полученные значения статистических коэффициентов для обученных моделей нейронных сетей для трех основных этапов экспериментов. Для окончательной архитектуры значения статистических коэффициентов для тестовой выборки до и после fine-tuning были практически идентичны (различия в тысячных долях 1%).

Таблица 2

Разработанный классификатор позволяет обрабатывать спутниковые снимки всего диска Земли с прибора МСУ-ГС (разрешение 2764х2764 пикселей), поступающие с частотой два снимка в час. Работа нейронной сети занимает около 6 минут, что позволяет получать необходимые продукты практически в реальном времени. Измерения времени проводились для программы, написанной на Python 3.7 (ОС Windows 10, Keras 2.2.4, Tensorflow 1.13.1) с видеокартой NVIDIA GTX1060.

Заключение

В данной работе описан алгоритм на основе CNN, который может классифицировать поверхность на три класса, а именно - земля/вода, снег и облачные образования на изображениях дистанционного зондирования, полученных с прибора МСУ-ГС КА «Электро-Л№2». Алгоритм полностью автоматический - нет необходимости вручную корректировать какие-либо значения в описанном классификаторе. Работает в любое время года днем. Для обеспечения точной работы нужно использовать пять спектральных каналов с длинами волн 0,6, 0,7, 0,9, 3,8 и 10,7 мкм в случае прибора МСУ-ГС, а также информацию о зенитном угле Солнца. Еще одно преимущество алгоритма в том, что нет необходимости использовать дополнительные сторонние данные, требуются только данные с прибора МСУ-ГС.

Однако возможны некоторые ошибки в классификации снега во время облачности из-за специфики используемых данных и ошибок на краях изображений вследствие геометрического искажения. Разработанный алгоритм может быть адаптирован для обнаружения снежного покрова и облачных образований на основе данных, полученных с других спутников.

В настоящее время алгоритм используется в оперативной практике Дальневосточного центра НИЦ «Планета», в составе программы восстановления параметров облачности.

ЛИТЕРАТУРА

1. Liangpei Z., Lefei Z., Bo D. Deep Learning for Remote Sensing Data: A technical tutorial on the state of the art // IEEE Geoscience and remote sensing magazine, 2016.

2. Zhu X.X., Tuia D., Mou L., Xia G., Zhang L., Xu F., Fraundorfer F. Deep Learning in Remote Sensing: A Review // IEEE Geoscience and remote sensing magazine, 2017.

3. Yang C., Rongshuang F., Muhammad B., Xiucheng Y., Jingxue W., Li W. Multilevel Cloud Detection for High-Resolution Remote Sensing Imagery Using Multiple Convolutional Neural Networks // ISPRS Int. J. Geo-Inf. - 2018. - Vol. 7(5). - P. 181.

4. Yun Y. Temporal Data Mining via Unsupervised Ensemble Learning. - Elsevier, 2016. - P. 172.

5. Блощинский В.Д., Кучма М.О., Андреев А.И. Применение сверточных нейронных сетей в задачах детектирования облачности и снежного покрова по данным прибора МСУ-ГС КА Электро-Л №2 // Материалы 17-й Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса». - М.: ИКИ РАН. - 2019. - C. 18.

6. Кучма М.О., Воронин В.В., Блощинский В.Д. Анализ возможности использования сверточной нейронной сети для тематической обработки спутниковых изображений // Материалы Восьмой Всероссийской научно-практической конференции «Решение». - Березники. Изд-во Пермского национального политехнического ун-та. - 2019. - С. 7072.

7. Кучма М. О., Воронин В. В. Создание обучающей выборки для сверточной нейронной сети в задаче тематической обработки спутниковых изображений // Сб. науч. трудов «Информационные технологии XXI века». - Хабаровск: Изд-во Тихоокеан. гос. ун-та. - 2020. - С. 187-191.

8. KuchmaM.O., Bloshchinskiy V.D. Electro Textures Dataset. figshare. Dataset, 2019. URL: https://doi.org/10.6084/m9.figshare.9722723.v3.

9. Cracknell A.P. The Advanced Very High Resolution Radiometer. - London: Taylor and Francis Ltd, 1997.

10. Mueller A., Guido S. An introduction to Machine Learning with Python. O'Reilly, 2017.

11. Diederik P.K., Jimmy L.B. Adam: a method for stochastic optimization // Proceedings of International Conference on Learning Representations, 2015.

12. Yang C., Rongshuang F., Muhammad B., Xiucheng Y., Jingxue W., Li W. Multilevel Cloud Detection for High-Resolution Remote Sensing Imagery Using Multiple Convolutional Neural Networks // ISPRS Int. J. Geo-Inf. - 2018. - Vol. 7(5). - P. 181.

13. Simonyan K., Zisserman A. Very Deep Convolutional Networks Foe Large-Scale Image Recognition, 2015.

14. Jay Kuo C.-C. Understanding Convolutional Neural Networks with A Mathematical Model, 2016.

15. Boureau Y., Ponce J., LeCun Y. A theoretical analysis of feature pooling in visual recognition // In 27th Int. Conf. Mach. Learn (ICML'10). Madison, Omnipress, 2010. - P. 111-118.

16. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: a simple way to prevent neural networks from overfitting // J. Mach. Learn. Res. - 2014. - Vol. 15. - P. 1929-1958.

17. Kramareva L.S., Andreev A.I., Simonenko E.V., Sorokin A.A. The use of a convolutional neural network for detecting snow according to the data of the multichannel satellite device of meteor-M No. 2 spacecraft // Procedia Comput. Sci. - 2019. - Vol. 150. - P. 368-375.

18. Ioffe S., Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift, 2015.