Физико-химические аспекты изучения кластеров, наноструктур и наноматериалов
Основан в 2009 году

Автоматический анализ изображений микроскопии с применением облачного сервиса DLgram01

А.В. Матвеев1, М.Ю. Машуков1, А.В. Нартова1,2, Н.Н. Санькова2,1, А.Г. Окунев1,2

1 ФГБАОУ ВО «Новосибирский национальный исследовательский государственный университет»
2 ФГБУН «Институт катализа им. Г.К. Борескова Сибирского отделения Российской академии наук»

DOI: 10.26456/pcascnn/2021.13.300

Оригинальная статья

Аннотация: Исследование материалов методами микроскопии нередко включает стадию подсчета количества наблюдаемых объектов и определения их статистических параметров, для чего необходимо измерять сотни объектов. В работе описан облачный сервис DLgram01, который позволяет специалистам в области материаловедения, не имеющих навыков программирования, выполнять автоматизированную обработку изображений–определять количество и параметры (площадь, размер) изучаемых объектов. Сервис разработан с использованием новейших достижений в области глубокого машинного обучения, для обучения нейронной сети пользователю необходимо разметить несколько изучаемых объектов. Обучение нейронной сети производится автоматически за несколько минут. Важными особенностями сервиса DLgram01 является возможность корректировать результаты предсказания нейронной сети, а также получение детальной информации о всех распознанных объектах. Использование сервиса позволяет существенно сократить временные затраты на количественный анализ изображений,снизить влияние субъективного фактора, повысить точность анализа и его эргоемкость.

Ключевые слова: микроскопия, распознавание, наночастицы, глубокие нейронные сети, искусственный интеллект

  • Матвеев Андрей Викторович – к.х.н., заведующий лабораторией глубокого машинного обучения в физических методах, ФГБАОУ ВО «Новосибирский национальный исследовательский государственный университет»
  • Машуков Михаил Юрьевич – старший научный сотрудник лаборатории глубокого машинного обучения в физических методах, ФГБАОУ ВО «Новосибирский национальный исследовательский государственный университет»
  • Нартова Анна Владимировна – к.х.н., доцент кафедры химии твердого тела, ФГБАОУ ВО «Новосибирский национальный исследовательский государственный университет», старший научный сотрудник лаборатории исследования поверхности ФГБУН «Институт катализа им. Г.К. Борескова Сибирского отделения Российской академии наук»
  • Санькова Наталья Николаевна – младший научный сотрудник отдела нетрадиционных каталитических процессов, ФГБУН «Институт катализа им. Г.К. Борескова Сибирского отделения Российской академии наук», младший научный сотрудник лаборатории интеллектуальных и аддитивных методов синтеза материалов ФГБАОУ ВО «Новосибирский национальный исследовательский государственный университет»
  • Окунев Алексей Григорьевич – к.х.н., директор Высшего колледжа информатики, ФГБАОУ ВО «Новосибирский национальный исследовательский государственный университет», старший научный сотрудник группы темплатного синтеза ФГБУН «Институт катализа им. Г.К. Борескова Сибирского отделения Российской академии наук»

Ссылка на статью:

Матвеев, А.В. Автоматический анализ изображений микроскопии с применением облачного сервиса DLgram01 / А.В. Матвеев, М.Ю. Машуков, А.В. Нартова, Н.Н. Санькова, А.Г. Окунев // Физико-химические аспекты изучения кластеров, наноструктур и наноматериалов. — 2021. — Вып. 13. — С. 300-311. DOI: 10.26456/pcascnn/2021.13.300.

Полный текст: загрузить PDF файл

Библиографический список:

1. Horcas, I. WSXM: a software for scanning probe microscopy and a tool for nanotechnology / I. Horcas, R. Fernández, J.M. Gómez-Rodriguez et al. // Review of Scientific Instruments. – 2007. – V. 78. – I. 1. – P. 013705-1-013705-8. DOI: 10.1063/1.2432410.
2. Nečas, D. Gwyddion: an open-source software for SPM data analysis / D. Nečas, P. Klapetek // Central European Journal of Physics. – 2012. – V. 10. – I. 1. – P. 181-188. DOI: 10.2478/s11534-011-0096-2.
3. Schindelin, J. Fiji: an open-source platform for biological-image analysis / J. Schindelin, I. Arganda-Carreras, E. Frise et al. // Nature Methods. – 2012. – V. 9. – I. 7. – P. 676-682. DOI: 10.1038/nmeth.2019.
4. Moen, E. Deep learning for cellular image analysis / E. Moen, D. Bannon, T. Kudo et al. // Nature Methods. – 2019. – V. 16. – I. 12. – P. 1233-1246. DOI: 10.1038/s41592-019-0403-1.
5. Caicedo, J. Nucleus segmentation across imaging experiments: the 2018 Data Science Bowl / J. Caicedo, A. Goodman, K. Karhohs et al. // Nature Methods. – 2019. – V. 16. – I. 12. – P. 1247-1253. DOI: 10.1038/s41592-019-0612-7.
6. Yi, J. Pixel-wise neural cell instance segmentation / J. Yi, P. Wu, D.J. Hoeppner, D. Metaxas // 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), 4-7 April 2018, Washington, DC, USA. – 2018. – P. 373-377. DOI: 10.1109/ISBI.2018.8363596.
7. Stringer, C. Cellpose: a generalist algorithm for cellular segmentation / C. Stringer, M. Michaelos, M. Pachitariu // Nature Methods. – 2021. – V. 18. – I. 1. – P. 100-106. DOI: 10.1038/s41592-020-01018-x.
8. Bannon, D. DeepCell Kiosk: scaling deep learning–enabled cellular image analysis with Kubernetes / D. Bannon, E. Moen, M. Schwartz et al. // Nature Methods. – 2021. – V. 18. – I. 1. – P. 43-45. DOI: 10.1038/s41592-020-01023-0.
9. Fu, G. Deep-learning-based approach for fast and robust steel surface defects classification / G. Fu, P. Sun, W. Zhu et al. // Optics and Lasers in Engineering. – 2019. – V. 121. – P. 397-405. DOI: 10.1016/j.optlaseng.2019.05.005.
10. Zhu, H. Deep learning-based classification of weld surface defects / H. Zhu, W. Ge, Z. Liu // Applied Sciences. – 2019. – V. 9. – I. 16. – Art. № 3312. – 10 p. DOI: 10.3390/app9163312.
11. Liu, Y. Periodic surface defect detection in steel plates based on deep learning / Y. Liu, K. Xu, J. Xu // Applied Sciences. – 2019. – V. 9. – I. 15. – Art. № 3127. – 14 p. DOI: 10.3390/app9153127.
12. Feng, S. Using deep neural network with small dataset to predict material defects / S. Feng, H. Zhou, H. Dong // Materials & Design. – 2019. – V. 162. – P. 300-310. DOI: 10.1016/j.matdes.2018.11.060.
13. Modarres, M.H. Neural network for nanoscience scanning electron microscope image recognition / M.H. Modarres, R. Aversa, S. Cozzini et al // Scientific Reports. – 2017. – V. 7. – Art. № 13282. – 12 p. DOI: 10.1038/s41598-017-13565-z.
14. Oktay, A.B. Automatic detection, localization and segmentation of nano-particles with deep learning in microscopy images / A.B. Oktay, A. Gurses // Micron. – 2019. – V. 120. – P. 113-119. DOI: 10.1016/j.micron.2019.02.009.
15. Zhang, F. Spherical nanoparticle parameter measurement method based on Mask R-CNN segmentation and edge fitting / F. Zhang, Q. Zhang, Z. Xiao, J. Wu, Y. Liu // In: Proceedings of the 8th International Conference on Computing and Pattern Recognition (ICCPR’19), 23-25 October 2019, Beijing, China. – New York: Association for Computing Machinery, 2019. – P. 205-212. DOI: 10.1145/3373509.3373590.
16. Okunev, A.G. Recognition of nanoparticles on scanning probe microscopy images using computer vision and deep machine learning / A.G. Okunev, A.V. Nartova, A.V. Matveev // In: Proceedings of the International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), 21-27 October 2019 Novosibirsk, Russia. – Piscataway, NJ: IEEE Publishing, 2019. – P. 0940-0943. DOI: 10.1109/SIBIRCON48586.2019.8958363.
17. Okunev, A.G. Nanoparticle recognition on scanning probe microscopy images using computer vision and deep learning / A.G. Okunev, M.Y. Mashukov, A.V. Nartova, A.V. Matveev // Nanomaterials. – 2020. – V. 10. – I. 7. – Art. № 1285. – 16 p. DOI: 10.3390/nano10071285.
18. Boiko, D.A. Deep neural network analysis of nanoparticle ordering to identify defects in layered carbon materials / D.A. Boiko, E.O. Pentsak, V.A. Cherepanova, E.G. Gordeev, V.P. Ananikov // Chemical Science. – 2021. – V. 12. – I. 21. – P. 7428-7441. DOI: 10.1039/D0SC05696K.
19. Davletshin, A. Detection of framboidal pyrite size distributions using convolutional neural networks / A. Davletshin, L.T. Ko, K. Milliken, et al. // Marine and Petroleum Geology. – 2021. – V. 132. – Art. № 105159. – 24 p. DOI: 10.1016/j.marpetgeo.2021.105159.
20. Monchot, P. Deep learning based instance segmentation of titanium dioxide particles in the form of agglomerates in scanning electron microscopy / P. Monchot, L. Coquelin, K. Guerroudj et al. // Nanomaterials. – 2021. – V. 11. – I. 4. – Art. № 968. – 17 p. DOI: 10.3390/nano11040968.
21. Wada, K. Labelme: image polygonal annotation with python / K. Wada. – Режим доступа: www.url: https://github.com/wkentaro/labelme. – 17.08.2021.
22. Телеграм-канал Nanoparticles. – Режим доступа: www.url: https://t.me/nanoparticles_nsk. – 17.08.2021.
23. Liz, M.F. Using computer vision and deep learning for nanoparticle recognition on scanning probe microscopy images: modified U-net approach / M.F. Liz, A.V. Nartova, A.V. Matveev, A.G. Okunev // In: Proceedings of the 2020 Science and Artificial Intelligence Conference (S.A.I.ence), 14-15 November 2020, Novosibirsk, Russia. – Piscataway, NJ: IEEE Publishing, 2020. – P. 13-16. DOI: 10.1109/S.A.I.ence50533.2020.9303184.

⇐ Предыдущая статья | Содержание | Следующая статья ⇒