Automatyczna klasyfikacja wybranych gatunków ptaków z użyciem sieci LSTM i mechanizmu uwagi na podstawie cyfrowych nagrań wokalizacji

Autor

DOI:

https://doi.org/10.55225/sti.707

Słowa kluczowe:

rozpoznawanie głosów ptaków, klasyfikacja dźwięku, sieci neuronowe, uczenie głębokie, mechanizm uwagi, sygnały akustyczne

Abstrakt

Cel: Niniejsza praca koncentruje się na opracowaniu i ewaluacji modelu uczenia głębokiego przeznaczonego do klasyfikacji sygnałów dźwiękowych 31 gatunków ptaków. Głównym celem było zbadanie wpływu mechanizmu uwagi typu Luong na zdolność sieci do generalizacji wzorców w danych sekwencyjnych.

Materiał i metody: Zastosowano architekturę hybrydową łączącą warstwy długoterminowej pamięci krótkotrwałej (LSTM – Long Short-Term Memory) z globalnym mechanizmem uwagi. Proces przetwarzania danych obejmował ekstrakcję cech melcepstralnych (MFCC – Mel-Frequency Cepstral Coefficients) oraz dopasowanie danych do jednolitego interwału czasowego. Model został poddany trzykrotnej procedurze uczenia i testowania na losowo wybieranych podzbiorach danych, co pozwoliło na rzetelną ocenę stabilności wyników. Skuteczność klasyfikacji mierzono za pomocą metryk: dokładności, F1-score oraz średniej wartości AUC.

Wyniki i wnioski: Badanie wykazało, że zastosowanie mechanizmu uwagi zamiast kolejnej warstwy LSTM znacząco redukuje wymiarowość modelu przy jednoczesnej poprawie dokładności i jakości klasyfikacji. Uzyskano średnią dokładność na poziomie 0,9787, F1-score na poziomie 0,9493 oraz średnią wartość AUC wynoszącą 0,9991. Połączenie warstw LSTM z mechanizmem uwagi stanowi skuteczne narzędzie klasyfikacji sygnałów akustycznych wydawanych przez różne gatunki ptaków.

Pobrania

Statystyki pobrań niedostępne.

Bibliografia

Wielgat R, Potempa T, Świętojański P, Król D. On using prefiltration in HMM-based bird species recognition. W: 2012 International Conference on Signals and Electronic Systems (ICES). Wroclaw: IEEE; 2012:1–5. https://doi.org/10.1109/ICSES.2012.6382258.

Kwan C, Ho, K, Mei G, Li Y, Ren Z, Xu R, Zhang Y, Lao D, Stevenson M, Stanford V, Rochet C. An automated acoustic system to monitor and classify birds. EURASIP Journal on Advances Signal Processing. 2006:096706(2006). https://doi.org/10.1155/ASP/2006/96706.

Fagerlund S. Bird species recognition using support vector machines. EURASIP Journal on Advances in Signal Processing. 2007:038637(2007). https://doi.org/10.1155/2007/38637.

Cai J, Ee D, Pham B, Roe P, Zhang J. Sensor network for the monitoring of ecosystem: Bird species recognition. W: 3rd International Conference on Intelligent Sensors, Sensor Networks and Information. Melbourne; 2007:293–298. https://doi.org/10.1109/ISSNIP.2007.4496859.

Wielgat R, Zieliński TP, Potempa T, Lisowska-Lis A, Król D. HFCC based recognition of bird species. Signal Processing Algorithms, Architectures, Arrangements, and Applications SPA 2007, 7 Sept. 2007 – 7 Sept. 2007, Poznan, Poland. Poznan; 2007:129–134. https://doi.org/10.1109/SPA.2007.5903313.

Noumida A, Rajan R. Multi-label bird species classification from audio recordings using attention framework. Applied Acoustics. 2022;197:108901. https://doi.org/10.1016/j.apacoust.2022.108901.

Davis S, Mermelstein P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. W: IEEE Transactions on Acoustics, Speech and Signal Processing. 1980;28(4):357–366. http://dx.doi.org/10.1109/TASSP.1980.1163420.

Rabiner L, Juang B-H. Fundamental of Speech Recognition. Englewood Cliffs: Prentice-Hall; 1993.

Mermelstein P. Distance measures for speech recognition, psychological and instrumental. Pattern Recognition and Artificial Intelligence. 1976:374–388.

Skowronski MD, Harris JG. Human factor cepstral coefficients. The Journal of the Acoustical Society of America. 2002;112(5)(Suppl.):2279. https://doi.org/10.1121/1.4779137.

Wielgat R, Zieliński TP, Woźniak T, Grabias S, Król D. Automatic recognition of pathological phoneme production. Folia Phoniatrica et Logopaedica. 2008;60(6):323–331. https://doi.org/10.1159/000170083.

Grzybowska J, Kłaczyński M. Computer-assisted HFCC-based learning system for people with speech sound disorders, XXII Annual Pacific Voice Conference (PVC). Krakow: IEEE; 2014:1–5. https://doi.org/10.1109/PVC.2014.6845423.

Benba A, Jilbab A, Hammouch A. Using human factor cepstral coefficient on multiple types of voice recordings for detecting patients with Parkinson’s disease. IRBM. 2017;38(6):346–351. https://doi.org/10.1016/j.irbm.2017.10.002.

Gmyrek S, Libal U, Hossa R. The impact of training strategies on overfitting in vowel classification using PS-HFCC parametrization for automatic speech recognition. Archives of Acoustics. 2025;50(3):371–382. https://doi.org/10.24425/aoa.2025.154823.

Zouhir Y, Zarka M, El Amraoui L, Ouni K. Auditory feature extraction approach for robust pathological voice recognition. Journal of Voice. 2026;[in press], https://doi.org/10.1016/j.jvoice.2025.12.031.

Stastny J, Munk M, Juranek L. Automatic bird species recognition based on birds vocalization. EURASIP Journal on Audio, Speech, and Music Processing. 2018;2018:19. https://doi.org/10.1186/s13636-018-0143-7.

Müller M. Fundamentals of Music Processing. Cham: Springer; 2015: 123–130. https://doi.org/10.1007/978-3-319-21945-5.

Harte C, Sandler M, Gasser M. 2006. Detecting harmonic change in musical audio. W: AMCMM ‘06: Proceedings of the 1st ACM workshop on Audio and music computing multimedia. New York: Association for Computing Machinery; 2006:21–26. https://doi.org/10.1145/1178723.1178727.

Shehab SA, Darwish A, Hassanien AE. (2024). Classifying bird songs based on chroma and spectrogram feature extraction. W: Hassanien AE, Darwish A, Elghamrawy SM, editors. Artificial Intelligence for Environmental Sustainability and Green Initiatives. Cham: Springer; 2024:105–126. https://doi.org/10.1007/978-3-031-63451-2_7.

Zhang S, Gao Y, Cai J, Yang H, Zhao Q, Pan F. A novel bird sound recognition method based on multifeature fusion and a transformer encoder. Sensors. 2023;23(19):8099. https://doi.org/10.3390/s23198099.

Cho K, van Merrienboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, Bengio Y. Learning phrase representations using RNN encoder–decoder for statistical machine translation. W: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha: Association for Computational Linguistics; 2014:1724–1734. https://doi.org/10.3115/v1/D14-1179.

Vellinga WP, Planqué B, Vellinga W. Xeno-canto – bird sounds from around the world. Xeno-canto Foundation for Nature Sounds. Occurrence Dataset. [Internet] 5 listopada 2018 [cytowane 21 grudnia 2025]. Dostępne na: GBIF.org. https://doi.org/10.15468/qv0ksn.

Han X, Peng J. Multi-label bird species classification using transfer learning network. Archives of Acoustics. 2025;50(2):223–233. https://doi.org/10.24425/aoa.2025.154812.

Hu S, Chu Y, Wen Z, Zhou G, Sun Y, Chen A. Deep learning bird song recognition based on MFF-ScSEnet. Ecological Indicators. 2023;154:110844. https://doi.org/10.1016/j.ecolind.2023.110844.

Wang Q, Song Y, Du Y, Yang Z, Cui P, Luo B. Hierarchical-taxonomy-aware and attentional convolutional neural networks for acoustic identification of bird species: A phylogenetic perspective. Ecological Informatics. 2024;80:102538. https://doi.org/10.1016/j.ecoinf.2024.102538.

Schneider S, Baevski A, Collobert R, Auli M. Wav2vec: Unsupervised pre-training for speech recognition. W: Proceedings of the 20th Annual Conference of the International Speech Communication Association (Interspeech 2019). Graz: ISCA; 2019:3465–3469. https://doi.org/10.21437/Interspeech.2019-1873.

Swaminathan B, Jagadeesh M, Vairavasundaram S. Multi-Label classification for acoustic bird species detection using transfer learning approach. Ecological Informatics. 2024;80:102471. https://doi.org/10.1016/j.ecoinf.2024.102471.

Ilyass M, Farrugia N, Serizel R. Self-supervised learning for few-shot bird sound classification. W: 2024 IEEE International Conference on Acoustics, Speech, and Signal Processing Workshops (ICASSPW). Seoul: IEEE; 2024:600–604. https://doi.org/10.1109/ICASSPW62465.2024.10627576.

Han X, Jianxin P. Bird sound classification based on ECOC-SVM. Applied Acoustics. 2023;204:109245. https://doi.org/10.1016/j.apacoust.2023.109245.

BirdLife International. Acrocephalus paludicola. The IUCN Red List of Threatened Species; 2022:e.T22714696A176687364.

Avibase – światowy wykaz ptaków: Polska. [Internet, cytowane 27 kwietnia 2026]. Dostępne na: https://avibase.bsc-eoc.org/checklist.jsp?region=PL.

Macaulay Library. Your wildlife media archive since 1929: Explore birds, amhibians, mammals, and more. [Internet, cytowane 27 kwietnia 2026]. Dostępne na: https://www.macaulaylibrary.org/.

Museum für Naturkunde. Animal Sound Archive. [Internet, cytowane 27 kwietnia 2026]. Dostępne na: https://www.museumfuernaturkunde.berlin/forschung/sammlung/tierstimmenarchiv.

Luong T, Pham H, Manning CD. Effective approaches to attention-based neural machine translation. W: Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon: Association for Computational Linguistics; 2015:1412–1421. https://doi.org/10.18653/v1/D15-1166.

Kingma DP, Jimmy B. Adam: A method for stochastic optimization. ICLR. [Internet] 2015 [cytowane 29 kwietnia 2026]. Dostępne na: https://www.intel.com/content/dam/www/public/us/en/ai/documents/1412.6980.pdf.

Abadi M, Agarwal A, Barham P, et al. TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems. Software. White Paper. 9 listopada 2015 [cytowane 29 kwietnia 2026]. Dostępne na: https://www.tensorflow.org/extras/tensorflow-whitepaper2015.pdf.

Chollet F. 2018. Keras: The python deep learning library. [Internet] 2018 [cytowane 29 kwietnia 2026]. Dostępne na: https://api.semanticscholar.org/CorpusID:215844202.

McFee B, McVicar M, Faronbi D, et al. Librosa/librosa: 0.10.1. Zenodo [Internet] 2023 [cytowane 29 kwietnia 2026]. Dostępne na: https://doi.org/10.5281/zenodo.8252662.

Harris CR, Millman KJ, van der Walt SJ, et al. Array programming with NumPy. Nature. 2020;585:357–362. https://doi.org/10.1038/s41586-020-2649-2.

Pedregosa F, Varoquaux G, Gramfort A, et al. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research. 2011;12(85):2825–2830.

Hunter JD. Matplotlib: A 2D graphics environment. Computing in Science and Engineering. 2007;9(3): 90–95. https://doi.org/10.1109/MCSE.2007.55.

Waskom ML. Seaborn: Statistical data visualization. Journal of Open Source Software. 2021;6(60):3021. https://doi.org/10.21105/joss.03021.

Rysunek 9. Macierz pomyłek modelu LSTM+MU dla Zestawu III, 1 sekundy oraz 20 MFCC

Pobrania

Opublikowane

2026-06-30

Numer

Dział

Artykuły oryginalne

Jak cytować

Skobel, M., & Wielgat, R. (2026). Automatyczna klasyfikacja wybranych gatunków ptaków z użyciem sieci LSTM i mechanizmu uwagi na podstawie cyfrowych nagrań wokalizacji. Science, Technology and Innovation, 24(1), 32-45. https://doi.org/10.55225/sti.707

Inne teksty tego samego autora