Automatyczna klasyfikacja wybranych gatunków ptaków z użyciem sieci LSTM i mechanizmu uwagi na podstawie cyfrowych nagrań wokalizacji
DOI:
https://doi.org/10.55225/sti.707Słowa kluczowe:
rozpoznawanie głosów ptaków, klasyfikacja dźwięku, sieci neuronowe, uczenie głębokie, mechanizm uwagi, sygnały akustyczneAbstrakt
Cel: Niniejsza praca koncentruje się na opracowaniu i ewaluacji modelu uczenia głębokiego przeznaczonego do klasyfikacji sygnałów dźwiękowych 31 gatunków ptaków. Głównym celem było zbadanie wpływu mechanizmu uwagi typu Luong na zdolność sieci do generalizacji wzorców w danych sekwencyjnych.
Materiał i metody: Zastosowano architekturę hybrydową łączącą warstwy długoterminowej pamięci krótkotrwałej (LSTM – Long Short-Term Memory) z globalnym mechanizmem uwagi. Proces przetwarzania danych obejmował ekstrakcję cech melcepstralnych (MFCC – Mel-Frequency Cepstral Coefficients) oraz dopasowanie danych do jednolitego interwału czasowego. Model został poddany trzykrotnej procedurze uczenia i testowania na losowo wybieranych podzbiorach danych, co pozwoliło na rzetelną ocenę stabilności wyników. Skuteczność klasyfikacji mierzono za pomocą metryk: dokładności, F1-score oraz średniej wartości AUC.
Wyniki i wnioski: Badanie wykazało, że zastosowanie mechanizmu uwagi zamiast kolejnej warstwy LSTM znacząco redukuje wymiarowość modelu przy jednoczesnej poprawie dokładności i jakości klasyfikacji. Uzyskano średnią dokładność na poziomie 0,9787, F1-score na poziomie 0,9493 oraz średnią wartość AUC wynoszącą 0,9991. Połączenie warstw LSTM z mechanizmem uwagi stanowi skuteczne narzędzie klasyfikacji sygnałów akustycznych wydawanych przez różne gatunki ptaków.
Statystyka pobrań
Bibliografia
Wielgat R, Potempa T, Świętojański P, Król D. On using prefiltration in HMM-based bird species recognition. W: 2012 International Conference on Signals and Electronic Systems (ICES). Wroclaw: IEEE; 2012:1–5. https://doi.org/10.1109/ICSES.2012.6382258. DOI: https://doi.org/10.1109/ICSES.2012.6382258 Google Scholar
Kwan C, Ho, K, Mei G, Li Y, Ren Z, Xu R, Zhang Y, Lao D, Stevenson M, Stanford V, Rochet C. An automated acoustic system to monitor and classify birds. EURASIP Journal on Advances Signal Processing. 2006:096706(2006). https://doi.org/10.1155/ASP/2006/96706. DOI: https://doi.org/10.1155/ASP/2006/96706 Google Scholar
Fagerlund S. Bird species recognition using support vector machines. EURASIP Journal on Advances in Signal Processing. 2007:038637(2007). https://doi.org/10.1155/2007/38637. DOI: https://doi.org/10.1155/2007/38637 Google Scholar
Cai J, Ee D, Pham B, Roe P, Zhang J. Sensor network for the monitoring of ecosystem: Bird species recognition. W: 3rd International Conference on Intelligent Sensors, Sensor Networks and Information. Melbourne; 2007:293–298. https://doi.org/10.1109/ISSNIP.2007.4496859. DOI: https://doi.org/10.1109/ISSNIP.2007.4496859 Google Scholar
Wielgat R, Zieliński TP, Potempa T, Lisowska-Lis A, Król D. HFCC based recognition of bird species. Signal Processing Algorithms, Architectures, Arrangements, and Applications SPA 2007, 7 Sept. 2007 – 7 Sept. 2007, Poznan, Poland. Poznan; 2007:129–134. https://doi.org/10.1109/SPA.2007.5903313. DOI: https://doi.org/10.1109/SPA.2007.5903313 Google Scholar
Noumida A, Rajan R. Multi-label bird species classification from audio recordings using attention framework. Applied Acoustics. 2022;197:108901. https://doi.org/10.1016/j.apacoust.2022.108901. DOI: https://doi.org/10.1016/j.apacoust.2022.108901 Google Scholar
Davis S, Mermelstein P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. W: IEEE Transactions on Acoustics, Speech and Signal Processing. 1980;28(4):357–366. http://dx.doi.org/10.1109/TASSP.1980.1163420. DOI: https://doi.org/10.1109/TASSP.1980.1163420 Google Scholar
Rabiner L, Juang B-H. Fundamental of Speech Recognition. Englewood Cliffs: Prentice-Hall; 1993. Google Scholar
Mermelstein P. Distance measures for speech recognition, psychological and instrumental. Pattern Recognition and Artificial Intelligence. 1976:374–388. Google Scholar
Skowronski MD, Harris JG. Human factor cepstral coefficients. The Journal of the Acoustical Society of America. 2002;112(5)(Suppl.):2279. https://doi.org/10.1121/1.4779137. DOI: https://doi.org/10.1121/1.4779137 Google Scholar
Wielgat R, Zieliński TP, Woźniak T, Grabias S, Król D. Automatic recognition of pathological phoneme production. Folia Phoniatrica et Logopaedica. 2008;60(6):323–331. https://doi.org/10.1159/000170083. DOI: https://doi.org/10.1159/000170083 Google Scholar
Grzybowska J, Kłaczyński M. Computer-assisted HFCC-based learning system for people with speech sound disorders, XXII Annual Pacific Voice Conference (PVC). Krakow: IEEE; 2014:1–5. https://doi.org/10.1109/PVC.2014.6845423. DOI: https://doi.org/10.1109/PVC.2014.6845423 Google Scholar
Benba A, Jilbab A, Hammouch A. Using human factor cepstral coefficient on multiple types of voice recordings for detecting patients with Parkinson’s disease. IRBM. 2017;38(6):346–351. https://doi.org/10.1016/j.irbm.2017.10.002. DOI: https://doi.org/10.1016/j.irbm.2017.10.002 Google Scholar
Gmyrek S, Libal U, Hossa R. The impact of training strategies on overfitting in vowel classification using PS-HFCC parametrization for automatic speech recognition. Archives of Acoustics. 2025;50(3):371–382. https://doi.org/10.24425/aoa.2025.154823. DOI: https://doi.org/10.24425/aoa.2025.154823 Google Scholar
Zouhir Y, Zarka M, El Amraoui L, Ouni K. Auditory feature extraction approach for robust pathological voice recognition. Journal of Voice. 2026;[in press], https://doi.org/10.1016/j.jvoice.2025.12.031. DOI: https://doi.org/10.1016/j.jvoice.2025.12.031 Google Scholar
Stastny J, Munk M, Juranek L. Automatic bird species recognition based on birds vocalization. EURASIP Journal on Audio, Speech, and Music Processing. 2018;2018:19. https://doi.org/10.1186/s13636-018-0143-7. DOI: https://doi.org/10.1186/s13636-018-0143-7 Google Scholar
Müller M. Fundamentals of Music Processing. Cham: Springer; 2015: 123–130. https://doi.org/10.1007/978-3-319-21945-5. DOI: https://doi.org/10.1007/978-3-319-21945-5 Google Scholar
Harte C, Sandler M, Gasser M. 2006. Detecting harmonic change in musical audio. W: AMCMM ‘06: Proceedings of the 1st ACM workshop on Audio and music computing multimedia. New York: Association for Computing Machinery; 2006:21–26. https://doi.org/10.1145/1178723.1178727. DOI: https://doi.org/10.1145/1178723.1178727 Google Scholar
Shehab SA, Darwish A, Hassanien AE. (2024). Classifying bird songs based on chroma and spectrogram feature extraction. W: Hassanien AE, Darwish A, Elghamrawy SM, editors. Artificial Intelligence for Environmental Sustainability and Green Initiatives. Cham: Springer; 2024:105–126. https://doi.org/10.1007/978-3-031-63451-2_7. DOI: https://doi.org/10.1007/978-3-031-63451-2_7 Google Scholar
Zhang S, Gao Y, Cai J, Yang H, Zhao Q, Pan F. A novel bird sound recognition method based on multifeature fusion and a transformer encoder. Sensors. 2023;23(19):8099. https://doi.org/10.3390/s23198099. DOI: https://doi.org/10.3390/s23198099 Google Scholar
Cho K, van Merrienboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, Bengio Y. Learning phrase representations using RNN encoder–decoder for statistical machine translation. W: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha: Association for Computational Linguistics; 2014:1724–1734. https://doi.org/10.3115/v1/D14-1179. DOI: https://doi.org/10.3115/v1/D14-1179 Google Scholar
Vellinga WP, Planqué B, Vellinga W. Xeno-canto – bird sounds from around the world. Xeno-canto Foundation for Nature Sounds. Occurrence Dataset. [Internet] 5 listopada 2018 [cytowane 21 grudnia 2025]. Dostępne na: GBIF.org. https://doi.org/10.15468/qv0ksn. Google Scholar
Han X, Peng J. Multi-label bird species classification using transfer learning network. Archives of Acoustics. 2025;50(2):223–233. https://doi.org/10.24425/aoa.2025.154812. DOI: https://doi.org/10.24425/aoa.2025.154812 Google Scholar
Hu S, Chu Y, Wen Z, Zhou G, Sun Y, Chen A. Deep learning bird song recognition based on MFF-ScSEnet. Ecological Indicators. 2023;154:110844. https://doi.org/10.1016/j.ecolind.2023.110844. DOI: https://doi.org/10.1016/j.ecolind.2023.110844 Google Scholar
Wang Q, Song Y, Du Y, Yang Z, Cui P, Luo B. Hierarchical-taxonomy-aware and attentional convolutional neural networks for acoustic identification of bird species: A phylogenetic perspective. Ecological Informatics. 2024;80:102538. https://doi.org/10.1016/j.ecoinf.2024.102538. DOI: https://doi.org/10.1016/j.ecoinf.2024.102538 Google Scholar
Schneider S, Baevski A, Collobert R, Auli M. Wav2vec: Unsupervised pre-training for speech recognition. W: Proceedings of the 20th Annual Conference of the International Speech Communication Association (Interspeech 2019). Graz: ISCA; 2019:3465–3469. https://doi.org/10.21437/Interspeech.2019-1873. DOI: https://doi.org/10.21437/Interspeech.2019-1873 Google Scholar
Swaminathan B, Jagadeesh M, Vairavasundaram S. Multi-Label classification for acoustic bird species detection using transfer learning approach. Ecological Informatics. 2024;80:102471. https://doi.org/10.1016/j.ecoinf.2024.102471. DOI: https://doi.org/10.1016/j.ecoinf.2024.102471 Google Scholar
Ilyass M, Farrugia N, Serizel R. Self-supervised learning for few-shot bird sound classification. W: 2024 IEEE International Conference on Acoustics, Speech, and Signal Processing Workshops (ICASSPW). Seoul: IEEE; 2024:600–604. https://doi.org/10.1109/ICASSPW62465.2024.10627576. DOI: https://doi.org/10.1109/ICASSPW62465.2024.10627576 Google Scholar
Han X, Jianxin P. Bird sound classification based on ECOC-SVM. Applied Acoustics. 2023;204:109245. https://doi.org/10.1016/j.apacoust.2023.109245. DOI: https://doi.org/10.1016/j.apacoust.2023.109245 Google Scholar
BirdLife International. Acrocephalus paludicola. The IUCN Red List of Threatened Species; 2022:e.T22714696A176687364. Google Scholar
Avibase – światowy wykaz ptaków: Polska. [Internet, cytowane 27 kwietnia 2026]. Dostępne na: https://avibase.bsc-eoc.org/checklist.jsp?region=PL. Google Scholar
Macaulay Library. Your wildlife media archive since 1929: Explore birds, amhibians, mammals, and more. [Internet, cytowane 27 kwietnia 2026]. Dostępne na: https://www.macaulaylibrary.org/. Google Scholar
Museum für Naturkunde. Animal Sound Archive. [Internet, cytowane 27 kwietnia 2026]. Dostępne na: https://www.museumfuernaturkunde.berlin/forschung/sammlung/tierstimmenarchiv. Google Scholar
Luong T, Pham H, Manning CD. Effective approaches to attention-based neural machine translation. W: Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon: Association for Computational Linguistics; 2015:1412–1421. https://doi.org/10.18653/v1/D15-1166. DOI: https://doi.org/10.18653/v1/D15-1166 Google Scholar
Kingma DP, Jimmy B. Adam: A method for stochastic optimization. ICLR. [Internet] 2015 [cytowane 29 kwietnia 2026]. Dostępne na: https://www.intel.com/content/dam/www/public/us/en/ai/documents/1412.6980.pdf. Google Scholar
Abadi M, Agarwal A, Barham P, et al. TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems. Software. White Paper. 9 listopada 2015 [cytowane 29 kwietnia 2026]. Dostępne na: https://www.tensorflow.org/extras/tensorflow-whitepaper2015.pdf. Google Scholar
Chollet F. 2018. Keras: The python deep learning library. [Internet] 2018 [cytowane 29 kwietnia 2026]. Dostępne na: https://api.semanticscholar.org/CorpusID:215844202. Google Scholar
McFee B, McVicar M, Faronbi D, et al. Librosa/librosa: 0.10.1. Zenodo [Internet] 2023 [cytowane 29 kwietnia 2026]. Dostępne na: https://doi.org/10.5281/zenodo.8252662. Google Scholar
Harris CR, Millman KJ, van der Walt SJ, et al. Array programming with NumPy. Nature. 2020;585:357–362. https://doi.org/10.1038/s41586-020-2649-2. DOI: https://doi.org/10.1038/s41586-020-2649-2 Google Scholar
Pedregosa F, Varoquaux G, Gramfort A, et al. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research. 2011;12(85):2825–2830. Google Scholar
Hunter JD. Matplotlib: A 2D graphics environment. Computing in Science and Engineering. 2007;9(3): 90–95. https://doi.org/10.1109/MCSE.2007.55. DOI: https://doi.org/10.1109/MCSE.2007.55 Google Scholar
Waskom ML. Seaborn: Statistical data visualization. Journal of Open Source Software. 2021;6(60):3021. https://doi.org/10.21105/joss.03021. DOI: https://doi.org/10.21105/joss.03021 Google Scholar
Pobrania
Opublikowane
Jak cytować
Numer
Dział
Licencja
Prawa autorskie (c) 2026 Marcin Skobel, Robert Wielgat
Utwór dostępny jest na licencji Creative Commons Uznanie autorstwa – Na tych samych warunkach 4.0 Miedzynarodowe.
