Sesleştirme, Selenleme, İşitselleştirme (Veri işitselleştirme) veya Sonifikasyon bilgi iletmek veya verileri algılamak için konuşma dışı sesin kullanılmasıdır.[1] İşitsel algı, görselleştirme tekniklerine alternatif veya tamamlayıcı olarak olasılıkları açan zamansal, uzaysal, genlik ve frekans çözünürlüğünde avantajlara sahiptir.

Pekin'den gelen hava kirliliği verilerinin müzik parçası olarak aktarıldığı video

Örneğin bir Geiger sayacının tıklama hızı, cihazın yakın çevresindeki radyasyon seviyesini aktarır.

Her ne kadar Uluslararası İşitsel Gösterim Topluluğu (ICAD) gibi forumlarda veri işitselleştirme ile ilgili pek çok deney araştırılmış olsa da sonlaştırma, verilerin sunulması ve analiz edilmesinde yaygın kullanım konusunda birçok zorlukla karşı karşıyadır. Örneğin, araştırmalar verilerin işitselleştirmelerini yorumlamak için yeterli bağlam sağlamanın zor ama önemli olduğunu gösteriyor.[1][2] Sesleştirme araştırması ve veri araştırması için esnek araçların bulunmaması nedeniyle birçok sesleştirme girişimi sıfırdan kodlanıyor.[3]

Geçmiş

değiştir

1908'de icat edilen Geiger sayacı sesleştirmenin en eski ve en başarılı uygulamalarından biridir. Bir Geiger sayacında düşük basınçlı gaz tüpü bulunur; Algılanan her parçacık, gazı iyonlaştırdığında bir akım darbesi üreterek bir ses tıklaması üretir. Orijinal versiyon yalnızca alfa parçacıklarını tespit edebiliyordu. 1928'de Geiger ve Walther Müller (Geiger'in doktora öğrencisi), sayacı daha fazla iyonlaştırıcı radyasyon türünü tespit edebilecek şekilde geliştirdiler.

1913 yılında Birmingham Üniversitesi'nden Dr. Edmund Fournier d'Albe, siyah baskıyı tespit etmek ve bunu duyulabilir bir çıktıya dönüştürmek için selenyum fotosensörlerini kullanan optofonu (optophone) icat etti.[4] Görme engelli bir okuyucu, kitabı cihaza doğru tutabilir ve okumak istediği alana bir aparat tutabilir. Optofon bir dizi nota çalıyordu: g c' d' e' g' b' c e. Her nota, optofonun okuma alanındaki bir konuma karşılık geliyordu ve siyah mürekkep algılanırsa bu not susturuluyor. Böylece eksik notlar sayfada siyah mürekkebin bulunduğu ve okumak için kullanılabilecek yerleri gösteriyordu.

Pollack ve Ficks, 1954'te işitsel ekran aracılığıyla bilginin aktarımına ilişkin ilk algısal deneyleri yayınladılar.[5] Zamanlama, frekans, ses yüksekliği, süre ve uzaysallaştırma gibi ses boyutlarını birleştirmeyi denediler ve deneklerin aynı anda birden fazla boyuttaki değişiklikleri kaydetmesini sağlayabileceklerini buldular. Bu deneylerde bundan daha fazla ayrıntıya girilmedi çünkü her boyutun yalnızca iki olası değeri vardı.

1970 yılında, Nonesuch Records, Amerikalı besteci Charles Dodge'un "Dünyanın Manyetik Alanı" adlı yeni bir elektronik müzik bestesini yayınladı. Bu beste, Columbia-Princeton Elektronik Müzik Merkezi'nde üretildi. Başlıktan da anlaşılacağı gibi, bestenin elektronik sesleri dünyanın manyetik alanından elde edilen verilerden sentezlendi. Bu nedenle, bilimsel verilerin bilimsel amaçlardan ziyade sanatsal amaçlar doğrultusunda ilk seslendirilme örneği olabilir.[6]

John M. Chambers, Max Mathews ve F.R. Bell Laboratuvarlarından Moore işitsel grafik üzerine ilk çalışmayı 1974'teki "İşitsel Veri Denetimi" teknik bildirisinde yaptı.[7] Sınıflandırmada kullanmak üzere frekans, spektral içerik ve genlik modülasyonu boyutlarına göre değişen sesleri kullanarak bir dağılım grafiğini genişlettiler. Bu deneylerin etkililiğine ilişkin herhangi bir resmi değerlendirme yapmadılar.[8]

1976'da teknoloji filozofu Don Ihde şöyle yazmıştı: "Tıpkı bilimin neredeyse tüm fenomenleri için sonsuz sayıda görsel imge üretiyor gibi görünmesi gibi - atomlardan galaksilere kadar bize sehpa kitaplarından bilim dergilerine kadar tanıdık geliyor; bu yüzden ' müzikler de görselleştirmeleri üreten aynı verilerden üretilebilir."[9] Bu, yaratıcı bir uygulama olarak sesleştirme için yapılan ilk referanslardan biri gibi görünüyor.

1982'nin başlarında Davis, California Üniversitesi'nden Sara Bly, verileri sunmak için bilgisayar tarafından üretilen sesin kullanımına ilişkin çalışmasının örnekleriyle birlikte iki yayınını yayınladı. O zamanlar bilimsel görselleştirme alanı ivme kazanıyordu. Diğer şeylerin yanı sıra, çalışmaları ve eşlik eden örnekler, görsel ve işitsel sunumun özelliklerini karşılaştırarak "Ses teklifleri ve iyileştirme ve grafik araçlarına bir alternatif" olduğunu ortaya koydu. Çalışmaları, uygun veri temsilinin tür ve amaç ile eşleştirilmesine yardımcı olmak için erken deneye dayalı veriler sağlıyor.[10] [11]

Ayrıca 1980'li yıllarda nabız oksimetreleri yaygın olarak kullanılmaya başlandı. Nabız oksimetreleri, daha yüksek konsantrasyonlar için daha yüksek perdeler yayarak kandaki oksijen konsantrasyonunu sonize edebilir. Ancak pratikte, nabız oksimetrelerinin bu özel özelliği, tıbbi ortamlarda çok fazla ses uyaranı riski nedeniyle tıp uzmanları tarafından yaygın olarak kullanılamayabilir.

1992 yılında, Uluslararası İşitsel Gösterim Topluluğu (ICAD), Gregory Kramer tarafından veri sonifikasyonunu da içeren işitsel gösterim üzerine araştırmalar için bir forum olarak kuruldu. ICAD o zamandan bu yana, konferansı ve hakemli bildirileri aracılığıyla bilgi aktarmak için sesin kullanımıyla ilgilenen birçok farklı disiplinden araştırmacıların yuvası haline geldi.[12]

Mayıs 2022'de NASA, Perseus galaksi kümesinin merkezindeki kara deliğin sonifikasyonunu (basınç dalgalarıyla ilişkili astronomik verileri sese dönüştürerek) bildirdi.[13][14]

Bazı varolan uygulamalar ve projeler

değiştir
  • İşitsel altimetre, paraşütle atlamada da kullanılır[15]
  • İşitsel termometre[16]
  • Örneğin her saniyede bir duyulabilen tik takları ve her 15 dakikada bir özel çanları olan saatler[17]
  • Kokpit işitsel ekranları
  • Geiger sayacı
  • LIGO'da Kütleçekimsel dalgalar[18]
  • İnteraktif sesleştirme[19]
  • Medikal[20][21] ve cerrahi işitsel ekranlar[22][23][24][25]
  • Görsel aşırı yükü ve yorgunluğu en aza indirmek için multimodal (birleşik algılama) ekranlar
  • Navigasyon[26][27][28][29]
  • DNA[30]
  • Uzay fiziği[31]
  • Ameliyathanelerde ve yoğun bakımda nabız oksimetresi [32][33][34]
  • Motorlu taşıtlarda hız alarmı
  • Sonar
  • Fırtına ve hava durumunun sesleştirmesi[35][36]
  • Volkanik etkinlik tespiti
  • Parçacık Yörünge Sonifikasyonu Kullanılarak Yüksek Boyutlu Verilerin Küme Analizi[37]
  • Dow Jones Endüstriyel Ortalamanın hacmi ve değeri[38]
  • Görme engelliler için görüntülerin sesleştirilmesi[39][40]
  • CURAT Sonification Game[41] (psikoakustik sesleştirme temelli dayalı)[28][29]
  • Tiltification[42] (psikoakustik sesleştirme temelli dayalı)[28][29]
  • Sonified[43] bir video kameradan alınan görsel bilgileri gerçek zamanlı olarak sese çeviriyor (2011).[44][45]
  • PriceSquawk Sesli Pazar Teknolojisi [46]

Sesleştirme teknikleri

değiştir

Kullanıcının ses algısını ve dolayısıyla gösterilen temel bilgiye ilişkin algısını değiştirmek için birçok farklı bileşen değiştirilebilir. Çoğu zaman, bu bilgideki bazı seviyelerdeki bir artış veya azalma, ses perdesi, genlik veya tempodaki bir artış veya azalma ile gösterilir, ancak aynı zamanda daha az yaygın olarak kullanılan diğer bileşenlerin değiştirilmesiyle de gösterilebilir. Örneğin, bir borsa fiyatı, hisse senedi fiyatı yükselirken yükselen ve düşerken düşen perdeyle temsil edilebilir. Kullanıcının birden fazla notanın tasvir edildiğini belirlemesine olanak sağlamak için, farklı notalar için farklı tınılar veya parlaklıklar kullanılabilir veya bunlar, örneğin kulaklıklarının farklı tarafları aracılığıyla uzayın farklı noktalarından kullanıcıya çalınabilir. .

Sunulacak çeşitli bilgi türleri için en iyi teknikleri bulmaya çalışmak amacıyla birçok çalışma yapılmıştır ve henüz kullanılacak kesin bir teknik seti formüle edilmemiştir. Sonifikasyon alanının henüz başlangıç aşamasında olduğu düşünüldüğünden, mevcut çalışmalar, farklı durumlarda farklılık gösterecek en iyi ses bileşenleri setini belirlemeye yönelik çalışmaktadır.

Verilerin işitsel olarak işlenmesine yönelik birkaç farklı teknik kategorize edilebilir:

  • Akustik sesleştirme
  • Audification (Odifikasyon)
  • Model tabanlı sesleştirme
  • Parametre eşleme
  • Akış tabanlı sesleştirme

Geleneksel sesleştirmeye alternatif bir yaklaşım, örneğin Darbeli Melodik Duygusal İşleme (PMAP) gibi "değiştirme yoluyla sonifikasyondur".[47][48][49] PMAP'ta, bir veri akışını seslendirmek yerine, hesaplama protokolü müzik verilerinin kendisidir, örneğin MIDI. Veri akışı müzikal olmayan bir durumu temsil eder: PMAP'ta duygusal bir durumu. Daha sonra hesaplamalar doğrudan müzik verileri üzerinde yapılabilir ve sonuçlar minimum düzeyde çeviri ile dinlenebilir.

Ayrıca bakınız

değiştir

Kaynakça

değiştir
  1. ^ a b Kramer, Gregory, (Ed.) (1994). Auditory Display: Sonification, Audification, and Auditory Interfaces. Santa Fe Institute Studies in the Sciences of Complexity. Proceedings Volume XVIII. Reading, MA: Addison-Wesley. ISBN 978-0-201-62603-2. 
  2. ^ Smith, Daniel R.; Walker, Bruce N. (2005). "Effects of Auditory Context Cues and Training on Performance of a Point Estimation Sonification Task". Journal of Applied Cognitive Psychology. 19 (8): 1065-1087. doi:10.1002/acp.1146. 
  3. ^ Flowers, J. H. (2005), "Thirteen years of reflection on auditory graphing: Promises, pitfalls, and potential new directions" (PDF), Proceedings of the 11th International Conference on Auditory Display, ss. 406-409  r |ad2= eksik |soyadı2= (yardım)
  4. ^ "On a Type-Reading Optophone", Proceedings of the Royal Society of London, May 1914  Birden fazla yazar-name-list parameters kullanıldı (yardım); Yazar |ad1= eksik |soyadı1= (yardım)
  5. ^ Ficks, L. (1954), "Information of elementary multidimensional auditory displays", Journal of the Acoustical Society of America, 26 (1), s. 136, doi:10.1121/1.1917759  Birden fazla yazar-name-list parameters kullanıldı (yardım); Yazar eksik |soyadı1= (yardım); Tarih değerini gözden geçirin: |erişimtarihi= (yardım);
  6. ^ Dodge, C. (1970), The Earth's Magnetic Field., Nonesuch Records-H-71250 
  7. ^ Chambers, J. M. and Mathews, M. V. and Moore, F. R. (1974), "Auditory Data Inspection", Technical Memorandum, AT&T Bell Laboratories, 74-1214-20 
  8. ^ Frysinger, S. P. (2005), "A brief history of auditory data representation to the 1980s" (PDF), Proceedings of the 11th International Conference on Auditory Display, ss. 410-413  r |ad2= eksik |soyadı2= (yardım)
  9. ^ Ihde, Don (4 Ekim 2007). Listening and Voice: Phenomenologies of Sound, Second Edition. SUNY Press. s. xvi. ISBN 978-0791472569. 
  10. ^ Bly, S. (1982), Sound and Computer Information Presentation, Ph.D. Thesis, University of California, Davis, ss. 1-127, doi:10.2172/5221536, erişim tarihi: free  Tarih değerini gözden geçirin: |erişimtarihi= (yardım)
  11. ^ Bly, S. (1982), "Presenting Information in Sound", CHI'82: Proceedings of the 1982 Conference on Human Factors in Computing Systems (1982), ss. 371-375, doi:10.1145/800049.801814, 21 Mart 2024 tarihinde kaynağından arşivlendi, erişim tarihi: free  Tarih değerini gözden geçirin: |erişimtarihi= (yardım)
  12. ^ Walker, B.N. (2005), "Sound science: Marking ten international conferences on auditory display", ACM Transactions on Applied Perception, 2 (4), ss. 383-388, doi:10.1145/1101530.1101531  Birden fazla yazar-name-list parameters kullanıldı (yardım); Yazar eksik |soyadı1= (yardım)
  13. ^ Watzke, Megan; Porter, Molly; Mohon, Lee (4 Mayıs 2022). "New NASA Black Hole Sonifications with a Remix". NASA. 13 Mayıs 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 11 Mayıs 2022. 
  14. ^ Overbye, Dennis (7 Mayıs 2022). "Hear the Weird Sounds of a Black Hole Singing - As part of an effort to "sonify" the cosmos, researchers have converted the pressure waves from a black hole into an audible … something". The New York Times. 14 Mayıs 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 11 Mayıs 2022. 
  15. ^ Schmitt, R.W (1997), "Acoustic altimeter control of a free vehicle for near-bottom turbulence measurements", Deep Sea Research Part I: Oceanographic Research Papers, 44 (6), s. 1077, doi:10.1016/S0967-0637(97)87243-3  Birden fazla yazar-name-list parameters kullanıldı (yardım); Yazar |ad1= eksik |soyadı1= (yardım)
  16. ^ Quincke, G. (1897). "Ein akustisches Thermometer für hohe und niedrige Temperaturen". Annalen der Physik. 299 (13): 66-71. doi:10.1002/andp.18972991311. ISSN 0003-3804. 4 Aralık 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 25 Mayıs 2024. 
  17. ^ Ismailogullari, Abdullah; Ziemer, Tim (2019). "Soundscape clock: Soundscape compositions that display the time of day". International Conference on Auditory Display. 25. ss. 91-95. doi:10.21785/icad2019.034. ISBN 978-0-9670904-6-7.  Tarih değerini gözden geçirin: |erişimtarihi= (yardım);
  18. ^ LIGO Gravitational Wave Chirp (İngilizce), 14 Ağustos 2021 tarihinde kaynağından arşivlendi, erişim tarihi: 15 Eylül 2021 
  19. ^ Hunt, A.; Hermann, T.; Pauletto, S. (2004). "Interacting with sonification systems: closing the loop". Proceedings. Eighth International Conference on Information Visualisation, 2004. IV 2004. ss. 879-884. doi:10.1109/IV.2004.1320244. ISBN 0-7695-2177-0. 6 Temmuz 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 25 Mayıs 2024. 
  20. ^ Kather, Jakob Nikolas; Hermann, Thomas; Bukschat, Yannick; Kramer, Tilmann; Schad, Lothar R.; Zöllner, Frank Gerrit (2017). "Polyphonic sonification of electrocardiography signals for diagnosis of cardiac pathologies". Scientific Reports. 7: Article-number 44549. doi:10.1038/srep44549. PMC 5357951 $2. PMID 28317848. 
  21. ^ Edworthy, Judy (2013). "Medical audible alarms: a review". J Am Med Inform Assoc. 20 (3): 584-589. doi:10.1136/amiajnl-2012-001061. PMC 3628049 $2. PMID 23100127. 
  22. ^ Woerdeman, Peter A.; Willems, Peter W.A.; Noordsmans, Herke Jan; Berkelbach van der Sprenken, Jan Willem (2009). "Auditory feedback during frameless image-guided surgery in a phantom model and initial clinical experience". J Neurosurg. 110 (2): 257-262. doi:10.3171/2008.3.17431. PMID 18928352. 
  23. ^ Ziemer, Tim; Black, David (2017). "Psychoacoustically motivated sonification for surgeons". International Journal of Computer Assisted Radiology and Surgery. 12 ((Suppl 1):1): 265-266. arXiv:1611.04138 $2. doi:10.1007/s11548-017-1588-3. PMID 28527024. 
  24. ^ Ziemer, Tim; Black, David; Schultheis, Holger (2017). Psychoacoustic sonification design for navigation in surgical interventions. Proceedings of Meetings on Acoustics. 30. s. 050005. doi:10.1121/2.0000557.  Tarih değerini gözden geçirin: |erişimtarihi= (yardım);
  25. ^ Ziemer, Tim; Black, David (2017). "Psychoacoustic sonification for tracked medical instrument guidance". The Journal of the Acoustical Society of America. 141 (5): 3694. doi:10.1121/1.4988051. 
  26. ^ Nagel, F; Stter, F R; Degara, N; Balke, S; Worrall, D (2014). "Fast and accurate guidance - response times to navigational sounds". International Conference on Auditory Display. 
  27. ^ Florez, L (1936). "True blind flight". J Aeronaut Sci. 3 (5): 168-170. doi:10.2514/8.176. 
  28. ^ a b c Ziemer, Tim; Schultheis, Holger; Black, David; Kikinis, Ron (2018). "Psychoacoustical Interactive Sonification for Short-Range Navigation". Acta Acustica United with Acustica. 104 (6): 1075-1093. doi:10.3813/AAA.919273. 
  29. ^ a b c Ziemer, Tim; Schultheis, Holger (2018). "Psychoacoustic auditory display for navigation: an auditory assistance system for spatial orientation tasks". Journal on Multimodal User Interfaces. 2018 (Special Issue: Interactive Sonification): 205-218. doi:10.1007/s12193-018-0282-2. Erişim tarihi: 24 Ocak 2019. 
  30. ^ Mannone, Maria (2018). "Knots, Music and DNA". Journal of Creative Music Systems. 2 (2). arXiv:2003.10884 $2. doi:10.5920/jcms.2018.02. 25 Mayıs 2024 tarihinde kaynağından arşivlendi. Erişim tarihi: 25 Mayıs 2024. 
  31. ^ "SPDF - Sonification". jcms.org.uk/. 13 Kasım 2005. 13 Kasım 2005 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Eylül 2021. 
  32. ^ Hinckfuss, Kelly; Sanderson, Penelope; Loeb, Robert G.; Liley, Helen G.; Liu, David (2016). "Novel Pulse Oximetry Sonifications for Neonatal Oxygen Saturation Monitoring". Human Factors. 58 (2): 344-359. doi:10.1177/0018720815617406. PMID 26715687. 
  33. ^ Sanderson, Penelope M.; Watson, Marcus O.; Russell, John (2005). "Advanced Patient Monitoring Displays: Tools for Continuous Informing". Anesthesia & Analgesia. 101 (1): 161-168. doi:10.1213/01.ANE.0000154080.67496.AE. PMID 15976225. Erişim tarihi: free.  Tarih değerini gözden geçirin: |erişimtarihi= (yardım)
  34. ^ Schwarz, Sebastian; Ziemer, Tim (2019). "A psychoacoustic sound design for pulse oximetry". International Conference on Auditory Display. 25. ss. 214-221. doi:10.21785/icad2019.024. ISBN 978-0-9670904-6-7.  Tarih değerini gözden geçirin: |erişimtarihi= (yardım);
  35. ^ Schuett, Jonathan H.; Winton, Riley J.; Batterman, Jared M.; Walker, Bruce N. (2014). "Auditory weather reports". Proceedings of the 9th Audio Mostly: A Conference on Interaction with Sound. AM '14. New York, NY, USA: ACM. ss. 17:1-17:7. doi:10.1145/2636879.2636898. ISBN 9781450330329. 
  36. ^ Polli, Andrea (July 6–9, 2004). ATMOSPHERICS/WEATHER WORKS: A MULTI-CHANNEL STORM SONIFICATION PROJECT (PDF). ICAD 04-Tenth Meeting of the International Conference on Auditory Display. 11 Temmuz 2021 tarihinde kaynağından (PDF) arşivlendi. 
  37. ^ Yang, Jiajun; Hermann, Thomas (June 20–23, 2017). PARALLEL COMPUTING OF PARTICLE TRAJECTORY SONIFICATION TO ENABLE REAL-TIME INTERACTIVITY (PDF). The 23rd International Conference on Auditory Display. 11 Aralık 2023 tarihinde kaynağından arşivlendi (PDF). Erişim tarihi: 25 Mayıs 2024. 
  38. ^ "Justin Joque". justinjoque.com. 11 Ocak 2019 tarihinde kaynağından arşivlendi. Erişim tarihi: 21 Mayıs 2019. 
  39. ^ Banf, Michael; Blanz, Volker (2013). "Sonification of images for the visually impaired using a multi-level approach". Proceedings of the 4th Augmented Human International Conference. New York, New York, USA: ACM Press. ss. 162-169. doi:10.1145/2459236.2459264. ISBN 9781450319041. 
  40. ^ Banf, Michael; Mikalay, Ruben; Watzke, Baris; Blanz, Volker (June 2016). "PictureSensation – a mobile application to help the blind explore the visual world through touch and sound". Journal of Rehabilitation and Assistive Technologies Engineering. 3: 205566831667458. doi:10.1177/2055668316674582. ISSN 2055-6683. PMC 6453065 $2. PMID 31186914. 
  41. ^ CURAT. "Games and Training for Minimally Invasive Surgery". CURAT Project. University of Bremen. 17 Temmuz 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Temmuz 2020. 
  42. ^ Winkler, Helena; Schade, Eve Emely Sophie; Kruesilp, Jatawan; Ahmadi, Fida. "Tiltification – The Spirit Level Using Sound". Tiltification. University of Bremen. 21 Nisan 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 21 Nisan 2021. 
  43. ^ Silberman, S. (February 6, 2012). “Inside the Mind of a Synaesthete”. PLOS ONE.
  44. ^ Weidenfeld, J. September 28, 2013. "10 Cool Ways To Create Music With Technology". Listserve.
  45. ^ Byrne, M. February 14, 2012. “With Images for Your Earholes, Sonified Wins Augmented Reality with Custom Synesthesia”. Vice / Motherboard
  46. ^ "PriceSquawk". pricesquawk.com. 13 Kasım 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 25 Mayıs 2024. 
  47. ^ Kirke, Alexis; Miranda, Eduardo (6 Mayıs 2014). "Pulsed Melodic Affective Processing: Musical structures for increasing transparency in emotional computation". Simulation. 90 (5): 606. doi:10.1177/0037549714531060. 
  48. ^ "Towards Harmonic Extensions of Pulsed Melodic Affective Processing – Further Musical Structures for Increasing Transparency in Emotional Computation" (PDF). 11 Kasım 2014. 19 Ağustos 2016 tarihinde kaynağından arşivlendi (PDF). Erişim tarihi: 5 Haziran 2017. 
  49. ^ "A Hybrid Computer Case Study for Unconventional Virtual Computing". 1 Haziran 2015. 11 Nisan 2018 tarihinde kaynağından arşivlendi. Erişim tarihi: 5 Haziran 2017. 

Dış bağlantılar

değiştir