Seslerden Görüntüler Oluşturan Yapay Zeka Geliştirildi

Son zamanlarda geliştirilen yapay zeka araçları, şehirlerin sokaklarının veya diğer yerlerin görüntülerine bakarak ses efektleri üretebiliyor. Ancak yeni geliştirilen teknoloji, sokakların ses kayıtlarından gerçek görüntüler oluşturabiliyor.

Teksas Üniversitesi’nden Doç. Dr. Yuhao Kang ve ekibi tarafından geliştirilen “Ses Manzarasından Görüntüye Yayılma Modeli”, 10 saniyelik sesli-görsel kliplerden oluşan bir veri kümesi üzerinde eğitildi. Farklı coğrafyalardan elde edilen sesler ve görüntüler kullanılarak sistem, seslerin görüntülerdeki öğelerle nasıl ilişkili olduğunu öğrendi.

Yapılan deneyde jüri üyeleri, üretilen görüntüler arasından müziğe en iyi şekilde eşlik eden görüntüyü seçmek için %80 oranında doğru sonuç elde etti. Ayrıca, oluşturulan görüntülerin analizinde, gökyüzü, yeşil alanlar ve binaların oranlarının kaynak videolarla uyumlu olduğu belirlendi. Işık koşullarının da başarıyla yansıtıldığı görüntülerde, gece zamanında oluşan ses efektleri de dikkate alındı.

Çalışmanın adli uygulamalarda kullanılma potansiyeline rağmen, asıl amaç sesin yer duygusuna etkisini incelemektir. Bilim insanları, Nature dergisinde yayınladıkları makalede, elde edilen bulguların insan ruh sağlığına, kentsel tasarıma ve genel yaşam kalitesine katkı sağlayabileceğini belirtiyor.