Lima, Perú
+5113014109

Cámara ve vibraciones y graba sonidos de instrumentos separados

Cámara ve vibraciones y graba sonidos de instrumentos separados


“Mark Sheinin (izquierda) y Dorian Chan formaron parte de un equipo de investigación de CMU que desarrolló un sistema de cámara que puede ver las vibraciones del sonido con tal precisión que puede capturar audio aislado de guitarras separadas tocando al mismo tiempo”.

Aunque la sensibilidad y el rendimiento de los micrófonos han mejorado bastante desde que Alexander Graham Bell los patentó por primera vez, todavía tienen un gran inconveniente que los investigadores de la Universidad Carnegie Mellon finalmente pueden haber superado mediante el uso de un par de cámaras de video comunes y corrientes.

Ponga un micrófono en una habitación con un grupo de músicos, y mientras capturará hasta la última nota y matiz de sus interpretaciones individuales, se quedará con una sola grabación con todo mezclado. Pero para que esa interpretación suene aún mejor, lo ideal es capturar cada instrumento y músico por separado, de modo que cada interpretación pueda ser remezclada por un ingeniero de sonido con un oído experto.

Se han desarrollado herramientas de software para extraer sonidos individuales de una grabación de audio, pero los resultados simplemente no son tan buenos como los que obtendrías al capturar una fuente de sonido con un micrófono. Es por eso que las mesas de mezclas suelen ser tan gigantescas y elaboradas: es necesario configurar innumerables micrófonos con patrones de captación limitados para capturar correctamente todos los componentes de una interpretación musical, desde la voz hasta los instrumentos, lo que equivale a una gran cantidad de equipo para hacer las cosas correctamente.

Realmente no hay forma de rediseñar los micrófonos para diferenciar las vibraciones de sonido capturadas que se mueven a través del aire, razón por la cual los investigadores del Instituto de Robótica de la Facultad de Ciencias de la Computación de la Universidad Carnegie Mellon han recurrido a las cámaras de video. Toca las cuerdas de una guitarra y no solo producirá ondas de sonido que vibran en el aire, sino que también hará que la guitarra vibre en el proceso. Con el equipo adecuado, esas vibraciones se pueden visualizar y analizar para recrear los sonidos que se producen, incluso si no se graban sonidos.

Los micrófonos ópticos, como se denominan estos sistemas de cámara, no son una idea nueva, pero lo que los investigadores de CMU han propuesto y compartido en un artículo publicado recientemente, ‘Dual-Shutter Optical Vibration Sensing’, es una forma de hacerlos funcionar. usando equipos de cámara de gama baja y más asequibles.

El nuevo sistema hace brillar una fuente de luz láser brillante sobre una superficie vibrante, como el cuerpo de una guitarra, y captura los movimientos del patrón de luz moteado resultante. Dado que el rango del oído humano puede detectar sonidos que oscilan tan rápido como 20.000 veces por segundo, los micrófonos ópticos generalmente se han basado en costosas cámaras de alta velocidad para capturar vibraciones físicas que oscilan con la misma rapidez. Pero el nuevo sistema CMU usa cámaras que funcionan a solo 63 fotogramas por segundo, lo que aparentemente pasaría por alto los movimientos de alta velocidad de una vibración que ocurre 20.000 veces por segundo.

El avance inteligente aquí es el uso de dos tipos diferentes de cámaras al mismo tiempo: una con un obturador global que captura fotogramas completos de video, lo que da como resultado distintos patrones moteados, y otra con un obturador rodante que captura fotogramas línea por línea. desde la parte superior hasta la parte inferior del sensor, lo que da como resultado patrones moteados distorsionados que en realidad contienen más información sobre cómo se mueven hacia adelante y hacia atrás con el tiempo.

Usando un algoritmo personalizado, los cuadros capturados de cada cámara se pueden comparar entre sí para determinar con mayor precisión los movimientos de los patrones de láser moteado vibrantes hasta 63.000 veces por segundo, o tan rápido como lo haría una costosa cámara de alta velocidad.

Dual-Shutter Optical Vibration Sensing (CVPR 2022 Oral)

El enfoque permite que el audio se extraiga individualmente de varias fuentes en un solo video, como varios músicos, cada uno tocando su propia guitarra, o incluso varios altavoces, todos tocando música diferente.

El audio extraído no es tan claro o de alta fidelidad como lo que puede capturar un micrófono tradicional, pero el micrófono óptico podría proporcionar a los ingenieros de mezclas una manera fácil de monitorear instrumentos individuales durante una presentación en vivo, y con el tiempo no hay duda de la calidad de el audio extraído se seguirá mejorando. El sistema tiene otras aplicaciones interesantes fuera de la música. Una cámara de video que monitorea todas las máquinas en el piso de una fábrica, o que apunta al motor de un automóvil en marcha, podría determinar cuándo las piezas o los componentes individuales emiten un sonido anormal, lo que indica que es posible que se requiera mantenimiento antes de que un problema realmente se convierta en un problema.



Enlace fuente

Post Relacionados
× ¿Cómo puedo ayudarte? Available from 09:00 to 18:00