Expertos del Instituto de Robótica de la Universidad Carnegie Mellón (EE UU) han logrado un innovador sistema que utiliza dos cámaras y un láser para detectar vibraciones superficiales de baja amplitud y velocidad, y así reconstruir el sonido, capturando audio aislado sin micrófono.
Mark Sheinin, primer autor del estudio que recibió el premio al Mejor Artículo en la Conferencia IEEE/CVF de 2022 sobre visión artificial y reconocimiento de patrones (CVPR) en Nueva Orleans, es muy gráfico al explicar que han inventado una nueva forma de ver el sonido: “Es un nuevo tipo de sistema de cámara, un nuevo dispositivo de imágenes, que puede ver algo invisible a simple vista”.
Este equipo superó con éxito varias demostraciones sobre la eficacia de su sistema para detectar vibraciones y la calidad de la reconstrucción del sonido. Capturaron audio aislado de guitarras separadas tocando al mismo tiempo y, simultáneamente, de altavoces individuales con música diferente.
En su estudio, analizaron las vibraciones de un diapasón y usaron las vibraciones de una bolsa del popular maíz frito mexicano cerca de una persona que hablaba para capturar su sonido. Recuerdan que esta demostración es un homenaje a los trabajos anteriores realizados por investigadores del MIT, que desarrollaron uno de los primeros micrófonos visuales en 2014.
El sistema CMU mejora drásticamente los intentos anteriores de capturar sonido usando visión por ordenador. Ahora, en este trabajo se utilizan cámaras ordinarias que cuestan una fracción de las versiones de alta velocidad empleadas en investigaciones anteriores, mientras producen una grabación de mayor calidad.
El sistema de doble cámara puede capturar vibraciones de objetos en movimiento, como los movimientos de una guitarra mientras un músico la toca, y simultáneamente detectar sonidos individuales desde múltiples puntos.
Reconstruir el sonido
“Hemos hecho que el micrófono óptico sea mucho más práctico y utilizable”, reconoce el profesor Srinivasa Narasimhan, experto en Informática y miembro de este equipo.
El sistema funciona analizando las diferencias en los patrones de motas de las imágenes capturadas, con un obturador rodante y otro global. Un algoritmo calcula la diferencia en los patrones de motas de los dos flujos de video y convierte esas diferencias en vibraciones para reconstruir el sonido.
Un patrón de motas es la forma en que la luz se comporta en el espacio, después de que se refleje en una superficie rugosa. El equipo crea el patrón de motas apuntando un láser a la superficie del objeto que produce las vibraciones, como el cuerpo de una guitarra. Ese patrón de motas cambia a medida que la superficie vibra.
Un obturador rodante captura una imagen al escanearla rápidamente, generalmente de arriba a abajo, produciendo la imagen apilando una fila de píxeles encima de otra. Un obturador global captura una imagen en una sola instancia a la vez.
“Este sistema traspasa los límites de lo que se puede hacer con la visión por computadora. Es un nuevo mecanismo para capturar vibraciones pequeñas y de alta velocidad, y presenta una nueva área de investigación”, subraya el profesor O’Toole, miembro del equipo.
El hecho de que este trabajo permita a los sistemas ver mejor las vibraciones imperceptibles de alta frecuencia abre nuevas aplicaciones para la visión artificial. El sistema de detección de vibraciones ópticas de doble obturador del equipo podría permitir a los ingenieros de sonido monitorear la música de los instrumentos individuales sin la interferencia del resto del conjunto, para afinar la mezcla general.
