Los investigadores del MIT presentan un nuevo sistema de visión por computadora que convierte cualquier objeto brillante en una especie de cámara: lo que permite al observador ver alrededor de las esquinas o detrás de los obstáculos.

Se puede obtener información valiosa y, a menudo, oculta sobre el entorno inmediato de una persona a partir del reflejo del objeto. Al reutilizarlos como cámaras, uno puede realizar hazañas antes inimaginables, como mirar a través de las paredes o al cielo. Esto es un desafío porque muchos factores influyen en los reflejos, incluida la geometría del objeto, las propiedades del material, el entorno 3D y el punto de vista del observador. Al deconstruir la geometría de un objeto e iluminarlo internamente a partir de la radiación especular que se refleja en él, los humanos pueden obtener pistas e inferencias profundas sobre las partes ocultas del entorno circundante.

Los investigadores de visión artificial del MIT y Rice han desarrollado una forma de utilizar los reflejos para producir imágenes del entorno real. Usando reflejos, convierten objetos brillantes en «cámaras», dando la impresión de que el usuario está mirando el mundo a través de las «lentes» de artículos comunes como una taza de café de cerámica o un pisapapeles de metal.

El método que utilizaron los investigadores consiste en convertir objetos brillantes de geometría indefinida en cámaras de campo de radiación. La idea principal es utilizar la superficie del objeto como un sensor digital para registrar la luz reflejada del entorno circundante en dos dimensiones.

Los investigadores explican que la nueva síntesis de vista presenta nuevas perspectivas que son visibles solo directamente para el objeto brillante en la escena pero no para el observador, gracias a la restauración de los campos de radiación del medio ambiente. Además, podemos imaginarnos aglodratos generados por objetos cercanos en la escena usando un campo de radiación. El método desarrollado por los investigadores se enseña de principio a fin mediante el uso de varias fotografías del objeto para estimar simultáneamente su geometría, radiación difusa y campo de radiación de su entorno 5D.

La investigación pretende separar el objeto de su reflejo para que el objeto “vea” el mundo como si fuera una cámara y registra su entorno. La visión por computadora ha tenido problemas con los reflejos durante algún tiempo porque son una representación 2D distorsionada de una escena 3D de forma desconocida.

Los investigadores modelan la superficie del objeto como un sensor virtual y recopilan la proyección bidimensional del campo de radiación ambiental 5D alrededor del objeto para crear una representación tridimensional del mundo tal como lo ve el objeto. La mayor parte del campo de radiación del entorno está bloqueado excepto por los reflejos del objeto. Más allá del campo de visión, sintetizar la visualización de la novela, o presentar nuevas perspectivas que son directamente visibles solo para el objeto brillante en la escena pero no para el observador, es posible gracias al uso de los campos de radiación del entorno, que también permiten para la estimación de la profundidad y la luminosidad del objeto a su entorno.

En resumen, el equipo hizo lo siguiente:

• Muestran cómo las superficies tácitas se pueden convertir en sensores virtuales con la capacidad de tomar imágenes 3D de sus entornos usando solo conos virtuales.
• Juntos, calculan el campo de radiación circundante 5D del objeto y estiman su radiación difusa.
• Muestran cómo utilizar el campo de luz del entorno circundante para generar nuevas perspectivas invisibles para el ojo humano.

Este proyecto tiene como objetivo reconstruir el campo de radiación de cinco dimensiones del océano a partir de muchas fotografías de un elemento brillante de forma y albedo desconocidos. El resplandor de las superficies reflectantes revela elementos de una escena fuera del campo de visión. Específicamente, las reglas de la superficie y la curvatura del objeto brillante determinan cómo se mapean las imágenes del observador en el mundo real.

Los investigadores pueden necesitar información más precisa sobre la forma del objeto reflejado o la realidad, lo que contribuye a la distorsión. También es posible que el color y la textura de un objeto brillante se mezclen con los reflejos. Además, no es fácil discernir la profundidad en las escenas reflejadas porque los reflejos son proyecciones bidimensionales de un entorno tridimensional.

El equipo de investigadores superó estos obstáculos. Comienzan fotografiando el objeto brillante desde diferentes ángulos, capturando una variedad de reflejos. Orca (Objects Like Radiance-Field Cameras) es un acrónimo de su proceso de tres etapas.

Orca puede registrar reflejos de vistas múltiples al generar imágenes del objeto desde diferentes ángulos, que luego se utilizan para estimar la profundidad entre el objeto brillante y otros objetos en la escena y la forma del objeto brillante en sí. El modelo de campo de radiación 5D de ORCa captura más información sobre la fuerza y ​​la dirección de los rayos de luz que provienen y golpean cada punto de la imagen. Orca puede hacer estimaciones de profundidad más precisas gracias a los datos de este campo de radiación 5D. Debido a que la escena se representa como un campo de radiación 5D en lugar de una imagen 2D, el usuario puede ver detalles que estarían oscurecidos por ángulos u otras obstrucciones. Los investigadores explican que una vez que ORCa ha recopilado el campo de radiación 5D, el usuario puede colocar una cámara virtual en cualquier lugar del área y crear la imagen sintética que producirá la cámara. El usuario también puede cambiar la apariencia de un artículo, por ejemplo de cerámica a metal, o incorporar objetos virtuales a la escena.

Al ampliar la definición del campo de radiación más allá del campo de radiación de línea de visión tradicional, los investigadores pueden abrir nuevas vías para investigar el entorno y los objetos que se encuentran en él. Usando anchos y profundidades virtuales proyectados, el trabajo puede abrir posibilidades en la inserción de objetos virtuales y la percepción 3D, como la extrapolación de información desde fuera del campo de visión de la cámara.

escanear el papel Y página del proyecto. No olvides unirte Sub Reddit de 22k+MLY canal de discordiaY Y Boletín electrónico, donde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más. Si tiene alguna pregunta sobre el artículo anterior o si nos hemos perdido algo, no dude en enviarnos un correo electrónico a [email protected]

🚀 Echa un vistazo a las herramientas de IA de 100 en el club de herramientas de IA