Las nuevas capacidades de GPT-4 impulsan a un ‘voluntario virtual’ para personas con discapacidad visual

OpenAI ha presentado al mundo su último y potente modelo de IA, GPT-4, y, sorprendentemente, lo primero en lo que se asociaron con sus nuevas capacidades es en ayudar a las personas con discapacidad visual. Be My Eyes, que permite a personas ciegas y con baja visión pedir a personas videntes que describan lo que ve su teléfono, contará con un “voluntario virtual” que ofrece ayuda basada en inteligencia artificial en cualquier momento.

Hemos escrito sobre Be My Eyes muchas veces desde que comenzó en 2015 y, por supuesto, el auge de la visión por computadora y otras herramientas ha ocupado un lugar destacado en su historia de ayudar a las personas con discapacidad visual a navegar más fácilmente en la vida cotidiana. Pero la aplicación en sí no puede hacer mucho, y una característica principal siempre fue poder recibir ayuda de un voluntario, que podía mirar a través de la vista de la cámara de su teléfono y dar descripciones o instrucciones detalladas.

La nueva versión de la aplicación es la primera en integrar la capacidad multimodal de GPT-4, es decir, su capacidad no sólo de chatear de forma inteligible, sino también de inspeccionar y comprender las imágenes que se le proporcionan:

Los usuarios pueden enviar imágenes a través de la aplicación a un voluntario virtual con tecnología de inteligencia artificial, que responderá cualquier pregunta sobre esa imagen y brindará asistencia visual instantánea para una amplia variedad de tareas.

Por ejemplo, si un usuario envía una fotografía del interior de su frigorífico, el Voluntario Virtual no sólo podrá identificar correctamente lo que contiene, sino también extrapolar y analizar qué se puede preparar con esos ingredientes. La herramienta también puede ofrecer una serie de recetas para esos ingredientes y enviar una guía paso a paso sobre cómo prepararlos.

Pero el vídeo que acompaña a la descripción es más esclarecedor. En él, Lucy, usuaria de Be My Eyes, muestra la aplicación que la ayuda con un montón de cosas en vivo. Si no está familiarizado con el rápido lenguaje de un lector de pantalla, es posible que se pierda parte del diálogo, pero ella describe el aspecto de un vestido, identifica una planta, lee un mapa, traduce una etiqueta, la dirige a cierta máquina caminadora en el gimnasio y decirle qué botones presionar en una máquina expendedora. (Puedes ver el vídeo a continuación).

Sé Mis Ojos Voluntario Virtual

Es una demostración muy concisa de cuán hostil es gran parte de nuestra infraestructura urbana y comercial para las personas con problemas de visión. Y también muestra cuán útil puede ser el chat multimodal de GPT-4 en las circunstancias adecuadas.

Sin duda, los voluntarios humanos seguirán siendo fundamentales para los usuarios de la aplicación Be My Eyes: no hay forma de reemplazarlos, solo elevar el listón cuando sean necesarios (y, de hecho, se les puede convocar inmediatamente si la respuesta de la IA no es lo suficientemente buena). ).

Como ejemplo, la IA sugiere útilmente en el gimnasio que «las máquinas disponibles son las que no tienen gente encima». ¡Gracias! Como dijo hoy el cofundador de OpenAI, Sam Altman, las capacidades son más impresionantes a primera vista que una vez que las has estado usando por un tiempo, pero también debemos tener cuidado de no mirar demasiado de cerca a este caballo regalado.

El equipo de Be My Eyes está trabajando estrechamente con OpenAI y su comunidad para definir y guiar sus capacidades a medida que continúa su desarrollo.

En este momento, la función se encuentra en versión beta cerrada entre un “pequeño subconjunto” de usuarios de Be My Eyes, que se ampliará en las próximas semanas. «Esperamos que el Voluntario Virtual esté ampliamente disponible en los próximos meses», escribe el equipo. «Al igual que nuestro servicio de voluntariado existente, esta herramienta es gratuita para todos los miembros de la comunidad ciegos y con baja visión que utilicen la aplicación Be My Eyes».

Teniendo en cuenta la rapidez con la que se optó por ChatGPT para brindar servicios para plataformas SaaS corporativas y otras aplicaciones bastante prosaicas, es alentador ver que este nuevo se puso a trabajar de inmediato para ayudar a las personas. Puede leer más sobre GPT-4 aquí.