WorldScribe, que se presentará en el Simposio ACM sobre software y tecnología de interfaz de usuario la próxima semana, representa un importante avance en la tecnología de asistencia al ofrecer descripciones contextuales que se ajustan según las necesidades del usuario, como la proximidad, el ruido ambiental y la duración que un objeto permanece a la vista.
Sam Rau, un participante del ensayo que nació ciego, describió la experiencia como transformadora. «No tengo ningún concepto de la vista, pero cuando probé la herramienta, me entusiasmó todo el color y la textura a los que de otra manera no tendría acceso», compartió Rau, y agregó que WorldScribe ayuda a las personas a concentrarse en su entorno sin necesidad de reconstruir mentalmente información fragmentada.
A medida que los usuarios mueven las cámaras de sus teléfonos por una habitación, WorldScribe genera descripciones de audio en vivo, identificando objetos en el marco, desde computadoras portátiles hasta estanterías. Las descripciones se actualizan en tiempo real, priorizando los objetos más cercanos y ajustando el nivel de detalle en función del enfoque del usuario. Por ejemplo, un vistazo rápido a un escritorio podría provocar la palabra «escritorio», mientras que una mirada más larga revelaría detalles sobre los elementos que hay sobre el escritorio.
«Proporcionar descripciones ricas y detalladas para una experiencia en vivo es un gran desafío para las herramientas de accesibilidad», dijo Anhong Guo, profesor asistente de informática y autor correspondiente del estudio. «Vimos una oportunidad de utilizar modelos de IA cada vez más capaces para crear descripciones automatizadas y adaptables en tiempo real».
Si bien la herramienta muestra un enorme potencial, algunos participantes del ensayo notaron dificultades ocasionales para detectar objetos pequeños, como un gotero. Rau añadió que, si bien la tecnología sigue siendo algo engorrosa, prevé utilizarla a diario si se integra en dispositivos portátiles como gafas inteligentes.
Fuente: ThumbWind
Para leer más ingresa a: https://thumbwind.com/2024/10/14/university-of-michigan-ai-breakthrough-gives-blind-people-sight-in-real-time/?utm_content=cmp-true