OpenAI anunció hoy que ha creado un nuevo equipo para evaluar y probar modelos de IA para proteger contra lo que describe como «riesgos catastróficos».
El equipo, llamado Preparedness, estará dirigido por Aleksander Madry, director del Centro de Aprendizaje Automático Implementable del MIT. (Madry se unió a OpenAI en mayo como “jefe de preparación”, según LinkedIn). Las principales responsabilidades de preparación serán rastrear, pronosticar y proteger contra los peligros de los futuros sistemas de IA, que van desde su capacidad para persuadir y engañar a los humanos (como en el phishing ataques) a sus capacidades de generación de código malicioso.
Algunas de las categorías de riesgo que la preparación se encarga de estudiar parecen más inverosímil que otros. Por ejemplo, en una publicación de blog, OpenAI enumera las amenazas “químicas, biológicas, radiológicas y nucleares” como áreas de máxima preocupación en lo que respecta a los modelos de IA.
El director ejecutivo de OpenAI, Sam Altman, es un destacado agorero de la IA, que a menudo expresa temores, ya sea por razones ópticas o por convicción personal, de que la IA «pueda conducir a la extinción humana». Pero, francamente, anunciar que OpenAI podría dedicar recursos a estudiar escenarios sacados directamente de novelas distópicas de ciencia ficción es un paso más de lo que este escritor esperaba.
Fuente: Tech Crunch
Para leer más ingresa a: https://techcrunch.com/2023/10/26/openai-forms-team-to-study-catastrophic-risks-including-nuclear-threats/