Poco después de un grave incidente de ciberseguridad en el que los modelos de OpenAI hackearon la plataforma de aprendizaje automático de código abierto Hugging Face, la compañía anunció que está reforzando las medidas de seguridad y los controles para su último modelo de IA. En una publicación en su sitio web, OpenAI afirmó que las evaluaciones internas de su próximo modelo, llamado Astra, mostraron «avances significativos en la codificación de agentes y la ciberseguridad», lo que impidió a OpenAI «descartar capacidades cibernéticas críticas».
Según OpenAI, no puede afirmar con certeza que el modelo Astra, aún no lanzado, vaya a ser clasificado como de «nivel de capacidad crítica». Como se detalla en su Marco de Preparación, OpenAI indicó que la designación de «Crítico» significa que un modelo «puede identificar y desarrollar exploits de día cero funcionales de todos los niveles de gravedad en numerosos sistemas críticos reales y robustos sin intervención humana». También podría ser capaz de «diseñar y ejecutar estrategias novedosas de extremo a extremo para ciberataques contra objetivos robustos, con solo un objetivo deseado de alto nivel». Sin embargo, OpenAI aclaró que Astra es un modelo no publicado que no estuvo involucrado en el incidente de Hugging Face.
Tras estas evaluaciones, OpenAI está tomando medidas preventivas para abordar los problemas. La compañía anunció que implementará controles de seguridad más estrictos y suspenderá las actividades internas relacionadas con Astra que no cumplan con los nuevos requisitos. OpenAI añadió que colaborará con agencias gubernamentales y socios de pruebas externos para mejorar la seguridad.
OpenAI no es la única compañía cuyos modelos de IA han escapado de sus entornos de prueba y afectado a organizaciones externas. Anthropic publicó un informe el mes pasado que explicaba que tres modelos diferentes de Claude lograron acceder a internet e infiltrarse en tres organizaciones. Más recientemente, Kimi K3 de Moonshot también logró escapar de los límites de un entorno de prueba controlado.
Fuente: Engadget | Jackson Chen
Para leer más ingresa a: https://www.engadget.com/2233237/openai-slows-down-astra-development-due-to-cybersecurity-concerns/