Meta, que desarrolla uno de los modelos de lenguajes grandes de código abierto más importantes, Llama, cree que necesitará mucha más potencia informática para entrenar modelos en el futuro.
Mark Zuckerberg dijo en la conferencia telefónica sobre ganancias del segundo trimestre de Meta el martes que para entrenar a Llama 4 la compañía necesitará 10 veces más computación que la necesaria para entrenar a Llama 3. Pero aún quiere que Meta desarrolle capacidad para entrenar modelos en lugar de quedarse atrás de sus competidores.
«La cantidad de computación necesaria para entrenar a Llama 4 probablemente será casi 10 veces mayor que la que utilizamos para entrenar a Llama 3, y los modelos futuros seguirán creciendo más allá de eso», dijo Zuckerberg. “Es difícil predecir cómo afectará esto a varias generaciones en el futuro. Pero en este punto, prefiero arriesgarme a desarrollar capacidad antes de que sea necesaria y no demasiado tarde, dados los largos plazos para poner en marcha nuevos proyectos de inferencia”.
Meta lanzó Llama 3 con 80 mil millones de parámetros en abril. La semana pasada, la compañía lanzó una versión mejorada del modelo, llamada Llama 3.1 405B, que tenía 405 mil millones de parámetros, lo que lo convierte en el modelo de código abierto más grande de Meta.
La directora financiera de Meta, Susan Li, también dijo que la compañía está pensando en diferentes proyectos de centros de datos y desarrollando capacidad para entrenar futuros modelos de IA. Dijo que Meta espera que esta inversión aumente los gastos de capital en 2025. Entrenar grandes modelos lingüísticos puede ser un negocio costoso. Los gastos de capital de Meta aumentaron casi un 33% a 8.500 millones de dólares en el segundo trimestre de 2024, desde 6.400 millones de dólares el año anterior, impulsados por inversiones en servidores, centros de datos e infraestructura de red.
Fuente: Tech Crunch | Ivan Metha
Para leer más ingresa a: https://techcrunch.com/2024/08/01/zuckerberg-says-meta-will-need-10x-more-computing-power-to-train-llama-4-than-llama-3/?guccounter=1