Sam Altman, director ejecutivo de OpenAI, confirmo que su empresa está construyendo GPT-5.

Representación artística . Crédito de la imagen: PXHERE

En una entrevista con el Financial Times, Altman dijo que la empresa estaba actualmente trabajando para desarrollar GPT-5.

En un evento del MIT en marzo, Sam Altman, cofundador y director ejecutivo de OpenAI, declaró que su equipo aún no estaba recibiendo capacitación para su próxima IA, GPT-5

A la audiencia de la conferencia dijo: «No trabajamos en GPT-5 ni lo haremos durante algún tiempo».

Sin embargo, esta semana se revelaron nuevos detalles sobre el estado de GPT-5.

En una entrevista con el Financial Times, Altman dijo que la empresa estaba actualmente trabajando para desarrollar GPT-5. Aunque el artículo no indica si el modelo está en entrenamiento, Altman dijo que para esto último necesitaría más datos. Los datos podrían provenir de conjuntos de datos privados, propietarios y fuentes públicas en línea, que se han entrenado previamente con estos algoritmos.

Esto se alinea con el llamado de OpenAI de la semana pasada para que las organizaciones colaboren en conjuntos de datos privados, así como con el trabajo previo para obtener contenido valioso de importantes editoriales como Associated Press y News Corp.

El equipo de OpenAI dijo en una publicación de blog que deseaban colaborar en texto, imágenes, audio o video, pero que estaban particularmente interesados en «escrituras o conversaciones extensas en lugar de fragmentos desconectados» que expresaran «la intención humana».

OpenAI busca aprovechar fuentes de mayor calidad que no están disponibles públicamente. Un obstáculo en el desarrollo de la IA es su extrema necesidad de datos. Los algoritmos cada vez más grandes que consumían más datos impulsaron el auge de los grandes modelos de lenguaje detrás de chatbots como ChatGPT. En ambos lenguajes, una mayor cantidad de datos de gran calidad puede conducir a mejores resultados a corto plazo.

Según investigaciones recientes, los modelos alimentados con mayores cantidades de datos funcionan igual o mejor que los modelos alimentados con menos.

Ross Andersen escribió en The Atlantic este año: «El problema es que, al igual que otros productos culturales humanos de alto nivel, la buena prosa se encuentra entre las cosas más difíciles de generar en el universo conocido». La IA no puede depender solamente de textos antiguos, ya que los modelos de lenguaje aprendidos en libros son mucho mejores que los que realizan los generadores de contenido en publicaciones de redes sociales. El año pasado, un equipo de investigadores estimó que en 2026 se agotaría el suministro de datos en línea de alta calidad y de acceso público. Llegar a un acuerdo con aquellos que poseen grandes cantidades de información privada es una solución posible, al menos a corto plazo.

Otro obstáculo que Altman abordó en la entrevista fue la informática.

Los modelos básicos como el GPT-4 de OpenAI requieren grandes cantidades de unidades de procesamiento de gráficos (GPU), un tipo de chip de computadora especializado que se utiliza ampliamente para el entrenamiento y la ejecución de IA. Después del lanzamiento de ChatGPT, los chips de Nvidia se han convertido en el producto tecnológico más popular. Según Altman, la empresa recibió recientemente un lote de los chips H100 más recientes y espera que con estos nuevos chips el suministro disminuya aún más en 2024 ya que a nivel de procesamiento de datos son mucho más rápidos.

Los chips entrenaron modelos de lenguaje grandes casi tres veces más rápido que la marca establecida hace apenas cinco meses según las pruebas publicadas esta semana por MLPerf, una organización de evaluación comparativa de IA. (Desde que MLPerf empezó a comparar chips de IA hace cinco años, el rendimiento general ha mejorado en un 50%).

Es probable que el trabajo de GPT-5 al que alude Altman se trate más de reunir los ingredientes necesarios, que, de entrenar al algoritmo en sí, ya que leer entre líneas se ha vuelto más difícil a medida que la industria se ha vuelto menos transparente. La organización busca obtener financiación de inversores (la capacitación del GPT-4 cuesta más de 100 millones de dólares), chips de Nvidia y datos de calidad de todas las fuentes disponibles.

Aunque Altman no estableció una fecha límite para el lanzamiento de GPT-5, incluso si el entrenamiento comenzara pronto, el algoritmo permanecería inactivo durante un período de tiempo. La capacitación puede durar semanas o meses dependiendo de su tamaño y diseño. Para hacerlo seguro, el algoritmo en bruto tendría que ser sometido a pruebas de estrés y ajustado por varias personas. Después del entrenamiento, la empresa tardó ocho meses en pulir y lanzar GPT-4. Además, es importante destacar que GPT-4 apareció casi tres años después de GPT-3, a pesar de la creciente competencia actual.

Sin embargo, es recomendable no dejarse atrapar por los números de versión. OpenAI continúa avanzando con su tecnología actual. En la primera conferencia de desarrolladores de hace dos semanas, la empresa lanzó chatbots personalizados llamados GPT y GPT-4 Turbo. El algoritmo mejorado incluye información más actualizada (ampliando el límite de septiembre de 2021 a abril de 2023), puede funcionar con indicaciones mucho más largas y es más barato para los desarrolladores.

Y los competidores le pisan los talones a OpenAI. Google DeepMind está trabajando actualmente en su próximo algoritmo de IA , Gemini, y las grandes tecnológicas están invirtiendo fuertemente en otras startups líderes, como Anthropic, Character.AI e Inflection AI.

Todo esto hace que los gobiernos estén atentos a regulaciones que esperan puedan hacer que los algoritmos futuros sean más seguros y reducir los riesgos a corto plazo planteados por el sesgo algorítmico, las preocupaciones sobre la privacidad y la violación de los derechos de propiedad intelectual.

Sin embargo, a largo plazo, no está claro si las deficiencias causadas por los grandes modelos de lenguaje se pueden solucionar mediante la utilización de más datos y algoritmos o si se necesitarán nuevos avances.