Sam Altman: el tamaño de LLM no importará tanto en el futuro

Cuando el cofundador y director ejecutivo de OpenAI, Sam Altman, habla en estos días, tiene sentido escuchar. Su última aventura ha estado en boca de todos desde el lanzamiento de GPT-4 y ChatGPT, una de las interfaces basadas en modelos de lenguaje grande más sofisticadas creadas hasta la fecha. Pero Altman adopta un enfoque deliberado y humilde, y no cree necesariamente que cuando se trata de modelos de lenguaje extenso (LLM), más grande siempre será mejor.

Altman, quien fue entrevistado en Zoom en Imaginación en acción evento en el MIT ayer, creo que nos estamos acercando a los límites de tamaño LLM para el tamaño. «Creo que estamos al final de la era en la que van a ser estos modelos gigantes, y los estamos mejorando de otras maneras», dijo Altman.

Él ve el tamaño como una medida falsa de la calidad del modelo y lo compara con los sprints de chips que solíamos ver. «Creo que se ha centrado demasiado en la cantidad de parámetros, tal vez la cantidad de parámetros aumente con seguridad. Pero me recuerda mucho a la carrera de gigahercios en chips en las décadas de 1990 y 2000, donde todos intentaban señalar a un gran número”, dijo Altman.

Como él señala, hoy en día tenemos chips mucho más potentes en nuestros iPhones, pero no tenemos idea de qué tan rápidos son, solo que hacen bien su trabajo. “Creo que es importante que nos mantengamos enfocados en aumentar rápidamente la capacidad. Y si hay una razón por la que la cantidad de parámetros deba disminuir con el tiempo, o si debemos tener varios modelos trabajando juntos, cada uno más pequeño, lo haríamos. Lo que queremos ofrecer al mundo son los modelos con mejor rendimiento, más útiles y más seguros. No estamos aquí para masturbarnos con la cantidad de parámetros”, dijo.

Altman ha sido un tecnólogo tan exitoso en parte porque hace grandes apuestas, luego se mueve deliberadamente y piensa profundamente sobre sus empresas y los productos que fabrican, y OpenAI no es diferente.

«Hemos estado trabajando en esto durante mucho tiempo, pero cada vez tenemos más confianza en que realmente funcionará. Hemos estado [building] la empresa durante siete años. Estas cosas toman mucho tiempo. Diría más o menos en términos de por qué funcionó mientras que otros no: es solo porque hemos estado sudando cada detalle durante mucho tiempo. Y la mayoría de la gente no está dispuesta a hacer eso”, dijo.

Cuando se le preguntó sobre la carta que le pedía a OpenAI que se tomara un descanso de seis meses, defendió el enfoque de su empresa y estuvo de acuerdo con partes de la carta.

«Hay partes del empuje [of the letter] con lo cual estoy totalmente de acuerdo. Pasamos más de seis meses después de que terminamos de entrenar GPT-4 antes de lanzarlo. Entonces, tomarse el tiempo para estudiar realmente el modelo de seguridad, para obtener auditorías externas, equipos rojos externos para realmente tratar de comprender lo que está sucediendo y mitigar tanto como sea posible, eso es importante”, dijo -declara.

Pero él cree que hay formas sustanciales en que la carta no dio en el blanco.

«También estuve de acuerdo en que a medida que las habilidades se vuelven más y más serias, la barra de seguridad debe subir. Pero desafortunadamente creo que la carta pierde el matiz más técnico sobre dónde debemos hacer una pausa: una versión anterior de la carta afirmaba que estábamos entrenando GPT -5 No lo somos y no lo seremos por algún tiempo, así que en ese sentido fue un poco tonto, pero hacemos otras cosas además de GPT-4 que creo que tienen todo tipo de problemas de seguridad que es importante abordar y se han omitido en la carta por completo, por lo que creo que es muy importante proceder con cautela y aumentar el rigor por cuestiones de seguridad. [suggestions in the] La carta es la forma definitiva de solucionarlo”, dijo.

Altman dice que está abierto a los problemas de seguridad y las limitaciones del modelo actual porque cree que es lo correcto. Reconoce que a veces él y otros representantes de la empresa dicen «tonterías», lo que resulta ser un error, pero está dispuesto a correr ese riesgo porque es importante tener un diálogo sobre esta tecnología.

“Una gran parte de nuestro objetivo en OpenAI es hacer que el mundo se involucre con nosotros y piense en [this technology], y gradualmente actualizar y construir nuevas instituciones, o adaptar nuestras instituciones existentes para poder determinar cuál es el futuro que todos queremos. Esa es la razón por la que estamos aquí.