Google y OpenAI son Walmarts asediados por puestos de frutas

OpenAI puede ser sinónimo de aprendizaje automático ahora y Google está haciendo todo lo posible para recuperarse, pero los dos pronto podrían enfrentar una nueva amenaza: la rápida multiplicación de proyectos de código abierto que impulsan el estado del arte y dejan a las corporaciones ricas pero pesadas en sus manos. polvo. Esta amenaza similar a la de los zerg puede no ser existencial, pero definitivamente mantendrá a los jugadores dominantes a la defensiva.

La idea no es nueva ni mucho menos: en la comunidad de IA que se mueve rápidamente, se espera ver este tipo de interrupción semanalmente, pero la situación se puso en perspectiva gracias a un documento ampliamente compartido Se supone que es de Google. «No tenemos un foso, y OpenAI tampoco», dice el memorándum.

No agobiaré al lector con un largo resumen de este interesante y perfectamente legible artículo, pero la conclusión es que, si bien el GPT-4 y otros diseños patentados recibieron la mayor parte de la atención e incluso los ingresos, la ventaja que han obtenido con financiamiento e infraestructura parece más escaso cada día.

Si bien el ritmo de los lanzamientos de OpenAI puede parecer frenético según los estándares de los principales lanzamientos de software regulares: GPT-3, ChatGPT y GPT-4 sin duda se pisaron los talones si los compara con los lanzamientos de iOS o de Photoshop. Pero todavía ocurren en la escala de meses y años.

Lo que el memorándum señala es que en marzo, un modelo de lenguaje base filtrado de Meta, llamado LLaMA, se filtró en una forma bastante cruda. Dentro semanas, las personas que juegan con computadoras portátiles y servidores de un centavo por minuto han agregado funciones básicas como ajuste de instrucciones, múltiples modalidades y aprendizaje de refuerzo a partir de comentarios humanos. OpenAI y Google probablemente también estaban husmeando en el código, pero no pudieron replicar el nivel de colaboración y experimentación que estaba ocurriendo en subreddits y Discords.

¿Podría ser realmente que el titánico problema computacional que parecía plantear un obstáculo insuperable, un abismo, para los retadores ya sea una reliquia de otra era del desarrollo de la IA?

Sam Altman ya ha señalado que deberíamos esperar rendimientos decrecientes cuando lanzamos parámetros al problema. Por supuesto, más grande no siempre es mejor, pero pocos habrían adivinado que lo más pequeño era mejor.

GPT-4 es un Wal-Mart, y a nadie le gusta Wal-Mart

El paradigma empresarial que persiguen OpenAI y otros en este momento es un descendiente directo del modelo SaaS. Tiene un software o servicio valioso y proporciona acceso cuidadosamente seguro a través de una API o algo así. Es un enfoque simple y probado que tiene mucho sentido cuando ha invertido cientos de millones en desarrollar un producto único, monolítico pero versátil como un gran modelo de lenguaje.

Si GPT-4 se généralise bien pour répondre aux questions sur les précédents en droit des contrats, tant mieux – peu importe qu’une grande partie de son «intellect» se consacre à pouvoir répéter le style de chaque auteur qui a déjà publié un ouvrage en inglés. lengua. GPT-4 es como un Wal-Mart. nadie en realidad querer para llegar allí, entonces la empresa se asegura de que no haya otra opción.

Pero los clientes comienzan a preguntarse por qué estoy caminando por 50 pasillos de chatarra para comprar algunas manzanas. ¿Por qué estoy contratando los servicios del modelo de IA más grande y versátil jamás creado si todo lo que quiero hacer es ser inteligente comparando el lenguaje de este contrato con algunos cientos de otros? Au risque de torturer la métaphore (pour ne rien dire du lecteur), si GPT-4 est le Wal-Mart où l’on va chercher des pommes, que se passe-t-il lorsqu’un stand de fruits s’ouvre sur aparcamiento ?

No pasó mucho tiempo en el mundo de la IA para que se ejecutara un modelo de lenguaje grande, en forma muy truncada, por supuesto, en (con razón) una Raspberry Pi. Para una empresa como OpenAI, su jinete Microsoft, Google o cualquier otra persona en el mundo de la IA como servicio, va en contra de toda la premisa de la empresa: que estos sistemas son tan difíciles de construir y ejecutar que «tienen que hacerlo por usted». De hecho, parece que estas empresas eligieron y diseñaron una versión de IA que se ajusta a su modelo comercial existente, ¡no al revés!

Érase una vez, tenía que descargar el cálculo involucrado en el procesamiento de textos a una computadora central: su terminal era solo una pantalla. Por supuesto, eso fue en otro momento, y durante mucho tiempo hemos podido instalar la aplicación completa en una computadora personal. Este proceso ha sucedido muchas veces desde entonces, ya que nuestros dispositivos han aumentado su capacidad informática de forma repetida y exponencial. Hoy en día, cuando hay que hacer algo en una supercomputadora, todos entienden que solo es cuestión de tiempo y optimización.

Para Google y OpenAI, el momento ha llegado mucho más rápido de lo esperado. Y no fueron ellos los que hicieron la optimización, y es posible que nunca lo hagan a este ritmo.

Ahora, eso no significa que solo tengan mala suerte. Google no llegó a donde está por ser el mejor, al menos no por mucho tiempo. Ser un Wal-Mart tiene sus ventajas. Las empresas no quieren tener que encontrar la solución a medida que hace el trabajo que quieren un 30 % más rápido si pueden obtener un precio decente de su proveedor actual y no agitar demasiado el barco. ¡Nunca subestimes el valor de la inercia en los negocios!

Por supuesto, las personas repiten LLaMA tan rápido que se quedan sin camélidos para nombrarlos. Por cierto, me gustaría agradecer a los desarrolladores por una excusa para ver cientos de fotos de lindos cervatillos. vicuñas en lugar de trabajar. Pero pocos departamentos de TI de empresas improvisarán una implementación del derivado de código abierto en curso de Stability de un patrón meta casi legal filtrado en la API simple y eficiente de OpenAI. ¡Tienen un negocio que administrar!

Pero al mismo tiempo, dejé de usar Photoshop hace años para la edición y creación de imágenes porque las opciones de código abierto como Gimp y Paint.net se han vuelto increíblemente buenas. En este punto, el argumento va por el otro lado. ¿Cuánto pagar por Photoshop? ¡De ninguna manera, tenemos un negocio que administrar!

Lo que claramente preocupa a los autores anónimos de Google es que la distancia entre la primera situación y la segunda será mucho más corta de lo que se pensaba y parece que nadie puede hacer nada al respecto.

Excepto, el memorando respalda: acéptalo. Abra, publique, colabore, comparta, comprometa. Como concluyen:

Google debe establecerse como líder en la comunidad de código abierto, tomando la iniciativa de cooperar con la conversación más amplia, en lugar de ignorarla. Esto probablemente signifique tomar algunos pasos incómodos, como publicar pesos de modelos para variantes ULM pequeñas. Esto necesariamente significa renunciar a cierto control sobre nuestros modelos. Pero este compromiso es inevitable. No podemos esperar tanto estimular la innovación como controlarla.