Meta espera modelos de recomendación «órdenes de magnitud» superiores a GPT-4. ¿Por qué?

Meta hizo una declaración notable en un anuncio publicado hoy con la intención de brindar más claridad sobre sus algoritmos de recomendación de contenido. Se prepara para sistemas de análisis de comportamiento «órdenes de magnitud» más grandes que los modelos de lenguaje grande más grandes, incluidos ChatGPT y GPT-4. ¿Es realmente necesario?

De vez en cuando, Meta decide renovar su compromiso con la transparencia explicando cómo funcionan algunos de sus algoritmos. A veces es revelador o informativo, ya veces simplemente lleva a más preguntas. Esta ocasión es un poco de ambos.

Además de los «resumen del sistema» que explican cómo se usa la IA en un contexto o aplicación determinados, la red social y publicitaria ha publicado una descripción general de los modelos de IA que utiliza. Por ejemplo, puede ser útil saber si un video representa hockey sobre patines o derby de patines, incluso si hay alguna superposición visual, para poder recomendarlo correctamente.

De hecho, Meta ha estado entre las organizaciones de investigación más prolíficas en el campo de la IA multimodal, que combina datos de múltiples modalidades (visual y auditiva, por ejemplo) para comprender mejor el contenido.

Pocos de estos modelos se hacen públicos, aunque a menudo escuchamos cómo se usan internamente para mejorar cosas como la «relevancia», que es un eufemismo para la orientación. (Permiten que ciertos investigadores accedan a ellos).

El siguiente es este pequeño dato interesante que describe cómo construye sus recursos informáticos:

Para comprender profundamente y modelar las preferencias de las personas, nuestros modelos de recomendación pueden tener decenas de billones de parámetros, órdenes de magnitud más grandes que incluso los modelos de lenguaje más grandes que se usan en la actualidad.

Presioné a Meta para que fuera un poco más específico sobre estas decenas de billones de modelos teóricos, y eso es exactamente lo que son: teóricos. En una declaración aclaratoria, la compañía dijo: «Creemos que nuestros modelos de recomendación tienen el potencial de alcanzar decenas de billones de parámetros». Esta frase es un poco como decir que sus hamburguesas «pueden» tener hamburguesas de 16 onzas, pero luego admitir que todavía están en la etapa de un cuarto de libra. Sin embargo, la compañía establece claramente que su objetivo es «garantizar que estos modelos muy grandes puedan entrenarse e implementarse de manera efectiva a escala».

¿Construiría una empresa una infraestructura costosa para el software que no tiene la intención de crear o utilizar? Parece poco probable, pero Meta se ha negado a confirmar (pero tampoco lo han negado) que estén buscando activamente modelos de este tamaño. Las implicaciones son claras, por lo que incluso si no podemos tratar este modelo a escala de decenas de billones como si existiera, puede trátelo como genuinamente ambicioso y probable en las obras.

“Comprender y modelar las preferencias de las personas”, además, debe entenderse como un análisis del comportamiento de los usuarios. Sus preferencias reales probablemente podrían estar representadas por una lista de texto sin formato de cien palabras. Puede ser difícil entender, en un nivel fundamental, por qué necesitaría un modelo tan grande y complejo para administrar las recomendaciones, incluso para unos pocos miles de millones de usuarios.

La verdad es que el espacio del problema es enorme: hay miles y miles de millones de contenido, todos con metadatos adjuntos, y sin duda todo tipo de vectores complejos que muestran que las personas que siguen a la Patagonia también tienden a hacer donaciones a la Federación Mundial de Vida Silvestre, cada vez más. comprar comederos para pájaros caros, etc. Por lo tanto, quizás no sea tan sorprendente que un modelo entrenado con todos estos datos sea bastante grande. ¿Pero «órdenes de magnitud más grandes» que incluso los más grandes que existen, algo formado en prácticamente todos los trabajos escritos accesibles?

No existe una configuración confiable en GPT-4, y los líderes mundiales de IA también han descubierto que esta es una métrica que reduce el rendimiento, pero ChatGPT es de alrededor de 175 mil millones y se supone que GPT -4 es más alto que eso pero más bajo. que los salvajes 100 billones de reclamos. Incluso si Meta exagera un poco, todavía da miedo.

Piénsalo: un modelo de IA tan grande o más grande que cualquiera que se haya creado… lo que sucede por un lado es cada acción que realizas en las plataformas de Meta, lo que sale por el otro es una predicción de lo que harás o te gustará. próximo. Un poco de miedo, ¿no?

Por supuesto, no son los únicos en hacerlo. Tiktok lideró el seguimiento algorítmico y la recomendación, y construyó su imperio de redes sociales sobre su flujo adictivo de contenido «relevante» destinado a mantenerlo desplazándose hasta que le duelan los ojos. Sus competidores son abiertamente envidiosos.

Meta claramente pretende cegar a los anunciantes con la ciencia, tanto con la ambición declarada de crear el modelo más grande del mercado, como con pasajes como estos:

Estos sistemas comprenden las preferencias de comportamiento de las personas utilizando modelos de atención a hiperescala, redes neuronales gráficas, aprendizaje impredecible y otras técnicas. Las innovaciones clave recientes incluyen una nueva arquitectura de recuperación neuronal profunda jerárquica, que nos permitió superar significativamente varias líneas de base máximas sin retroceder la latencia de inferencia; y una nueva arquitectura de conjunto que aprovecha los módulos de interacción heterogéneos para modelar mejor los factores relevantes para los intereses de las personas.

El párrafo anterior no pretende impresionar a los investigadores (lo saben todo) ni a los usuarios (no lo entienden ni les importa). Pero ponte en el lugar de un anunciante que comienza a preguntarse si su dinero está bien gastado en anuncios de Instagram en lugar de otras opciones. Esta palabrería técnica está destinada a deslumbrarlos, a convencerlos de que Meta no solo es líder en investigación de IA, sino que la IA realmente se destaca en «comprender» los intereses y preferencias de las personas.

En caso de que lo dudes: «más del 20% del contenido en los feeds de Facebook e Instagram de una persona ahora es recomendado por IA de personas, grupos o cuentas que no siguen». ¡Justo lo que pedimos! Eso es todo. La IA funciona muy bien.

Pero todo esto también recuerda el dispositivo oculto en el corazón de Meta, Google y otras compañías cuyo principal principio motivador es vender anuncios con una orientación cada vez más granular y precisa. El valor y la legitimidad de esta orientación deben reiterarse constantemente incluso cuando los usuarios se rebelan y la publicidad se multiplica e insinúa en lugar de mejorar.

Meta nunca ha hecho algo sensato como presentarme una lista de 10 marcas o pasatiempos y preguntarme cuál me gusta. Prefieren mirar mi hombro mientras busco en la web un nuevo impermeable y actuar como si fuera una hazaña de inteligencia artificial avanzada cuando me muestran anuncios de impermeables al día siguiente. No está del todo claro que el último enfoque sea superior al primero, o si es así, ¿por cuánto? Toda la web se construyó en torno a una creencia colectiva en la orientación precisa de los anuncios y ahora se está implementando la última tecnología para respaldarla en una nueva ola de gastos de marketing más escépticos.

Por supuesto, necesita un modelo con diez billones de parámetros para decirle lo que le gusta a la gente. De lo contrario, ¿cómo podría justificar los mil millones de dólares que gastó para entrenarlo?