Conclusiones del informe de 386 páginas de Stanford sobre el estado de la IA

Escribir un informe sobre el estado de la IA debe ser muy parecido a construir sobre arenas movedizas: en el momento en que presionas publicar, toda la industria ha cambiado bajo tus pies. Pero todavía hay tendencias y conclusiones importantes en Oferta de 386 páginas de Stanford para resumir este campo complejo y en rápida evolución.

El índice AI, del Instituto de Inteligencia Artificial centrada en el ser humano, trabajó con expertos de la academia y la industria privada para recopilar información y predicciones al respecto. Como esfuerzo anual (y por su tamaño, puede apostar que ya están trabajando arduamente preparándose para el próximo) puede que no sea la versión más nueva de IA, pero esas encuestas periódicas masivas son importantes para mantenerse al tanto de la industria

El informe de este año incluye «un nuevo análisis de los modelos básicos, incluida su geopolítica y los costos de capacitación, el impacto ambiental de los sistemas de IA, la educación en IA de K-12 y las tendencias en la opinión pública sobre la IA», así como una descripción general de las políticas en cien países nuevos. .

Para los puntos de mayor nivel, permítanos resumirlos aquí:

• El desarrollo de la IA ha cambiado en la última década de una dirección académica a una industrial, por un amplio margen, y no muestra signos de cambio.
• Se vuelve difícil probar modelos en puntos de referencia tradicionales y aquí puede ser necesario un nuevo paradigma.
• La huella energética del entrenamiento y el uso de la IA se vuelve considerable, pero aún tenemos que ver cómo esto podría mejorar la eficiencia en otros lugares.
• El número de «incidentes y controversias relacionados con la IA» ha aumentado 26 veces desde 2012, lo que parece un poco bajo después de todo.
• Las habilidades relacionadas con la IA y las ofertas de trabajo están creciendo, pero no tan rápido como podría pensar.
• Los formuladores de políticas, sin embargo, se están derrumbando tratando de redactar un proyecto de ley definitivo de IA, una carrera tonta si alguna vez hubo una.
• La inversión se ha estancado temporalmente, pero eso es después de un aumento astronómico durante la última década.
• Más del 70% de los encuestados de China, Arabia Saudita e India sintieron que la IA tenía más ventajas que desventajas. ¿Los americanos? 35%.

Pero el informe detalla muchos temas y subtemas, y es bastante legible y no técnico. Solo aquellos que son dedicados leerán las casi 300 páginas de análisis, pero en realidad casi cualquier organización motivada podría hacerlo.

Veamos el Capítulo 3, Ética técnica de la IA, con un poco más de detalle.

Les biais et la toxicité sont difficiles à réduire à des métriques, mais dans la mesure où nous pouvons définir et tester des modèles pour ces choses, il est clair que les modèles « non filtrés » sont beaucoup, beaucoup plus faciles à diriger vers un territoire problemática. Las instrucciones de ajuste, es decir, agregar una capa adicional de preparación (como un indicador oculto) o pasar la salida del modelo a través de un segundo modelo mediador, es eficaz para mejorar este problema, pero está lejos de ser perfecto.

El aumento de «incidentes y controversias de IA» al que se alude en las viñetas se ilustra mejor con este diagrama:

Como puede ver, la tendencia es al alza y estos números son anteriores a la adopción generalizada de ChatGPT y otros modelos de lenguaje importantes, sin mencionar la gran mejora en los generadores de imágenes. Puede estar seguro de que el aumento de 26x es solo el comienzo.

Hacer que los modelos sean más justos o imparciales de una manera puede tener consecuencias no deseadas en otras métricas, como muestra este diagrama:

Como señala el informe, «los modelos de lenguaje que se desempeñan mejor en ciertos criterios de equidad tienden a tener peores sesgos de género». ¿Por qué? Es difícil decirlo, pero demuestra que la optimización no es tan sencilla como cabría esperar. No existe una manera fácil de mejorar estos excelentes modelos, en parte porque no entendemos realmente cómo funcionan.

La verificación de hechos es una de esas áreas que parece un ajuste natural para la IA: después de indexar gran parte de la web, puede evaluar las declaraciones y devolver la confianza de que están respaldadas por fuentes veraces, etc. Está muy lejos de ser el caso. En realidad, la IA es particularmente mala para evaluar la factualidad y el riesgo no es tanto que no sea un verificador confiable, sino que se convierta en una fuente potente de información errónea convincente. Se han creado una serie de estudios y conjuntos de datos para probar y mejorar la verificación de hechos de IA, pero hasta ahora estamos más o menos donde comenzamos.

Afortunadamente, ha habido un aumento en el interés aquí, por la razón obvia de que si las personas sienten que no pueden confiar en la IA, toda la industria retrocede. Ha habido un gran aumento en las presentaciones a la conferencia ACM sobre equidad, responsabilidad y transparencia, y en NeurIPS, cuestiones como la equidad, la confidencialidad y la interpretabilidad están recibiendo más atención y tiempo.

Estos puntos destacados dejan muchos detalles sobre la mesa. Sin embargo, el equipo de HAI hizo un gran trabajo organizando el contenido y después buscar material de alto nivel aquí puedes descargar el documento completo y profundice en cualquier tema que despierte su interés.