Los trabajadores de Mechanical Turk usan IA para automatizar humanos

Archive este como inevitable, pero hilarante. Mechanical Turk es un servicio que, desde su inicio, parecía invitar a los chanchullos y, de hecho, los investigadores muestran que casi la mitad de sus «turkers» parecen estar usando IA para realizar tareas específicamente destinadas a ser realizadas por humanos porque la IA podría no. Hemos cerrado el círculo en este caso, ¡buen trabajo a todos!

Mechanical Turk de Amazon permite a los usuarios dividir tareas simples en cualquier cantidad de pequeñas subtareas que solo toman unos segundos y pagan centavos, pero los trabajadores dedicados por partes completarían miles y ganarían un salario modesto pero confiable. Era, como dijo Jeff Bezos memorablemente en ese momento, «inteligencia artificial artificial».

Por lo general, estas eran tareas que luego eran difíciles de automatizar, como un CAPTCHA, o identificar el sentimiento de una oración, o simplemente «dibuja un círculo alrededor del gato en esta imagen», cosas que las personas podían hacer de manera rápida y confiable. Ha sido ampliamente utilizado por personas que etiquetan datos relativamente complejos e investigadores que buscan obtener evaluaciones o decisiones humanas a gran escala.

Lleva el nombre del famoso «autómata» jugador de ajedrez que en realidad usó un humano oculto en su base para hacer sus juegos: Poe escribió un excelente resumen contemporáneo. A veces la automatización es difícil o imposible, pero en esos casos puedes hacer de la humanidad una especie de máquina. Tienes que tener cuidado con esto, pero ha demostrado ser útil a lo largo de los años.

Pero un estudio realizado por investigadores de EPFL en Suiza muestra que los trabajadores de Mechanical Turk automatizan su trabajo utilizando grandes modelos de lenguaje como ChatGPT: una serpiente que se muerde la cola, o tal vez se traga a sí misma.

La pregunta surgió cuando consideraron usar un servicio como MTurk como un «humano en el circuito» para mejorar o verificar las respuestas de LLM, que son fundamentalmente poco confiables:

Es tentador confiar en el crowdsourcing para validar los resultados de LLM o para crear datos humanos de referencia para comparar. Pero, ¿qué pasa si los propios trabajadores de la multitud utilizan LLM, por ejemplo, para aumentar su productividad y, por lo tanto, sus ingresos, en plataformas de crowdsourcing?

Para tener una idea general del problema, asignaron una tarea de «resumen abstracto» para que la completaran los turkers. Por varios análisis descritos en el artículo (todavía sin publicar o revisado por pares) ellos «estiman que el 33-46% de los trabajadores de multitud usaron LLM para realizar la tarea».

Para algunos, esto no será una sorpresa. Probablemente ha existido cierto nivel de automatización en Turk desde que se lanzó la plataforma. Se fomenta la velocidad y la confiabilidad, y si pudiera escribir un script que manejara ciertas solicitudes con un 90% de precisión, ganaría una buena cantidad de dinero. Con tan poca supervisión de los procesos de los contribuyentes individuales, era inevitable que algunas de estas tareas en realidad no fueran realizadas por humanos, como se anuncia. La integridad nunca ha sido el fuerte de Amazon, por lo que no tenía sentido confiar en ellos.

Pero verlo presentado de esta manera, y para una tarea que hasta hace poco parecía una que solo un ser humano podía realizar (resumir adecuadamente el resumen de un artículo), pone en duda no solo el valor de Mechanical Turk, sino que expone otro frente en el inminente crisis de “capacitación de IA sobre datos generados por IA” en otra situación a la Ouroboros.

Los investigadores (Veniamin Veselovsky, Manoel Horta Ribeiro y Robert West) advierten que esta tarea, desde el advenimiento de los LLM modernos, es particularmente adecuada para la automatización subrepticia y, por lo tanto, particularmente susceptible de ser víctima de estos métodos. Pero el estado del arte está progresando constantemente:

Los LLM se están volviendo más populares día a día, y los modelos multimodales, que admiten no solo texto sino también entrada y salida de imágenes y videos, están en aumento. Con eso, nuestros hallazgos deben verse como el «canario en la mina de carbón» que debe recordar a las plataformas, investigadores y trabajadores colectivos que encuentren nuevas formas de garantizar que los datos humanos sigan siendo humanos.

La amenaza de que la IA se coma a sí misma se teorizó durante muchos años y se hizo realidad casi instantáneamente durante el lanzamiento generalizado de los LLM: la mascota de Bing, ChatGPT, citó su propia información errónea como respaldo para nueva información errónea sobre una conspiración de COVID.

Si no puede estar 100% seguro de que algo fue hecho por un humano, probablemente sea mejor que asuma que no fue así. Es un principio deprimente adherirse, pero aquí estamos.