Todos deberíamos estar preocupados por la infiltración de la IA en el trabajo colaborativo
un nuevo papel de investigadores de la universidad suiza EPFL sugiere que entre el 33% y el 46% de los trabajadores de la mafia distribuidos en el servicio Mechanical Turk de Amazon parecen haber «engañado» al realizar una tarea en particular que se les asignó porque usaron herramientas como ChatGPT para hacer parte del trabajo. Si esta práctica es frecuente, puede convertirse en un problema bastante grave.
El turco mecánico de Amazon ha sido durante mucho tiempo un refugio para los desarrolladores frustrados que quieren que el trabajo sea realizado por humanos. En pocas palabras, es una interfaz de programación de aplicaciones (API) que proporciona tareas para que las realicen los humanos y luego devuelve los resultados. Estas tareas suelen ser del tipo en las que desearía que las computadoras fueran mejores. Según Amazon, un ejemplo de tales tareas sería: «Dibujar cuadros delimitadores para crear conjuntos de datos de alta calidad para modelos de visión por computadora, donde la tarea puede ser demasiado ambigua para una solución puramente mecánica y demasiado grande, incluso para un gran equipo de humanos». expertos.”
Los científicos de datos tratan los conjuntos de datos de manera diferente según su origen, ya sea que los generen personas o un modelo de lenguaje grande (LLM). Sin embargo, el problema aquí con Mechanical Turk es peor de lo que parece: la IA ahora está disponible a un precio lo suficientemente bajo como para que los gerentes de producto que eligen usar Mechanical Turk en lugar de una solución generada por una máquina confíen en el hecho de que los humanos son mejores que los robots. . Envenenar esta mina de datos podría tener serias repercusiones.
«Distinguir los LLM del texto generado por humanos es difícil tanto para los modelos de aprendizaje automático como para los humanos», dijeron los investigadores. Por lo tanto, los investigadores crearon una metodología para determinar si el contenido textual fue creado por un humano o una máquina.
La prueba consistió en pedirles a los trabajadores colaboradores que condensaran resúmenes de investigación del New England Journal of Medicine en resúmenes de 100 palabras. Cabe señalar que es precisamente el tipo de tareas para las que son buenas las tecnologías de inteligencia artificial generativa como ChatGPT.