Los agentes de IA son pésimos trabajadores autónomos

Incluso los mejores agentes de inteligencia artificial son bastante ineptos para el trabajo freelance online, según un experimento que cuestiona la idea de que la IA reemplace a los trabajadores de oficina en masa.

El Índice de Trabajo Remoto, un nuevo indicador desarrollado por investigadores de la empresa de anotación de datos Scale AI y el Centro para la Seguridad de la IA (CAIS), una organización sin fines de lucro, mide la capacidad de los modelos de IA de vanguardia para automatizar trabajos económicamente valiosos.

Los investigadores asignaron a varios agentes de IA líderes una serie de simulaciones de trabajo freelance y descubrieron que incluso los mejores solo podían realizar menos del 3% del trabajo, ganando 1.810 dólares de un total posible de 143.991. Los investigadores analizaron varias herramientas y concluyeron que la más capaz era Manus, de una startup china del mismo nombre, seguida de Grok de xAI, Claude de Anthropic, ChatGPT de OpenAI y Gemini de Google.

«Espero que esto ofrezca una visión mucho más precisa del estado de las capacidades de la IA», afirma Dan Hendrycks, director de CAIS. Añade que, si bien algunos agentes han mejorado significativamente durante el último año, eso no significa que el ritmo de mejora se mantenga.

Los espectaculares avances en IA han generado especulaciones sobre la posibilidad de que la IA pronto supere la inteligencia humana y reemplace a un gran número de trabajadores. En marzo, Dario Amodei, CEO de Anthropic, sugirió que el 90 % del trabajo de programación se automatizaría en cuestión de meses.

Las anteriores oleadas de IA han inspirado predicciones erróneas sobre la pérdida de empleos, por ejemplo, en lo que respecta a la inminente sustitución de radiólogos por algoritmos de IA.

Los investigadores generaron una variedad de tareas freelance a través de trabajadores verificados de Upwork. Las tareas abarcan un amplio espectro de trabajos, incluyendo diseño gráfico, edición de video, desarrollo de videojuegos y tareas administrativas como la extracción de datos. Combinaron una descripción de cada trabajo con un directorio de los archivos necesarios para realizarlo y un ejemplo de un proyecto finalizado.

Hendrycks afirma que, si bien los modelos de IA han mejorado en programación , matemáticas y razonamiento lógico en los últimos años, aún tienen dificultades para usar diferentes herramientas y realizar tareas complejas que implican numerosos pasos. «No tienen memoria a largo plazo ni pueden aprender continuamente de la experiencia. No pueden adquirir habilidades en el trabajo como los humanos», explica.

El análisis ofrece una perspectiva diferente a GDPval , un indicador de rendimiento económico presentado en septiembre por OpenAI que pretende medir el trabajo económicamente valioso. Según GDPval, los modelos de IA de vanguardia, como GPT-5, se acercan a las capacidades humanas en 220 tareas de diversos puestos de oficina. OpenAI no emitió comentarios al respecto.

“Hemos debatido sobre la IA y el empleo durante años, pero la mayor parte ha sido hipotética o teórica”, añade Bing Liu, director de investigación de Scale AI.

Liu y Hendrycks reconocen que el nuevo punto de referencia no es un indicador perfecto del impacto económico de la IA. Muchas profesiones incluyen tareas que no abarca esta medida. En realidad, es probable que muchos profesionales independientes también utilicen la IA como herramienta para aumentar su productividad.

Sin embargo, la idea de que la IA ya está eliminando puestos de trabajo está cobrando fuerza. Esta semana, Amazon anunció el recorte de 14.000 empleos, una medida que atribuyó en parte al rápido auge de la inteligencia artificial generativa. «Esta generación de IA es la tecnología más transformadora que hemos visto desde internet», escribió Beth Galetti, vicepresidenta sénior de experiencia del personal y tecnología de Amazon, en un comunicado público. «Está permitiendo a las empresas innovar mucho más rápido que nunca (tanto en segmentos de mercado existentes como en otros completamente nuevos)».

Sin embargo, si nos guiamos por el Índice de Trabajo Remoto, es poco probable que la IA ocupe alguno de estos puestos vacantes.

¿Te preocupa que la IA te quite el trabajo? Házmelo saber enviando un correo electrónico a [email protected] .

Esta es una edición del boletín informativo del Laboratorio de IA de Will Knight . Lea boletines anteriores aquí.