Agentes de IA: lo que los benchmarks no te cuentan

Lo más importante de hoy en IA

El día estuvo dominado por investigación que cuestiona el optimismo alrededor de los agentes LLM: dos papers sintetizan fallas sistémicas que los rankings de benchmarks tienden a ocultar, y un tercero propone métricas para medir algo que casi nadie evalúa — la capacidad de un agente de actuar sin que se lo pidan. En paralelo, una noticia de seguridad con implicaciones concretas: nueve de las herramientas de IA más usadas pueden ser explotadas para construir botnets a gran escala.

Los agentes LLM fallan más de lo que los benchmarks admiten

Un nuevo paper que sintetiza 27 estudios de evaluación publicados entre 2023 y 2026 — abarcando 19 benchmarks distintos — llega a una conclusión incómoda: las métricas de rendimiento reportadas en los rankings públicos ocultan patrones de falla recurrentes que aparecen en prácticamente todos los sistemas de agentes LLM evaluados. Los problemas más comunes incluyen errores en el uso de herramientas externas, fallos en la planificación de tareas con múltiples pasos, dificultades de coordinación entre agentes y degradación del desempeño en horizontes largos.

Lo relevante para equipos que ya están construyendo con agentes es que estas fallas no son aleatorias — son predecibles y se repiten en contextos distintos. Dicho de otra forma: un agente que anota bien en un benchmark puede estar fallando exactamente de las mismas maneras que otro que anota mal, solo que la métrica agregada lo disimula.

Un paper complementario, PolyWorkBench, añade otra dimensión al problema: casi todos los benchmarks de agentes asumen un contexto monolingüe — razonamiento, invocación de herramientas y salida en un solo idioma. En aplicaciones reales, los agentes reciben instrucciones en un idioma, consultan APIs en otro y generan resultados en un tercero. La evaluación estándar no captura ese escenario, lo que significa que el rendimiento en producción puede ser peor de lo esperado para equipos que operan en entornos multilingües — algo particularmente relevante para empresas latinoamericanas con operaciones regionales.

La implicación práctica es concreta: antes de poner un agente en producción, vale la pena diseñar escenarios de prueba propios que reflejen las condiciones reales de uso, no asumir que un score alto en AgentBench o GAIA equivale a confiabilidad operacional.

Agentes proactivos: medir lo que todavía no sabemos evaluar

Hay una capacidad que se menciona cada vez más en las demos de productos de IA — la proactividad, es decir, que el agente anticipe necesidades y actúe sin esperar instrucción explícita — pero casi no existe infraestructura para medirla de forma rigurosa. PROBE (Proactive Resolution Of Bottlenecks) es un nuevo benchmark diseñado específicamente para llenar ese hueco.

El problema que PROBE intenta resolver es metodológico: los benchmarks actuales evalúan respuesta a instrucciones, no iniciativa. Un agente puede ser excelente siguiendo órdenes y completamente inútil para detectar un cuello de botella antes de que el usuario lo note. La distinción importa porque los casos de uso más ambiciosos — asistentes que gestionan calendarios, pipelines de datos o flujos de código — dependen precisamente de esa capacidad.

Para product managers y developers evaluando plataformas de agentes, esto señala una pregunta que conviene hacer a cualquier proveedor: ¿cómo miden la proactividad de su sistema, y bajo qué condiciones falla? Si la respuesta es vaga, probablemente la capacidad también lo sea.

Hackers están usando herramientas de IA populares para armar botnets

Según un reporte publicado por Ars Technica, investigadores identificaron que nueve de las herramientas de IA más utilizadas son vulnerables a una técnica llamada “HalluSquatting”, que explota la tendencia de los LLMs a inventar nombres de paquetes, dominios o dependencias que no existen. Los atacantes registran esos nombres falsos con código malicioso, y cuando la herramienta de IA los recomienda — creyendo que existen — los usuarios los instalan sin sospechar nada. El resultado es la posibilidad de armar botnets a escala.

El vector es especialmente peligroso porque no requiere comprometer la herramienta de IA en sí: basta con anticipar qué va a alucinar. Es un ataque que se monta sobre la infraestructura de confianza que los developers ya tienen en sus flujos de trabajo — copilots de código, asistentes de terminal, generadores de configuración.

Para cualquier equipo que use asistentes de IA para generar código o recomendar dependencias, la medida inmediata es verificar manualmente la existencia de cualquier paquete o librería antes de instalarlo, especialmente en entornos de producción. No es un cambio de proceso complejo, pero requiere convertirlo en hábito explícito dentro del equipo.

En pocas palabras

Lo que conecta las noticias de hoy es una tensión que la industria todavía no resuelve: los sistemas de agentes avanzan rápido en capacidades, pero los marcos para evaluarlos — y para confiar en ellos — van varios pasos atrás. Los benchmarks miden lo que es fácil de medir, no lo que importa en producción. Los agentes proactivos se venden como el futuro, pero apenas empezamos a definir qué significa que funcionen bien. Y la seguridad, como siempre, aparece como consecuencia no anticipada de adopción acelerada. El patrón no es nuevo, pero se vuelve más urgente a medida que más organizaciones pasan de experimentar con agentes a depender de ellos.

---

Fuentes utilizadas: https://arxiv.org/abs/2607.05775, https://arxiv.org/abs/2607.06008, https://arxiv.org/abs/2510.19771, https://arstechnica.com/security/2026/07/hackers-can-use-9-of-the-most-popular-ai-tools-to-assemble-massive-botnets/