Los LLMs bajo el microscopio: sesgos, memoria y razonamiento

Lo más importante de hoy en IA

El día estuvo dominado por investigación aplicada, no por lanzamientos ni por drama corporativo. Lo que emerge es una imagen más honesta de dónde están parados los modelos de lenguaje hoy: capaces en condiciones ideales, frágiles en condiciones reales. Tres hallazgos en particular merecen atención de cualquiera que esté construyendo productos con IA o tomando decisiones sobre adoptarla.

Los LLMs siguen mostrando sesgos anti-musulmanes — y empeoran cuando “razonan”

Cinco años después de que se documentara por primera vez el sesgo anti-musulmán en modelos de lenguaje, un nuevo benchmark llamado MIRAGE (Muslim-Identity Reasoning and Agentic Generation Evaluation) llega con una conclusión incómoda: el problema no solo persiste, sino que se amplifica en los modos de uso más modernos.

El estudio evaluó modelos de frontera con 1,200 prompts distribuidos en tres condiciones: completación directa, razonamiento en cadena de pensamiento (chain-of-thought) y simulación agéntica. El hallazgo más perturbador es que los sesgos aumentan cuando el modelo “piensa en voz alta”. Dicho de otro modo, darle más espacio al modelo para razonar no corrige el problema, lo exacerba.

Para un product manager o desarrollador, esto tiene implicaciones directas. Si estás construyendo un sistema que usa CoT para mejorar la calidad de respuestas — un chatbot de atención al cliente, un asistente de recursos humanos, un motor de recomendaciones — tienes una superficie de riesgo que probablemente no estás midiendo. La evaluación de sesgos en modo de completación simple ya no es suficiente; necesitas auditar los modos de despliegue que realmente vas a usar.

La memoria de los agentes sigue siendo su talón de Aquiles

Dos investigaciones publicadas esta semana atacan el mismo problema desde ángulos distintos: los agentes de IA tienen una relación disfuncional con la memoria, y eso los hace poco confiables en tareas del mundo real.

El primero, EvoMemBench, propone evaluar la memoria desde una perspectiva evolutiva — es decir, no solo si el agente recuerda hechos, sino si actualiza correctamente lo que sabe cuando la información cambia. El segundo estudio, sobre configuraciones arquitectónicas de memoria, comparó trece configuraciones distintas en 385 casos adversariales y encontró que dónde se ubica el LLM dentro del pipeline de memoria determina qué tipos de olvido ocurren. El problema no es solo que los agentes olvidan; es que olvidan de maneras distintas dependiendo de cómo están construidos, y esos patrones de fallo son predecibles.

Para quienes están construyendo agentes de larga duración — asistentes que manejan proyectos, sistemas de soporte que recuerdan historial de clientes, automatizaciones que operan sobre semanas — esto es señal de que la arquitectura de memoria no puede ser una decisión de último momento. La elección entre memoria episódica, semántica o basada en recuperación vectorial no es un detalle de implementación: es una decisión de producto con consecuencias directas en la confiabilidad del sistema.

Los LLMs no saben navegar el mundo real — ni literal ni figuradamente

LLM-WikiRace pone a los modelos a jugar WikiRace: dado un artículo de Wikipedia, llega al artículo destino siguiendo solo hipervínculos, con la menor cantidad de pasos posible. Es un proxy elegante para medir planificación con anticipación y razonamiento sobre cómo se conectan los conceptos en el mundo real. El benchmark evaluó modelos cerrados y abiertos, incluyendo Gemini-3 y GPT, y los resultados muestran brechas significativas entre modelos — y entre modelos y humanos.

En paralelo, SpatialWorld evalúa la capacidad de agentes multimodales para razonar sobre el espacio físico en tareas interactivas, no en preguntas estáticas de imagen. La diferencia es importante: los modelos actuales fueron entrenados y evaluados principalmente con VQA (preguntas y respuestas visuales estáticas), pero en el mundo real los agentes necesitan entender dónde están las cosas, cómo se mueven y qué pasa si interactúan con ellas.

Ambos estudios apuntan a la misma brecha: los LLMs son buenos para recuperar y sintetizar información, pero su capacidad de planificar sobre grafos de conocimiento o sobre espacio físico sigue siendo débil. Para equipos que evalúan usar agentes en logística, robótica, navegación de interfaces complejas o cualquier tarea que requiera razonamiento espacial o de múltiples pasos sobre estructuras de datos reales, estos resultados sugieren que el estado del arte todavía requiere andamiaje significativo para funcionar de manera confiable.

En pocas palabras

Lo que une estas noticias no es coincidencia: la comunidad investigadora está haciendo un trabajo sistemático de mapeo de fallas. No son papers que anuncian nuevas capacidades, sino papers que delimitan dónde terminan las capacidades actuales. Eso es, en cierto sentido, más valioso para quien construye productos hoy. El patrón que emerge es claro: los LLMs funcionan bien en condiciones controladas y fallan de maneras específicas y predecibles cuando el contexto se complica — más historia, más ambigüedad, más pasos, más diversidad cultural. La pregunta que cada equipo debería hacerse no es “¿puede un LLM hacer esto?” sino “¿bajo qué condiciones falla, y puedo detectarlo cuando ocurra?”

---

Fuentes utilizadas: MIRAGE benchmark (https://arxiv.org/abs/2606.16562), EvoMemBench (https://arxiv.org/abs/2605.18421), Control-Plane Placement Shapes Forgetting (https://arxiv.org/abs/2606.15903), LLM-WikiRace Benchmark (https://arxiv.org/abs/2602.16902), SpatialWorld (https://arxiv.org/abs/2606.09669)