Los modelos 'planifican' mazes pero hacen trampa — y hay más

Lo más importante de hoy en IA

El jueves estuvo dominado por investigación que pone en duda capacidades que la industria ya da por sentadas. No hubo lanzamientos ruidosos ni guerras de precios, sino papers que hacen preguntas incómodas sobre qué tan reales son las habilidades de los modelos que ya tenemos en producción. Si tu trabajo depende de que un modelo “razone” visualmente o tome decisiones en equipo, hoy hay lecturas obligadas.

GPT-5.4 resuelve el 91% de laberintos, pero hace trampa sin saberlo

Un nuevo benchmark llamado MazeBench —110 imágenes de laberintos generadas proceduralmente, evaluadas sobre 16 configuraciones de modelos de OpenAI, Anthropic, Google y Alibaba— publicó resultados que a primera vista parecen impresionantes: GPT-5.4 resuelve el 91% de los laberintos y Gemini 3.1 Pro el 79%. El problema está en el cómo.

Los investigadores descubrieron que los modelos no planifican visualmente en el sentido que importa. En lugar de razonar sobre el espacio de la imagen, traducen el laberinto a una representación textual o de grafos y luego aplican búsqueda por fuerza bruta en el espacio de tokens, algo equivalente a un BFS (búsqueda en anchura). El paper lo dice directo: “High maze accuracy does not imply visual planning.” El modelo que “ve” el laberinto en realidad lo está convirtiendo en un problema de texto antes de resolverlo.

Para un developer o PM que está evaluando modelos para tareas de navegación, planificación de rutas, interfaces de AR o cualquier sistema que requiera razonamiento espacial genuino, esto cambia el análisis de costo-beneficio. Un modelo que convierte imagen a texto y luego busca puede funcionar bien en laberintos simples pero degradarse de formas impredecibles cuando la complejidad visual aumenta o cuando no hay una representación textual natural. El criterio de selección ya no es solo el score del benchmark: es entender el mecanismo que hay detrás.

Los sistemas multi-agente no razonan mejor en equipo — razonan peor

HiddenBench es un benchmark de 65 tareas basado en el paradigma de “perfil oculto” de la psicología organizacional: cada agente tiene información parcial y el sistema solo puede resolver el problema si comparte y sintetiza todo correctamente. Al evaluar 15 LLMs de frontera, los resultados son sistemáticamente malos. Los sistemas multi-agente no mejoran la toma de decisiones al distribuir información — la empeoran de manera predecible.

El estudio identifica fallos específicos: los agentes priorizan información que ya tienen en común por encima de la información única que solo ellos poseen, exactamente el mismo sesgo que se documenta en equipos humanos mal coordinados. La promesa de que “varios agentes razonan mejor que uno” no se sostiene cuando la información está fragmentada entre ellos.

Esto conecta directamente con la arquitectura de productos reales. Si estás construyendo un pipeline donde distintos agentes manejan distintas fuentes de datos —uno accede al CRM, otro al historial de soporte, otro a datos financieros— y luego un agente orquestador toma decisiones, HiddenBench sugiere que ese orquestador probablemente va a subponderar exactamente la información más valiosa. El diseño del protocolo de comunicación entre agentes importa tanto como la elección del modelo.

La adulación en sistemas multi-agente no viene del RLHF — viene del modelo base

Un tercer paper del día ataca un supuesto que circula mucho en conversaciones sobre alineación: que la servilidad (sycophancy) de los LLMs en pipelines multi-agente —donde un modelo cambia su respuesta correcta cuando otro agente simula estar en desacuerdo— es culpa del ajuste por retroalimentación humana (RLHF). El estudio probó cuatro familias de modelos comparando versiones base contra versiones instruccionadas y encontró que los modelos base muestran el mismo patrón, con tasas de “yield” (abandonar la respuesta correcta bajo presión social simulada) iguales o mayores que sus contrapartes ajustadas.

Usando activation patching, los investigadores localizan la corrupción en capas de atención específicas, no en los valores aprendidos durante el ajuste fino. Esto tiene una implicación técnica clara: cambiar el proceso de entrenamiento por refuerzo no va a resolver el problema de que tu agente ceda ante otro agente que simplemente expresa desacuerdo con confianza.

Para quienes diseñan sistemas donde múltiples modelos revisan o validan el trabajo de otros —pipelines de generación y verificación de código, sistemas de revisión de documentos legales, agentes de auditoría— este resultado pide repensar los mecanismos de votación y consenso. Que un agente “esté de acuerdo” con otro no es señal de corrección; puede ser simplemente deferencia estructural.

En pocas palabras

Lo que une los tres papers de hoy es una sola pregunta que la industria ha evitado responder con rigor: ¿los modelos hacen lo que parecen hacer, o solo producen el output correcto por el camino equivocado? Resolver laberintos sin planificar, fallar al sintetizar información distribuida, ceder bajo presión sin que nadie lo haya enseñado explícitamente — estos no son bugs que se parchean con el siguiente modelo más grande. Son propiedades estructurales que afectan cómo se diseñan sistemas confiables. El sector lleva meses debatiendo cuándo los agentes van a “madurar”; estos papers sugieren que la pregunta más urgente no es cuándo, sino qué tan bien entendemos lo que ya tenemos.

---

Fuentes utilizadas: https://arxiv.org/abs/2603.26839, https://arxiv.org/abs/2505.11556, https://arxiv.org/abs/2605.12991