Cuando una explicación convincente de la IA puede debilitar nuestra capacidad de juzgar
Hay algo profundamente humano en nuestra preferencia por las historias coherentes. Una tabla puede mostrarnos datos, una gráfica puede señalar una anomalía y una probabilidad puede advertirnos que existe incertidumbre. Pero una explicación hace algo diferente: conecta los puntos, establece relaciones y les da sentido. Convierte información dispersa en una historia que podemos comprender.
Por eso hemos convertido la explicabilidad en una de las respuestas más intuitivas al problema de confiar decisiones importantes a sistemas de inteligencia artificial. Si una máquina recomienda contratar, rechazar, diagnosticar, aprobar, priorizar o invertir, queremos saber por qué. Parece una exigencia elemental de control: cuanto mejor comprendamos las razones de la máquina, mejores condiciones tendremos para juzgarla.
Pero esa intuición contiene una posibilidad incómoda. Una explicación puede ayudarnos a comprender una recomendación y, al mismo tiempo, hacernos menos capaces de cuestionarla.
Una investigación publicada en agosto de 2026 en Nature Medicine ofrece evidencia particularmente interesante sobre esta paradoja. En experimentos con 623 personas del público general y 153 médicos de atención primaria, los investigadores analizaron cómo distintas formas de asistencia mediante IA modificaban decisiones relacionadas con diagnósticos dermatológicos. El resultado no permite decir simplemente que explicar es bueno o malo. Cuando la IA acertaba, una explicación narrativa generada mediante un modelo multimodal de lenguaje podía ayudar considerablemente; cuando se equivocaba, esa misma capacidad explicativa podía arrastrar al humano hacia el error.
La explicación había dejado de ser solamente información. También estaba actuando como persuasión.
I. Cuando la explicación ayuda… y cuando arrastra
Imagine una lesión en la piel: una pequeña variación de color, un borde irregular, una textura determinada. Para alguien con experiencia clínica, esas características forman parte de un sistema aprendido durante años; para una persona sin entrenamiento médico pueden ser apenas señales ambiguas dentro de una imagen difícil de interpretar.
Ahora añadamos una IA. El sistema no sólo ofrece un diagnóstico, sino que explica por qué: identifica determinadas características visuales, las relaciona con una condición y construye una conclusión. Lo que antes era una recomendación aislada adquiere estructura. De pronto existe una historia.
En el estudio publicado en Nature Medicine, cuando la recomendación de la IA era correcta, las explicaciones mediante LLM estuvieron asociadas con una mejora de 13.4 puntos porcentuales en el desempeño de participantes no expertos. Cuando la recomendación era incorrecta ocurrió lo contrario: su desempeño cayó 21.1 puntos porcentuales. Entre las modalidades de asistencia estudiadas, las explicaciones mediante LLM produjeron tanto la mayor mejora cuando la IA acertaba como el mayor deterioro cuando fallaba.
Ese contraste importa más que cualquiera de las dos cifras por separado, porque revela una asimetría que podría pasar inadvertida si sólo midiéramos cuánto ayuda un sistema cuando funciona correctamente. La misma característica que facilitaba interpretar una recomendación correcta podía aumentar el daño de una recomendación equivocada.
Y no necesariamente porque los participantes fueran irracionales o descuidados. Precisamente porque la explicación resultaba razonable.
II. Explicar no es demostrar
Aquí aparece una distinción que será cada vez más importante conforme los sistemas generativos participen en decisiones empresariales. Solemos utilizar conceptos como interpretabilidad, explicación y transparencia casi como si describieran diferentes grados de una misma propiedad, pero conviene separar al menos tres niveles.
Interpretabilidad consiste en poder comprender información acerca de los factores, características o mecanismos relacionados con el funcionamiento de un sistema. Explicación supone recibir una representación comprensible de las razones asociadas con una recomendación. Verificación, en cambio, exige disponer de evidencia suficiente para determinar si esa recomendación concreta merece ser aceptada.
El problema aparece cuando tratamos esos niveles como equivalentes. Una explicación puede hacer una recomendación comprensible sin demostrar que sea correcta, del mismo modo que un argumento bien construido puede ser perfectamente inteligible y seguir partiendo de una premisa falsa.
Los modelos generativos añaden una característica particularmente relevante a este problema: son extraordinariamente buenos produciendo lenguaje coherente. Esa capacidad tiene un enorme valor práctico porque permite traducir información compleja, sintetizar evidencia y hacer accesibles procesos que de otro modo serían difíciles de interpretar. Pero también significa que una recomendación incorrecta ya no tiene que presentarse como una puntuación fría o una conclusión inexplicable; puede venir acompañada de cuatro párrafos perfectamente articulados explicando por qué supuestamente tiene sentido.
La elocuencia puede reducir nuestra sensación de incertidumbre sin reducir necesariamente la incertidumbre real.
III. La paradoja aparece también fuera de la medicina
El fenómeno no parece restringido al diagnóstico clínico. Otra investigación estudió qué ocurre cuando humanos utilizan recomendaciones de IA para evaluar propuestas reales de innovación. Participaron 228 evaluadores, que realizaron 3,002 evaluaciones sobre 48 propuestas, comparando decisiones exclusivamente humanas con decisiones asistidas por recomendaciones de IA y con recomendaciones acompañadas por explicaciones narrativas.
La asistencia mediante IA aumentó considerablemente la coincidencia entre humanos y recomendaciones algorítmicas. Sin embargo, añadir explicaciones narrativas no produjo una mejora equivalente en la calidad de las decisiones respecto a recibir la recomendación sin explicación. Lo que sí aumentó fue la deferencia hacia la IA.
El problema resultó especialmente relevante cuando la recomendación algorítmica era rechazar una propuesta. En esos casos, las explicaciones podían incrementar los falsos negativos: propuestas consideradas prometedoras por evaluadores expertos podían terminar descartadas con mayor frecuencia. La explicación no estaba añadiendo necesariamente mejor juicio; podía estar haciendo más convincente la conclusión que ya había producido la máquina.
Traslademos esa posibilidad a una empresa. Una IA podría recomendar rechazar un candidato, descartar una oportunidad comercial, denegar una excepción financiera, no investigar una anomalía, priorizar un proveedor, cerrar una reclamación o abandonar una idea de innovación. Después podría generar una explicación impecable justificando la decisión, relacionando datos y presentando argumentos que parezcan perfectamente plausibles.
La organización podría interpretar esa explicación como evidencia de mayor transparencia. Pero existe otra posibilidad mucho menos cómoda: que haya construido una máquina capaz de defender convincentemente sus propios errores.
IV. La sustitución cognitiva
¿Por qué podría suceder? Una explicación narrativa reduce trabajo interpretativo. No tenemos que reconstruir por nuestra cuenta la relación entre evidencia y conclusión porque el sistema lo hace por nosotros, seleccionando elementos, estableciendo conexiones y presentando una lectura aparentemente completa de lo ocurrido. Eso es precisamente parte de lo que hace útil a la IA generativa.
Pero esa comodidad puede producir un efecto secundario. Cuando alguien nos presenta simultáneamente una conclusión y una historia coherente que la sostiene, disminuye parte del esfuerzo necesario para construir una hipótesis alternativa. La explicación puede ocupar el espacio mental donde debería aparecer una pregunta mucho menos cómoda: ¿y si está equivocada?
Los investigadores que estudiaron la evaluación de propuestas describen este problema en términos de sustitución cognitiva: la justificación producida por IA puede reemplazar parte del esfuerzo independiente que realizaría el evaluador. No significa que toda explicación provoque automáticamente ese efecto, ni que los humanos abandonemos el pensamiento crítico en cuanto aparece un párrafo bien escrito. Significa que el diseño de la explicación puede modificar la manera en que distribuimos nuestra atención y nuestro esfuerzo.
Eso cambia la forma en que deberíamos pensar la explicabilidad. Una explicación no es solamente una característica técnica del sistema; es también una intervención sobre el comportamiento de la persona que debe juzgarlo. Y como cualquier intervención, puede producir efectos deseados y efectos secundarios.
V. Quién habla primero importa
Existe además una variable sorprendentemente sencilla: el orden. No es lo mismo que una persona formule primero su propia evaluación y después conozca la recomendación de la IA, que mostrarle desde el principio qué piensa la máquina y pedirle posteriormente que decida. En ambos casos existe participación humana, pero el punto de partida cognitivo es diferente.
El estudio dermatológico comparó distintas secuencias de interacción y encontró que, cuando los participantes recibían la recomendación y explicación de la IA antes de formular su decisión, aumentaba su tendencia a deferir a la máquina. Entre los médicos, el incremento más pronunciado observado con la explicación mediante LLM fue de 19 puntos porcentuales. Los investigadores relacionan este comportamiento con un riesgo de anclaje: la primera hipótesis que aparece puede condicionar la manera en que interpretamos la evidencia posterior.
Pensemos entonces en dos arquitecturas aparentemente similares. En la primera, la IA habla antes: “Recomiendo rechazar esta solicitud por las siguientes razones…”. El humano recibe la conclusión, estudia los argumentos y finalmente pulsa aprobar o rechazar. En la segunda, el humano registra primero una evaluación preliminar independiente; sólo después conoce la recomendación de la IA, su evidencia y su incertidumbre, y finalmente compara ambos juicios antes de decidir.
Los dos diseños pueden describirse como human-in-the-loop. Incluso podrían cumplir exactamente el mismo requisito organizacional de “revisión humana”. Sin embargo, cognitivamente no son iguales. En el primero, el humano corre el riesgo de convertirse en validador de una hipótesis previamente construida; en el segundo existe, al menos, la posibilidad de enfrentar dos interpretaciones antes de resolver.
La diferencia no está en si existe un humano. Está en qué oportunidad conserva ese humano de pensar antes de ser influido por la máquina.
VI. Tener un humano en el circuito no significa conservar el juicio humano
Ésta quizá sea una de las implicaciones más relevantes de la investigación. Durante años hemos hablado de supervisión humana como si fuera una propiedad binaria: hay humano o no hay humano. Sin embargo, una persona puede estar formalmente situada dentro del proceso y disponer de muy poca capacidad real para detectar que la recomendación recibida es incorrecta.
Los médicos experimentados del estudio de Nature Medicine mostraron mayor capacidad que los participantes no expertos para resistir recomendaciones incorrectas. Un análisis adicional con estudiantes de medicina también encontró una relación entre experiencia y menor deferencia ante la IA. Eso sugiere que el supervisor importa tanto como el sistema supervisado, porque supervisar no consiste únicamente en tener autoridad para pulsar un botón: exige disponer de criterio suficiente para saber cuándo no pulsarlo.
Por eso no basta con preguntar si un humano revisó la decisión. También necesitamos saber si ese humano tenía conocimiento suficiente para detectar cuándo la máquina estaba equivocada, acceso a evidencia independiente para contrastarla y libertad efectiva para contradecirla.
Existe una diferencia sustancial entre decir que una persona aprobó la recomendación y afirmar que una persona con competencia suficiente pudo formar un juicio independiente, contrastar la recomendación y rechazarla cuando encontró evidencia contradictoria. La primera frase describe un paso dentro de un proceso. La segunda describe una verdadera capacidad de supervisión.
VII. Pero sería un error declarar culpable a la explicabilidad
Hasta aquí podríamos sentir la tentación de concluir que las explicaciones son contraproducentes y que sería preferible mostrar menos información. La evidencia disponible no permite sostener esa conclusión. Otros trabajos encuentran circunstancias en las que la explicabilidad sí puede reducir la dependencia de recomendaciones incorrectas, lo que obliga a resistir una narrativa demasiado sencilla precisamente en un artículo dedicado a cuestionar narrativas demasiado sencillas.
Una investigación aceptada en 2026 por ACM Transactions on Computer-Human Interaction realizó tres experimentos utilizando un sistema simulado de apoyo a decisiones médicas. Los investigadores encontraron que el efecto de la explicabilidad dependía de algo fundamental: qué tan difícil resultaba detectar el error de la IA. Cuando los errores eran relativamente fáciles de identificar, las explicaciones ofrecían poco beneficio adicional; cuando eran difíciles, podían ayudar a evitar una dependencia excesiva; y cuando resultaban prácticamente imposibles de detectar para el usuario, el beneficio volvía a ser limitado.
El patrón resulta más interesante que una conclusión binaria porque sugiere que no existe una relación sencilla entre cantidad de explicación y calidad de decisión. La dificultad de la tarea, la detectabilidad del error, la experiencia del usuario, la calidad y naturaleza de la explicación, el momento en que aparece la recomendación y la capacidad del humano para verificarla pueden modificar el resultado.
Por eso la pregunta correcta quizá no sea si debemos explicar la IA. Una pregunta más exigente sería: ¿qué tipo de explicación ayuda a una persona concreta a detectar un error concreto dentro de una decisión concreta?
VIII. De la explicación a la refutación
Durante años hemos diseñado sistemas intentando responder una pregunta comprensible: ¿cómo hacemos que la IA explique por qué tiene razón? La evidencia emergente sugiere que quizá debamos añadir otra: ¿cómo hacemos más fácil descubrir cuándo no la tiene?
La diferencia parece pequeña, pero conduce a arquitecturas muy distintas. Una interfaz centrada en explicación puede decir: “Recomiendo X porque A, B y C”. Su objetivo principal es hacer inteligible la conclusión. Una interfaz centrada en verificación podría presentar la misma recomendación junto con la evidencia que la sostiene, la información que la contradice, las condiciones bajo las cuales disminuye el desempeño del sistema, su nivel de incertidumbre y los datos que el humano debería comprobar antes de decidir.
En el primer caso, el sistema construye un argumento. En el segundo, intenta proporcionar las condiciones para poner ese argumento a prueba. La diferencia no exige abandonar las explicaciones ni convertir cada interacción en una auditoría interminable; exige reconocer que hacer comprensible una recomendación y hacerla verificable son problemas distintos.
Esta distinción puede parecer académica hasta que una recomendación afecta dinero, reputación, empleo, salud o derechos. En ese momento, la pregunta importante deja de ser si el sistema explicó suficientemente bien su conclusión y pasa a ser si alguien tenía una oportunidad razonable de descubrir que estaba equivocada.
IX. La regulación también enfrenta esta distinción
La cuestión llega además en un momento relevante para la regulación de la inteligencia artificial. El AI Act europeo establece requisitos de transparencia para determinados sistemas y contempla medidas de supervisión humana en sistemas clasificados como de alto riesgo. Desde agosto de 2026 comenzaron a ser aplicables determinadas obligaciones previstas en el reglamento, aunque el calendario regulatorio completo depende del tipo de sistema y de la obligación concreta.
Esto introduce una distinción que las organizaciones deberían conservar cuidadosamente: transparencia regulatoria, explicabilidad técnica y supervisión cognitiva no son la misma cosa. Un sistema puede proporcionar información sobre su funcionamiento sin garantizar que una persona detectará sus errores; puede existir un supervisor humano sin que ese supervisor conserve verdadera independencia de juicio; y puede existir una explicación perfectamente comprensible que, paradójicamente, aumente la confianza en una recomendación incorrecta.
Cumplimiento y buen diseño pueden encontrarse, y en muchos casos deberían hacerlo. Pero uno no demuestra automáticamente el otro. Una organización puede satisfacer un requisito formal y seguir teniendo una arquitectura de decisión en la que el humano llega demasiado tarde, conoce demasiado poco o recibe la recomendación de una manera que dificulta contradecirla.
La regulación puede exigir que exista supervisión. El diseño debe preguntarse si esa supervisión funciona realmente cuando la máquina se equivoca.
X. Una prueba más exigente para las empresas
¿Qué significa todo esto para una organización que empieza a introducir asistentes, copilotos o agentes de IA? La evidencia todavía no permite formular una receta universal, y sería contradictorio convertir unos cuantos estudios contextuales en una nueva doctrina. Pero sí permite formular pruebas mejores que la simple pregunta de si el sistema funciona o si los usuarios están satisfechos con él.
La primera consiste en medir qué ocurre cuando la IA falla, no solamente cuánto ayuda cuando acierta. Una evaluación promedio puede esconder una asimetría importante: el sistema podría producir una mejora modesta cuando tiene razón y un deterioro considerable cuando está equivocado. En ese escenario, una métrica agregada de desempeño diría poco sobre el riesgo real. La pregunta más incómoda —y quizá más útil— es cuánto daño produce un error convincente.
También conviene probar distintas arquitecturas de interacción. IA primero frente a humano primero; recomendación sola frente a recomendación explicada; explicación narrativa frente a evidencia verificable; conclusión aislada frente a conclusión acompañada de incertidumbre. El objetivo no debería ser únicamente medir satisfacción, velocidad o tasa de adopción, sino observar qué diseño permite detectar mejor las recomendaciones incorrectas.
Algo parecido ocurre con el desacuerdo. Una alta tasa de aceptación de recomendaciones algorítmicas puede interpretarse como señal de adopción, pero también puede revelar dependencia. Cuando la IA se equivoca queremos que exista una persona capaz de contradecirla, de modo que una métrica particularmente interesante no sea simplemente cuántas veces alguien hace override, sino cuántas veces contradice correctamente una recomendación equivocada.
Todo ello conduce a una unidad de análisis más amplia. Quizá ya no sea suficiente evaluar solamente al modelo. El sistema real está compuesto por IA, persona, interfaz, proceso y contexto, y el resultado emerge de la interacción entre todos ellos. Un excelente modelo dentro de una mala arquitectura de decisión puede producir resultados deficientes; un modelo imperfecto dentro de un proceso capaz de detectar y contener sus errores puede resultar considerablemente más útil.
XI. Una pedagogía de la refutación
La consecuencia más interesante quizá no sea tecnológica, sino cultural. Durante mucho tiempo hemos asociado una buena experiencia digital con reducir fricción: menos clics, menos pasos, menos esfuerzo. La IA generativa lleva esa lógica hasta un extremo fascinante porque puede reducir incluso la fricción de pensar: resume, interpreta, compara, recomienda y explica. Cada una de esas capacidades puede liberarnos de trabajo innecesario, pero juntas plantean una pregunta incómoda: ¿qué ocurre cuando también eliminamos el esfuerzo intelectual que nos permitía descubrir que algo no cuadraba?
Precisamente por eso, en determinadas decisiones quizá necesitemos introducir deliberadamente una pequeña cantidad de fricción cognitiva. No para dificultar el trabajo, sino para preservar el juicio. Esa fricción puede consistir en pedir una evaluación independiente antes de revelar la recomendación de la IA, mostrar evidencia que contradiga su conclusión, exigir la verificación de una fuente cuando la decisión tenga mayor impacto, expresar incertidumbre con claridad o distinguir aquello que sabemos de aquello que el sistema simplemente infiere. El propósito no sería hacer más lenta cada decisión, sino evitar que la fluidez de la interfaz convierta una conclusión plausible en una conclusión incuestionable.
Hay una inversión interesante detrás de esta idea. Durante años hemos diseñado software preguntándonos cómo eliminar obstáculos entre el usuario y la acción. Con sistemas capaces de influir en nuestro juicio, quizá debamos aprender también dónde no conviene eliminar el obstáculo. Una pausa, una contradicción o una segunda fuente pueden parecer defectos de experiencia de usuario y, sin embargo, convertirse en mecanismos que preservan la independencia de quien decide.
No sabemos todavía cuál será la arquitectura óptima. La evidencia disponible es demasiado específica y contextual para afirmarlo. Pero sí empieza a cuestionar una intuición que parecía indiscutible: hacer que una IA explique mejor sus respuestas no garantiza que los humanos tomemos mejores decisiones.
Coda: conservar el derecho a dudar
Los modelos generativos son maestros de una capacidad que los humanos valoramos profundamente: construir sentido mediante lenguaje. Pueden tomar información dispersa y convertirla en una explicación clara, ordenada y persuasiva; pueden mostrarnos relaciones que no habíamos visto, traducir complejidad y ayudarnos a recorrer problemas que antes exigían mucho más tiempo.
Esa misma capacidad puede conseguir que un error parezca extraordinariamente razonable. Ahí reside la paradoja que atraviesa estas investigaciones: aquello que hace valiosa a una explicación —su capacidad para ordenar el mundo y hacerlo comprensible— también puede disminuir nuestra disposición a sospechar de ella.
Quizá el reto de la próxima generación de sistemas de inteligencia artificial no consista únicamente en conseguir máquinas capaces de explicar lo que hacen. Consista también en diseñar entornos donde las personas conserven suficiente independencia intelectual para escuchar una explicación impecable y responder: “Entiendo perfectamente tu argumento. Ahora quiero comprobar si es cierto.”
Porque una explicación puede ayudarnos a entender. La evidencia es la que debería ayudarnos a decidir.
Fuentes principales
- Xu, X. et al. Divergent impacts of explainable AI for dermatological diagnosis on clinicians versus lay people. Nature Medicine, 2026. DOI: 10.1038/s41591-026-04553-w.
- Lane, J. N. et al. Narrative AI and the Human-AI Oversight Paradox in Evaluating Early-Stage Innovations. ICIS Proceedings / Working Paper.
- Rieger, T. et al. AI Error Difficulty Modulates the Effectiveness of Explainability in Decision Support Systems. ACM Transactions on Computer-Human Interaction, 2026.
- Davis, S. E. et al. Explainability in context: calibrating appropriate trust and reliance in artificial intelligence. Journal of the American Medical Informatics Association, 2026.
- Reglamento (UE) 2024/1689 — Artificial Intelligence Act, especialmente disposiciones sobre transparencia y supervisión humana.
