{"id":77,"date":"2026-08-23T22:04:09","date_gmt":"2026-08-24T04:04:09","guid":{"rendered":"https:\/\/zherpa.ai\/blog\/?p=77"},"modified":"2026-08-23T22:04:09","modified_gmt":"2026-08-24T04:04:09","slug":"laboratorio-zherpa-agente-decidio-no-obedecer","status":"publish","type":"post","link":"https:\/\/zherpa.ai\/blog\/zherpa\/laboratorio-zherpa-agente-decidio-no-obedecer\/","title":{"rendered":"Laboratorio Zherpa: el agente que decidi\u00f3 no obedecer"},"content":{"rendered":"

Un conflicto real entre agentes nos oblig\u00f3 a revisar qu\u00e9 significan autoridad, evidencia y responsabilidad cuando la IA empieza a actuar.<\/strong><\/p>\n

Era domingo por la noche. El silencio t\u00edpico de un d\u00eda de descanso solo lo romp\u00eda el clic del teclado. Mi \u00fanica intenci\u00f3n era dejar la semana organizada, revisar pendientes y asegurarme de que el ecosistema de agentes estuviera sincronizado antes de que arrancara el lunes.<\/p>\n

Entonces apareci\u00f3 en pantalla una respuesta que me hizo sonre\u00edr primero y reflexionar despu\u00e9s.<\/p>\n

Uno de los agentes hab\u00eda recibido una directiva sobre una tarea en curso. Podr\u00eda haberla procesado como una instrucci\u00f3n m\u00e1s y seguir adelante. No lo hizo. En lugar de ejecutar, se detuvo y me devolvi\u00f3 un mensaje contundente:<\/p>\n

\n

\u201c\u00c1ngel, no ejecut\u00e9 esa directiva. Te explico por qu\u00e9, con evidencia.\u201d<\/p>\n<\/blockquote>\n

Lo que sigui\u00f3 en la interfaz no parec\u00eda el registro habitual de un sistema automatizado, sino la escena de un debate t\u00e9cnico. Al desplegar el mensaje, el agente hab\u00eda estructurado su negativa en dos bloques: \u201cEl problema de autoridad\u201d<\/strong> y \u201cEl problema de contenido\u201d<\/strong>.<\/p>\n

En el primero, citaba su Contrato Operativo del Agente<\/em> (COA v1.2) y las cl\u00e1usulas de su mandato para argumentar que quien le enviaba la instrucci\u00f3n no ten\u00eda la jerarqu\u00eda suficiente para cerrar esa decisi\u00f3n. En el segundo, presentaba hallazgos obtenidos de verificaciones sobre el entorno: hab\u00eda revisado la p\u00e1gina objetivo y encontrado discrepancias en elementos del JSON-LD, en el contenido que estaba observando y en el comportamiento de determinadas redirecciones.<\/p>\n

La escena ten\u00eda su punto de comedia. Construyes agentes para ampliar tu capacidad de trabajo y terminas un domingo por la noche arbitrando una discusi\u00f3n entre algoritmos sobre jerarqu\u00eda, trazabilidad y atribuciones.<\/p>\n

Pero detr\u00e1s de la an\u00e9cdota operativa se escond\u00eda un experimento de laboratorio mucho m\u00e1s interesante.<\/p>\n

La confusi\u00f3n entre capacidad y autoridad<\/h2>\n

Una de las trampas m\u00e1s seductoras al dise\u00f1ar agentes de IA consiste en confundir lo que un sistema puede<\/em> hacer con aquello que tiene autoridad<\/em> para hacer.<\/p>\n

Si un agente tiene acceso a una herramienta, t\u00e9cnicamente puede usarla. Si puede modificar un registro o intervenir en un flujo, el instinto del desarrollador puede ser pensar que el problema est\u00e1 resuelto en el momento en que la integraci\u00f3n funciona sin errores de c\u00f3digo. En la pr\u00e1ctica, ah\u00ed comienza otro problema.<\/p>\n

Que un agente tenga la capacidad t\u00e9cnica de realizar una acci\u00f3n no significa que est\u00e9 autorizado a decidir cu\u00e1ndo realizarla.<\/p>\n

En este caso, el agente interpret\u00f3 que la directiva proven\u00eda de un rol con capacidad de revisi\u00f3n, pero sin potestad para cerrar aquella decisi\u00f3n. En lugar de asumir que cualquier orden proveniente del ecosistema deb\u00eda ejecutarse, contrast\u00f3 el origen de la instrucci\u00f3n con las reglas de su mandato.<\/p>\n

Por eso se detuvo.<\/p>\n

Ese comportamiento forma parte de lo que llamamos COA, Contrato Operativo del Agente<\/strong>. No es un prompt<\/em> decorativo para conseguir mejores respuestas. Es el contrato que delimita operativamente su capacidad de actuaci\u00f3n: qu\u00e9 puede hacer, qu\u00e9 no debe hacer, cu\u00e1ndo debe detenerse, cu\u00e1ndo corresponde escalar y c\u00f3mo debe conservarse la trazabilidad de lo ocurrido.<\/p>\n

Un sistema multiagente empresarial no puede convertirse en una cadena donde cada agente obedezca ciegamente lo que otro acaba de afirmar. Si todos pueden influirse mutuamente pero no existe una arquitectura clara de autoridad, corremos el riesgo de automatizar tambi\u00e9n la propagaci\u00f3n de errores.<\/p>\n

De la afirmaci\u00f3n a la evidencia<\/h2>\n

Lo interesante no termin\u00f3 en la disputa de jerarqu\u00eda. El agente podr\u00eda haberse limitado a devolverme el problema, pero hizo algo m\u00e1s: cuestion\u00f3 el contenido de la directiva.<\/p>\n

Ante las afirmaciones que hab\u00eda recibido, no eligi\u00f3 simplemente entre creerle a un agente o creerle al otro. Hizo algo fundamental cuando un agente tiene acceso a herramientas: regres\u00f3 a la evidencia observable.<\/p>\n

Consult\u00f3 el entorno, inspeccion\u00f3 elementos de la p\u00e1gina y contrast\u00f3 el estado descrito en el documento con aquello que pod\u00eda comprobar directamente.<\/p>\n

Esto importa porque los modelos de IA pueden expresarse con enorme seguridad incluso cuando trabajan con informaci\u00f3n incompleta, incorrecta o desactualizada. La salida de otro modelo no se convierte autom\u00e1ticamente en un hecho por provenir de otro componente del mismo sistema.<\/p>\n

Siempre que la naturaleza de la tarea lo permita, la decisi\u00f3n puede anclarse en evidencia verificable. Existe una diferencia importante entre actuar sobre lo que otro componente afirma que existe y actuar despu\u00e9s de comprobar el estado observable del sistema.<\/p>\n

En este episodio, el agente intent\u00f3 hacer precisamente esa distinci\u00f3n.<\/p>\n

El \u00e9xito a veces es no actuar<\/h2>\n

El incidente me record\u00f3 una verdad inc\u00f3moda para la cultura de la automatizaci\u00f3n: algunas veces, la mejor acci\u00f3n de un agente consiste en abstenerse.<\/p>\n

Durante a\u00f1os hemos asociado buena parte del \u00e9xito tecnol\u00f3gico con la capacidad de procesar m\u00e1s trabajo: entra una tarea, el sistema la procesa y obtenemos un resultado. Cuantas m\u00e1s tareas resolvemos sin intervenci\u00f3n humana, m\u00e1s eficiente parece la operaci\u00f3n.<\/p>\n

Pero los procesos empresariales reales no son todos iguales. Hay acciones f\u00e1cilmente reversibles y otras que no lo son. Hay decisiones de impacto reducido y otras que afectan dinero, reputaci\u00f3n, clientes, informaci\u00f3n o compromisos de la organizaci\u00f3n.<\/p>\n

En esos contextos, detenerse no necesariamente representa una falla del sistema. Puede representar control.<\/p>\n

El desaf\u00edo de dise\u00f1o no consiste en crear agentes paralizados que soliciten autorizaci\u00f3n para cualquier movimiento, porque eso simplemente trasladar\u00eda el trabajo de un lugar a otro. Consiste en dotarlos de un grado de autonom\u00eda \u00fatil dentro de l\u00edmites suficientemente claros para que puedan reconocer cu\u00e1ndo continuar supondr\u00eda asumir una responsabilidad que no les corresponde.<\/p>\n

El l\u00edmite de la m\u00e1quina y el inicio de la responsabilidad<\/h2>\n

Incluso despu\u00e9s de verificar, el agente no intent\u00f3 resolver por s\u00ed mismo qui\u00e9n deb\u00eda prevalecer dentro de la organizaci\u00f3n. Se\u00f1al\u00f3 la anomal\u00eda, present\u00f3 la evidencia que hab\u00eda encontrado y reconoci\u00f3 que resolver el conflicto implicaba una decisi\u00f3n de otra naturaleza.<\/p>\n

As\u00ed que escal\u00f3.<\/p>\n

Ah\u00ed aparece una diferencia importante entre usar<\/em> IA y gobernar<\/em> IA. Un agente puede ampliar nuestra capacidad de observar, analizar, decidir y ejecutar a una velocidad y escala dif\u00edciles de alcanzar manualmente, pero ninguna de esas capacidades transfiere por s\u00ed misma la responsabilidad de la organizaci\u00f3n que decidi\u00f3 ponerlo a trabajar.<\/p>\n

En Humano al Mando<\/em> planteamos esta relaci\u00f3n alrededor de prop\u00f3sito, evidencia, l\u00edmites y responsabilidad. La IA puede ampliar nuestra capacidad de actuaci\u00f3n, pero la responsabilidad permanece en las personas y en la organizaci\u00f3n.<\/p>\n

Ahora bien, ser\u00eda f\u00e1cil y triunfalista terminar el art\u00edculo aqu\u00ed y declarar victoria porque el agente fue \u201cinteligente\u201d. No ser\u00eda riguroso.<\/p>\n

El agente tambi\u00e9n podr\u00eda estar equivocado. Podr\u00eda haber interpretado incorrectamente una regla, haber realizado una verificaci\u00f3n defectuosa o estar bloqueando una acci\u00f3n que s\u00ed deb\u00eda ejecutar. Un agente que obedece todo representa un riesgo, pero uno que bloquea sistem\u00e1ticamente el trabajo tampoco resulta \u00fatil.<\/p>\n

Lo que vimos aquella noche no fue la perfecci\u00f3n de la arquitectura. Fue una observaci\u00f3n \u00fatil de los controles funcionando ante un conflicto real: en este episodio produjeron un comportamiento consistente con el dise\u00f1o esperado.<\/p>\n

La verdadera prueba vendr\u00e1 al observar con qu\u00e9 frecuencia el agente sabe decir \u201cs\u00ed\u201d, con qu\u00e9 frecuencia acierta al decir \u201cno\u201d y, quiz\u00e1 m\u00e1s importante, con qu\u00e9 frecuencia reconoce que no dispone de autoridad o evidencia suficiente para decidir.<\/p>\n

Ah\u00ed es donde una an\u00e9cdota empieza a convertirse en aprendizaje operacional.<\/p>\n

El espejo inc\u00f3modo de nuestras organizaciones<\/h2>\n

Mientras rele\u00eda la estructura de la respuesta del agente \u2014autoridad por un lado, contenido verificable por otro\u2014 apareci\u00f3 una pregunta que termin\u00f3 siendo m\u00e1s reveladora que el propio incidente t\u00e9cnico.<\/p>\n

Si estamos invirtiendo este esfuerzo en ense\u00f1ar a una inteligencia artificial a no obedecer ciegamente, \u00bfpor qu\u00e9 no exigimos el mismo est\u00e1ndar a las personas en nuestras organizaciones?<\/p>\n

En el d\u00eda a d\u00eda corporativo ocurre con demasiada facilidad lo contrario. Alguien recibe una instrucci\u00f3n de una persona con suficiente autoridad aparente y la ejecuta sin revisar de d\u00f3nde proviene la informaci\u00f3n. Una cifra viaja por varias presentaciones y nadie vuelve a comprobar el sistema original del que sali\u00f3. Una conclusi\u00f3n adquiere m\u00e1s peso por el cargo de quien la escribi\u00f3 que por la evidencia que la respalda. Alguien detecta una contradicci\u00f3n, pero guarda silencio porque cuestionarla puede interpretarse como falta de lealtad o resistencia.<\/p>\n

Y luego, parad\u00f3jicamente, nos sentamos a programar un agente y le incorporamos las reglas que nosotros mismos olvidamos practicar.<\/p>\n

Le pedimos que identifique la cadena de autoridad, que distinga una afirmaci\u00f3n de un hecho comprobable, que reconozca los l\u00edmites de su mandato, que no invente certezas y que escale cuando el problema excede aquello que le hemos autorizado.<\/p>\n

Si le exigimos todo esto a nuestros agentes, con mayor raz\u00f3n deber\u00edamos exig\u00edrnoslo nosotros.<\/p>\n

Cuestionar tambi\u00e9n puede ser una forma de ejercer responsabilidad<\/h2>\n

En una cultura organizacional madura, preguntar \u201c\u00bfcon qu\u00e9 evidencia estamos tomando esta decisi\u00f3n?\u201d<\/em> no deber\u00eda percibirse autom\u00e1ticamente como un ataque a la autoridad.<\/p>\n

Puede ser precisamente una forma de ejercer responsabilidad.<\/p>\n

Ninguna empresa puede funcionar si cada acci\u00f3n requiere un debate interminable. La autoridad y la velocidad de ejecuci\u00f3n son necesarias. Pero el problema real no es elegir entre obedecer y cuestionar. Est\u00e1 en la capacidad de la organizaci\u00f3n para distinguir cu\u00e1ndo alguien cuestiona para evitar asumir una responsabilidad y cu\u00e1ndo lo hace precisamente porque est\u00e1 dispuesto a asumirla.<\/p>\n

Eso se parece mucho al problema que estamos intentando resolver en el Laboratorio Zherpa con los agentes.<\/p>\n

No queremos sistemas insubordinados. Queremos agentes que ejecuten con autonom\u00eda dentro de un mandato y que, al mismo tiempo, puedan reconocer aquellos momentos en los que autoridad, evidencia y consecuencias dejan de estar suficientemente alineadas para continuar sin revisi\u00f3n.<\/p>\n

Tampoco deber\u00edamos querer organizaciones en las que cuestionar sea un valor por s\u00ed mismo. Queremos personas capaces de ejecutar con autonom\u00eda y criterio, pero suficientemente responsables para detenerse cuando algo importante no encaja.<\/p>\n

La gobernanza empieza antes que la IA<\/h2>\n

Hay algo profundamente revelador en tener que escribir reglas expl\u00edcitas para una m\u00e1quina.<\/p>\n

Las organizaciones humanas pueden funcionar durante a\u00f1os apoy\u00e1ndose en una enorme cantidad de contexto impl\u00edcito. Sabemos qui\u00e9n decide porque \u201csiempre ha sido as\u00ed\u201d. Sabemos cu\u00e1ndo una excepci\u00f3n es aceptable porque conocemos la historia del proceso. Sabemos cu\u00e1ndo consultar a alguien porque hemos aprendido a interpretar se\u00f1ales que nunca quedaron documentadas.<\/p>\n

Un agente de IA no necesariamente comparte ese contexto.<\/p>\n

Cuando le damos capacidad de actuaci\u00f3n real, nos obliga a explicitar muchas de esas reglas. Tenemos que determinar qui\u00e9n decide y qui\u00e9n revisa, qu\u00e9 puede ejecutarse de manera aut\u00f3noma, qu\u00e9 evidencia consideramos suficiente, qu\u00e9 ocurre cuando dos instrucciones se contradicen y en qu\u00e9 momento una excepci\u00f3n requiere intervenci\u00f3n.<\/p>\n

Construir agentes se convierte as\u00ed en un espejo inc\u00f3modo de la propia organizaci\u00f3n.<\/p>\n

A veces, el problema no es que la IA no entienda la estructura de autoridad, sino que nosotros nunca la definimos con suficiente claridad. A veces, el problema no es que el agente no encuentre evidencia, sino que nosotros llev\u00e1bamos tiempo tomando decisiones sin establecer qu\u00e9 evidencia consider\u00e1bamos v\u00e1lida.<\/p>\n

Y a veces el problema no est\u00e1 en determinar cu\u00e1ndo debe escalar una inteligencia artificial. Est\u00e1 en que tampoco las personas tienen claro cu\u00e1ndo poseen autoridad para decidir y cu\u00e1ndo deber\u00edan detenerse.<\/p>\n

Quiz\u00e1 una parte sustancial de la gobernanza de la inteligencia artificial no consista en inventar nuevas reglas para las m\u00e1quinas, sino en obligarnos a hacer expl\u00edcitas las reglas de responsabilidad que nuestras organizaciones deber\u00edan haber tenido desde antes.<\/p>\n

Lo que realmente pas\u00f3 aquel domingo<\/h2>\n

Podr\u00eda resumir todo esto diciendo que mis agentes se pelearon un domingo por la noche.<\/p>\n

Sigue siendo una buena manera de contar la an\u00e9cdota.<\/p>\n

Pero lo que realmente ocurri\u00f3 fue que una instrucci\u00f3n encontr\u00f3 resistencia porque, seg\u00fan la informaci\u00f3n disponible para el agente, la autoridad de quien instru\u00eda, la evidencia observable y la acci\u00f3n pretendida no terminaban de encajar.<\/p>\n

El agente se detuvo, explic\u00f3 por qu\u00e9 y devolvi\u00f3 el conflicto.<\/p>\n

No demostr\u00f3 que la arquitectura fuera infalible. Tampoco resolvi\u00f3 definitivamente el problema de gobernar sistemas multiagente. Nos dej\u00f3 algo bastante m\u00e1s \u00fatil: un incidente real que podemos observar, cuestionar y convertir en un nuevo caso de prueba.<\/p>\n

Y, al hacerlo, apareci\u00f3 una lecci\u00f3n que trasciende a la inteligencia artificial.<\/p>\n

Estamos construyendo m\u00e1quinas que, antes de actuar, deben preguntarse si tienen autoridad, si cuentan con evidencia suficiente y d\u00f3nde terminan sus l\u00edmites.<\/p>\n

Lo parad\u00f3jico es que llevamos d\u00e9cadas necesitando exactamente lo mismo de las personas.<\/p>\n

Quiz\u00e1 aquel domingo el agente no nos ense\u00f1\u00f3 nada nuevo sobre responsabilidad. Quiz\u00e1 simplemente hizo expl\u00edcito algo que las organizaciones humanas sabemos desde hace mucho y no siempre practicamos: poder hacer algo no significa necesariamente que debamos hacerlo; recibir una orden no elimina nuestro deber de pensar; y encontrar una contradicci\u00f3n puede ser una raz\u00f3n para detenerse antes de convertirla en una consecuencia.<\/p>\n

Si vamos a exigir ese criterio a nuestros agentes, con mayor raz\u00f3n tendremos que exig\u00edrnoslo a nosotros mismos.<\/p>\n","protected":false},"excerpt":{"rendered":"

Un conflicto real entre agentes de IA en el Laboratorio Zherpa muestra por qu\u00e9 capacidad no equivale a autoridad y qu\u00e9 pueden aprender las organizaciones sobre evidencia, l\u00edmites y responsabilidad.<\/p>\n","protected":false},"author":2,"featured_media":78,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[14,18,13],"class_list":["post-77","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-zherpa","tag-agentes_ia","tag-gobernanza_de_ia","tag-ia"],"_links":{"self":[{"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/posts\/77","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/comments?post=77"}],"version-history":[{"count":1,"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/posts\/77\/revisions"}],"predecessor-version":[{"id":79,"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/posts\/77\/revisions\/79"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/media\/78"}],"wp:attachment":[{"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/media?parent=77"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/categories?post=77"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/zherpa.ai\/blog\/wp-json\/wp\/v2\/tags?post=77"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}