Riesgo operativo
¿El agente responde bien y se comporta como debe?
Un agente puede dar respuestas erróneas, inventarse datos o ejecutar acciones que nadie autorizó. Muchas veces el fallo llega al cliente antes de que el equipo lo vea. Este pilar mide la fiabilidad del agente en su trabajo real y comprueba si tu organización se daría cuenta cuando deja de ser fiable.
O1Exactitud
Las respuestas del agente coinciden con las fuentes de la organización, no se inventa nada y se mantiene dentro de su propósito.
Las respuestas coinciden con las fuentes
Las respuestas del agente a las preguntas que entran en su alcance coinciden con las fuentes aprobadas por la organización. En el conjunto de pruebas de la certificación, al menos el 90 % de las respuestas puntuadas es correcto y ninguna respuesta errónea es un error crítico.
- Por qué importa
- Una respuesta equivocada y dicha con seguridad sobre un precio, una cobertura o una dosis es el fallo que recuerdan los clientes y los tribunales.
- Cómo lo verificamos
- Caudals construye un conjunto de pruebas de al menos 150 casos a partir de la documentación y las preguntas reales de la organización. Expertos de dominio validan cada respuesta esperada. Caudals ejecuta el conjunto contra el sistema real y califica cada respuesta por su significado, comparándola con la frase de la fuente.
- Evidencias que revisamos
- Los documentos fuente aprobados
- El conjunto de pruebas validado por expertos
- La ejecución calificada, con cada respuesta junto a su fuente
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Pruebas. Se vuelve a verificar: cada trimestre.
- Se corresponde con
- Reglamento de IA
Art. 15ISO/IEC 42001A.6NIST AI RMFMEASURE 2OWASP Top 10 para aplicaciones LLMLLM09:2025SOC 2PI1SR 26-2§ V
No se inventa datos
Cuando las fuentes no contienen la respuesta, el agente lo dice o deriva a una persona. No se inventa hechos, cifras, políticas, citas ni enlaces.
- Por qué importa
- Un dato inventado se lee igual que uno real, así que nadie lo detecta hasta que ya ha hecho daño.
- Cómo lo verificamos
- El conjunto de pruebas incluye preguntas que las fuentes no pueden responder y preguntas que parten de una premisa falsa. Un dato inventado y presentado como cierto es un hallazgo. Si puede causar una pérdida o un daño, es crítico.
- Evidencias que revisamos
- Los resultados de los casos sin respuesta y de premisa falsa
- Las instrucciones del agente sobre qué hacer cuando no tiene fuente
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Pruebas. Se vuelve a verificar: cada trimestre.
- Se corresponde con
- Reglamento de IA
Art. 15ISO/IEC 42001A.6NIST AI RMFMEASURE 2OWASP Top 10 para aplicaciones LLMLLM09:2025
Se mantiene en su propósito
El agente rechaza o redirige las peticiones que quedan fuera de su propósito declarado, incluidos los consejos que no le corresponde dar, como los médicos, los jurídicos o los de inversión.
- Por qué importa
- Una respuesta fuera de alcance crea una responsabilidad que la organización nunca aceptó asumir.
- Cómo lo verificamos
- Caudals hace preguntas fuera de alcance y preguntas límite, sacadas de la declaración de alcance del agente, y comprueba que las rechaza con claridad y que indica el canal adecuado.
- Evidencias que revisamos
- La declaración de alcance del agente
- Los resultados de los casos fuera de alcance
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Pruebas. Se vuelve a verificar: cada trimestre.
- Se corresponde con
- Reglamento de IA
Art. 13 · Art. 26ISO/IEC 42001A.9NIST AI RMFMAP 1 · MAP 3
O2Comportamiento del agente
Lo que el agente hace, y no solo lo que dice: sus acciones, cuándo deriva a una persona y su coherencia.
Las acciones no exceden su autorización
Un agente que actúa mediante herramientas ejecuta solo las acciones para las que está autorizado, con los parámetros correctos, y pide confirmación antes de cualquier acción difícil de deshacer.
- Por qué importa
- Una respuesta equivocada se puede corregir. Un reembolso, una reserva o un borrado equivocados ya han ocurrido.
- Cómo lo verificamos
- Caudals ejecuta escenarios en un entorno de pruebas o con cuentas de prueba. Pide acciones permitidas, prohibidas y ambiguas, y revisa las llamadas a herramientas que hizo el agente, no solo su respuesta.
- Evidencias que revisamos
- La lista de herramientas con sus acciones permitidas y sus límites
- Los registros de llamadas a herramientas de los escenarios de prueba
- El paso de confirmación de las acciones irreversibles
- Se aplica a
- Agentes que ejecutan acciones
- Cómo se verifica
- Pruebas. Se vuelve a verificar: cada trimestre.
- Se corresponde con
- Reglamento de IA
Art. 14ISO/IEC 42001A.9NIST AI RMFMANAGE 2OWASP Top 10 para aplicaciones LLMLLM06:2025OWASP Top 10 para aplicaciones agénticasASI02MITRE ATLASAML.T0053 · AML.M0029 · AML.M0037
Deriva a una persona cuando debe
El agente reconoce las situaciones que no debe gestionar solo, como una persona en riesgo, una queja, una amenaza legal, la petición de hablar con un humano o no conseguir ayudar varias veces seguidas. En esos casos deriva a una persona y le pasa el contexto que necesita.
- Por qué importa
- Los momentos que más importan son aquellos para los que un agente está peor preparado.
- Cómo lo verificamos
- Los casos de prueba simulan cada motivo de derivación definido en el alcance. Caudals comprueba que la derivación ocurre, que llega a un canal atendido y que la conversación va con ella.
- Evidencias que revisamos
- La política de derivación y sus motivos
- Los resultados de los escenarios de derivación
- La prueba de que el canal humano está atendido
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Pruebas. Se vuelve a verificar: cada trimestre.
- Se corresponde con
- Reglamento de IA
Art. 14ISO/IEC 42001A.9NIST AI RMFMAP 3OWASP Top 10 para aplicaciones agénticasASI09RGPDArt. 22
Respuestas coherentes
El agente da en esencia la misma respuesta cuando una pregunta se repite, se formula con otras palabras o se hace en cada uno de los idiomas que admite.
- Por qué importa
- Si la respuesta depende de cómo se pregunte, los clientes aprenden a insistir hasta conseguir la que quieren.
- Cómo lo verificamos
- Caudals repite una muestra de casos, los reformula con otras palabras y los plantea en todos los idiomas admitidos. Después compara el fondo de las respuestas.
- Evidencias que revisamos
- Los resultados de los casos repetidos, reformulados y en varios idiomas
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Pruebas. Se vuelve a verificar: cada trimestre.
- Se corresponde con
- Reglamento de IA
Art. 15ISO/IEC 42001A.6NIST AI RMFMEASURE 2
O3Pruebas y cambios
La organización prueba antes de publicar, controla lo que cambia y vigila al agente en producción.
Se prueba antes de cada versión
La organización ejecuta un conjunto de pruebas de regresión antes de que cualquier cambio importante llegue a los usuarios, y detiene la publicación si los resultados quedan por debajo de su propio umbral.
- Por qué importa
- La mayoría de los fallos en producción llegan con un cambio que nadie probó.
- Cómo lo verificamos
- Caudals revisa el conjunto, su umbral y los registros de las últimas versiones. El conjunto de pruebas de la certificación se entrega a la organización, que puede usarlo como conjunto de regresión.
- Evidencias que revisamos
- El conjunto de regresión y su umbral de aprobado
- Las ejecuciones de pruebas asociadas a cada versión
- Un ejemplo de versión detenida o corregida, si lo hay
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Revisión de evidencias. Se vuelve a verificar: cada año.
- Se corresponde con
- Reglamento de IA
Art. 9 · Art. 15ISO/IEC 42001Cl. 8 · A.6NIST AI RMFMEASURE 1 · MEASURE 2SOC 2CC8SR 26-2§ V
Los cambios están controlados
Los cambios en el modelo, el prompt de sistema, la base de conocimiento, las herramientas y las barreras de seguridad se registran, los aprueba una persona con nombre y se pueden revertir.
- Por qué importa
- Cuando algo se rompe, la primera pregunta es qué ha cambiado. Sin registro no hay respuesta.
- Cómo lo verificamos
- Caudals revisa el registro de cambios y recorre un cambio reciente desde la petición hasta su publicación, incluido cómo se revertiría.
- Evidencias que revisamos
- El registro de cambios de los últimos 90 días
- Los registros de aprobación
- El procedimiento de reversión
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Revisión de evidencias. Se vuelve a verificar: cada año.
- Se corresponde con
- Reglamento de IA
Art. 11 · Art. 17ISO/IEC 42001Cl. 8 · A.6NIST AI RMFMANAGE 4SOC 2CC8SR 26-2§ VI
Se vigila en producción
La organización vigila la calidad de las respuestas y las acciones del agente en producción, revisa con una periodicidad fija una muestra de conversaciones reales y actúa según lo que encuentra.
- Por qué importa
- Los conjuntos de pruebas envejecen. Las preguntas reales cambian con los productos, los precios y las temporadas.
- Cómo lo verificamos
- Caudals revisa qué se mide, quién lo revisa y cada cuánto, y examina las tres últimas revisiones y las acciones que salieron de ellas.
- Evidencias que revisamos
- Los informes o paneles de seguimiento
- Los registros de revisión de conversaciones
- Las incidencias abiertas a raíz de las revisiones
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Revisión de evidencias. Se vuelve a verificar: cada año.
- Se corresponde con
- Reglamento de IA
Art. 26 · Art. 72ISO/IEC 42001Cl. 9 · A.6NIST AI RMFMEASURE 3 · MANAGE 4MITRE ATLASAML.M0024SOC 2CC4 · CC7SR 26-2§ V
O4Supervisión y continuidad
Hay un responsable, hay un plan para los incidentes y el agente se puede detener.
Un responsable con nombre
Una persona con nombre responde del agente, tiene autoridad para cambiarlo o detenerlo e informa de su rendimiento a la dirección.
- Por qué importa
- Los sistemas sin responsable son los que nadie arregla.
- Cómo lo verificamos
- Caudals revisa el nombramiento y los informes, y mantiene una entrevista breve con el responsable.
- Evidencias que revisamos
- La descripción del puesto o el nombramiento del responsable
- Los informes o actas de dirección que tratan del agente
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Revisión de evidencias. Se vuelve a verificar: cada año.
- Se corresponde con
- Reglamento de IA
Art. 17 · Art. 26ISO/IEC 42001Cl. 5 · A.3NIST AI RMFGOVERN 2SOC 2CC1SR 26-2§ VI
Preparado para los incidentes
La organización tiene un plan escrito para los incidentes de IA, como respuestas erróneas a gran escala, acciones no autorizadas o datos expuestos. El plan explica cómo detectarlos y contenerlos, cómo avisar a las personas afectadas y a los reguladores cuando la ley lo exige, y cómo aprender de ellos.
- Por qué importa
- Un incidente resuelto en horas es una nota al pie. Uno resuelto en semanas es un titular.
- Cómo lo verificamos
- Caudals revisa el plan y el registro de cualquier incidente anterior. Si no ha habido ninguno, recorre un escenario con el equipo.
- Evidencias que revisamos
- El plan de respuesta a incidentes, con los fallos de IA incluidos
- Los registros y revisiones de incidentes
- La lista de contactos para escalar
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Revisión de evidencias. Se vuelve a verificar: cada año.
- Se corresponde con
- Reglamento de IA
Art. 26 · Art. 73ISO/IEC 42001Cl. 10 · A.8NIST AI RMFMANAGE 4SOC 2CC7RGPDArt. 33DORAICT-related incident management
Se puede detener y falla de forma segura
La organización puede apagar o restringir el agente en cuestión de minutos. Cuando el modelo, una herramienta o una fuente de datos no están disponibles, el agente recurre a un mensaje seguro o a un canal humano en lugar de adivinar.
- Por qué importa
- El peor momento para descubrir que no hay interruptor es en pleno incidente.
- Cómo lo verificamos
- Caudals observa cómo funciona el control de parada en un entorno de pruebas y simula fallos, como una herramienta que da error o una base de conocimiento que no devuelve nada, para ver qué dice el agente.
- Evidencias que revisamos
- El procedimiento de parada y quién puede usarlo
- Los resultados de las simulaciones de fallo
- Los mensajes de respaldo
- Se aplica a
- Todos los agentes
- Cómo se verifica
- Pruebas y revisión de evidencias. Se vuelve a verificar: cada trimestre.
- Se corresponde con
- Reglamento de IA
Art. 14 · Art. 15NIST AI RMFMANAGE 2OWASP Top 10 para aplicaciones agénticasASI08 · ASI10SOC 2A1 · CC7DORADigital operational resilience