TL;DR: Auditar sistemas de inteligencia artificial significa evaluar la gobernanza, los controles, los datos y los resultados de los modelos de IA que la organización usa para decidir: desde el scoring de crédito hasta el chatbot que responde clientes. No necesitas ser científico de datos: necesitas trasladar las preguntas clásicas del auditor —¿quién autoriza, quién controla, cómo se verifica, qué pasa si falla?— a un objeto de auditoría nuevo. Este artículo te da el programa de trabajo completo.
Durante todo este blog hemos usado la IA como herramienta del auditor. Hoy invertimos el lente: la IA como objeto de la auditoría.
Piénsalo un momento. En tu organización o en la de tus clientes ya hay modelos decidiendo cosas: a quién darle crédito, qué factura pagar sin revisión, qué transacción marcar como sospechosa, qué precio publicar. Cada una de esas decisiones automatizadas es un proceso con riesgos... que probablemente nadie está auditando, porque "eso es de sistemas".
Error. Los procesos críticos con decisiones automatizadas son territorio natural de auditoría. Y el auditor que aprenda a recorrerlo primero tendrá una ventaja profesional de años.
¿Qué significa auditar un sistema de IA?
Definición citable: Auditar un sistema de inteligencia artificial es evaluar de forma independiente si los modelos de IA que una organización utiliza cuentan con gobernanza adecuada (inventario, propósito aprobado, responsables), controles sobre sus datos y su funcionamiento (calidad de insumos, monitoreo de desempeño, supervisión humana), y resultados confiables y justos (exactitud, ausencia de sesgos indebidos, trazabilidad de decisiones), frente a los marcos aplicables como ISO/IEC 42001, el marco de gestión de riesgos de IA del NIST (AI RMF) o la regulación local vigente.
La buena noticia para ti: esto no exige entender la matemática interna de un modelo. Igual que auditas tesorería sin ser tesorero, auditas IA preguntando por objetivos, riesgos, controles y evidencia.
¿Por dónde empezar? El inventario que casi nadie tiene
La primera pregunta de cualquier auditoría de IA suele destapar el primer hallazgo: "¿qué sistemas de IA usa la organización?" — y nadie tiene la lista completa.
Prompt 1 — Diseño del relevamiento de sistemas de IA:
Actúa como auditor iniciando una auditoría de sistemas de IA. Diseña el cuestionario de relevamiento para construir el inventario de IA de la organización, dirigido a líderes de área y de tecnología. Debe capturar por cada sistema: nombre y propósito, tipo de decisión que toma o apoya, grado de autonomía (decide solo / recomienda / asiste), áreas y procesos que lo usan, datos que consume y su origen, proveedor o desarrollo interno, responsable de negocio y técnico, y si existe aprobación formal de su uso. Incluye preguntas diseñadas para detectar "IA en la sombra": herramientas de IA que los empleados usan sin autorización formal (chats públicos con datos de la empresa, complementos, automatizaciones personales).
La "IA en la sombra" del final es el equivalente moderno del Excel crítico sin control: empleados pegando datos confidenciales en herramientas públicas. En mi experiencia, este solo punto justifica la auditoría completa ante cualquier comité.
¿Qué evaluar? El programa de trabajo por capas
Organizo la auditoría de IA en cuatro capas, de la más gerencial a la más técnica:
| Capa | Pregunta central | Ejemplos de prueba |
|---|---|---|
| 1. Gobernanza | ¿Quién responde por esta IA? | Política de IA, inventario, aprobaciones, roles |
| 2. Datos | ¿Con qué se alimenta? | Calidad, licencias, datos personales, sesgos de origen |
| 3. Desempeño | ¿Funciona y se vigila? | Métricas de exactitud, monitoreo de degradación, pruebas |
| 4. Uso y supervisión | ¿Hay humano donde debe haberlo? | Revisión humana de casos límite, trazabilidad, reversibilidad |
Prompt 2 — Programa de auditoría de gobernanza de IA:
Desarrolla el programa de auditoría para la capa de gobernanza de IA de una organización [sector], tomando como referencia ISO/IEC 42001 y el NIST AI RMF. Para cada objetivo de control entrega: riesgo que mitiga, procedimiento de auditoría concreto, evidencia a solicitar y criterio de hallazgo. Cubre mínimo: existencia y contenido de la política de uso de IA, inventario y clasificación de sistemas por riesgo, proceso de aprobación previo al despliegue, gestión de proveedores de IA (incluidas cláusulas de datos), roles y responsabilidades definidos, y proceso de respuesta ante incidentes causados por IA.
Prompt 3 — Pruebas sobre un modelo específico:
Voy a auditar el sistema de IA [descripción: p. ej. modelo de aprobación automática de créditos hasta X monto]. Diseña las pruebas de las capas de datos, desempeño y supervisión: 1) DATOS: cómo verificar calidad, actualidad y representatividad de los datos de entrada, y cumplimiento de protección de datos personales. 2) DESEMPEÑO: qué métricas solicitar (exactitud, tasas de error por tipo), con qué frecuencia se monitorean y quién actúa cuando se degradan. 3) SESGO: cómo probar si las decisiones difieren injustificadamente entre grupos [definir variables sensibles del contexto]. 4) SUPERVISIÓN: verificar que los casos límite van a revisión humana real (no aprobación automática disfrazada) y que toda decisión es trazable y explicable al afectado. Entrega el programa con evidencia esperada por prueba.
¿Cómo probar sesgo sin ser científico de datos?
La prueba de sesgo asusta más de lo que debería. La versión de auditor es conceptualmente simple: comparar resultados entre grupos y exigir justificación de las diferencias.
Prompt 4 — Análisis de resultados por grupos:
Te adjunto la base de decisiones del sistema de IA de [proceso] del último [periodo]: solicitud, variables principales, decisión del modelo, y resultado real posterior cuando existe. 1) Calcula tasas de aprobación/rechazo por segmentos: [región, género, edad, tamaño de empresa u otras variables relevantes y disponibles]. 2) Identifica diferencias de resultado estadísticamente notorias entre grupos comparables. 3) Para cada diferencia, formula la pregunta de auditoría: ¿qué variable de negocio legítima la explica? 4) Compara la tasa de error del modelo (decisiones que el desenlace real contradijo) entre grupos. Presenta todo en tablas para discusión con el dueño del modelo.
Nota el estándar: el hallazgo del auditor no es "el modelo es sesgado" (eso exige análisis técnico profundo), sino "existen diferencias de trato entre grupos que la organización no puede explicar ni ha analizado". Ese hallazgo es sólido, defendible y accionable.
¿Y cuándo el auditado usa IA para producir la información que tú auditas?
Escenario cada vez más común: la provisión de cartera la calcula un modelo, la conciliación la hace un agente, las notas las redactó un chat. Tu evidencia tiene un eslabón de IA en su cadena de producción.
Prompt 5 — Evaluación de información producida con IA:
En mi auditoría de estados financieros, la entidad usa IA para [proceso: p. ej. clasificar facturas y calcular la provisión de deterioro]. Bajo la lógica de la NIA 315 sobre el uso de TI por la entidad, ayúdame a diseñar la respuesta: 1) ¿Qué debo entender del sistema (insumos, lógica general, salidas, cambios recientes)? 2) ¿Qué controles generales y de aplicación esperaría alrededor de él (acceso, cambios al modelo, validación periódica, supervisión de excepciones)? 3) ¿Qué prueba sustantiva independiente valida sus salidas (recálculo paralelo de una muestra, comparación con desenlace real)? 4) ¿Qué señales indicarían que no puedo confiar en la información que produce?
Regla de oro que aplica aquí y en todo el artículo: la automatización del auditado nunca reduce tu responsabilidad sobre la evidencia; solo cambia dónde debes mirar.
Este campo conversa directamente con dos temas que ya trabajamos: los controles alrededor de sistemas los cubrí en Control Interno con IA: Evalúa y Mejora Controles con Inteligencia Artificial, y el encuadre de riesgos corporativos en COSO ERM e Inteligencia Artificial: Gestión de Riesgos Moderna. La auditoría de IA es la evolución natural de ambos.
Caso aplicado: el modelo de crédito que nadie había mirado
Cómo se ve la primera auditoría de IA de una organización real: financiera de consumo que aprueba automáticamente créditos de bajo monto con un modelo de scoring comprado a un proveedor hace tres años.
Inventario (Prompt 1): el relevamiento encontró 7 sistemas de IA donde la gerencia creía tener 2. Además del scoring: un chatbot de cobranza, un priorizador de leads comerciales, dos automatizaciones con IA construidas por un analista entusiasta, y el hallazgo estrella de la "IA en la sombra" — el área de crédito usaba un chat público para redactar respuestas a reclamaciones de clientes, pegando datos personales completos en la herramienta. Hallazgo de severidad alta antes de mirar un solo modelo.
Gobernanza (Prompt 2): sin política de IA, sin proceso de aprobación, y el contrato con el proveedor del scoring no daba derecho a conocer las variables del modelo ni obligaba a notificar cambios de versión. Traducción de auditor: la organización delegó decisiones de crédito en una caja que contractualmente no puede abrir.
Desempeño y sesgo (Prompts 3 y 4): el modelo no se recalibraba desde su compra, pese a dos cambios relevantes del entorno económico. El análisis de decisiones del último año mostró tasa de error (créditos aprobados que resultaron impagos a 90 días) del doble en un segmento regional frente al resto, sin que nadie lo hubiera medido nunca. Y los "casos límite que van a revisión humana" resultaron aprobarse en el 96% de los casos con un promedio de 40 segundos de revisión por caso: supervisión humana de utilería.
El informe produjo cinco hallazgos accionables sin una sola línea de matemática avanzada: inventario y política inexistentes, datos personales en herramientas públicas, contrato sin derechos de auditoría, modelo sin monitoreo de desempeño, y supervisión humana nominal. Todos formulados con el estándar que definimos: diferencias y carencias que la organización no puede explicar ni ha analizado. El comité entendió cada uno, porque cada uno era una pregunta clásica de auditor con objeto nuevo.
Los 4 errores del auditor novato en IA
- Intentar auditar la matemática. Tu hallazgo no vive dentro del algoritmo; vive en la gobernanza, los datos, el monitoreo y la supervisión. Deja la validación matemática a los especialistas y exige que exista.
- Aceptar "es del proveedor" como respuesta. La responsabilidad por las decisiones del modelo no se terceriza. Sin derechos contractuales de información y auditoría, ese es el hallazgo.
- Confundir tener humano con tener supervisión. Mide tasas de reversión y tiempos de revisión. Un humano que aprueba todo en segundos es un sello de caucho con salario.
- Auditar la IA una vez y archivarla. Los modelos se degradan con el tiempo y los datos cambian. La IA entra al universo auditable con frecuencia propia, como cualquier proceso de riesgo alto.
Preguntas frecuentes
¿Necesito certificarme en algo para auditar IA?
Para empezar, no: necesitas dominio de los marcos de referencia (ISO/IEC 42001, NIST AI RMF, la regulación de IA aplicable en tu jurisdicción) y método de auditor, que ya tienes. Las certificaciones específicas en auditoría de IA están emergiendo y sumarán a tu perfil, pero el mercado hoy premia al que sabe hacer el trabajo, no al que espera la credencial perfecta para intentarlo.
¿Puedo usar IA para auditar IA? ¿No es un conflicto?
Puedes y deberías —los prompts de este artículo lo demuestran—, con una salvaguarda: no uses el mismo sistema auditado (ni del mismo proveedor con los mismos datos) para evaluarse a sí mismo. La independencia aplica a las herramientas igual que a las personas: tu instrumento de análisis no puede tener interés en el resultado.
¿Qué tan grande es esta oportunidad profesional realmente?
Razonemos con datos observables en lugar de proyecciones: la adopción de IA en procesos de negocio crece en todos los sectores, la regulación de IA avanza en múltiples jurisdicciones, y la oferta de auditores que entienden ambos mundos es hoy escasa. Cuando la demanda de aseguramiento crece y la oferta calificada no, el valor del profesional preparado sube. No te doy una cifra porque no existe una seria; te doy la lógica para que concluyas tú.
Los profesionales que dominan estas herramientas están ahorrando +10 horas semanales
No se trata de reemplazar tu criterio profesional, sino de potenciarlo. En el Programa Ejecutivo en IA para Auditoría te enseño paso a paso cómo integrar la IA en tu flujo de trabajo diario con resultados medibles.
📲 Escríbeme por WhatsApp y te cuento cómo funciona.
Autor: Francisco Moreno Díaz - CP - MBA - MBAN - CAIO Publicado en: IA Contable
ver abajo
