¿Qué es la evaluación de conformidad de la IA?
Antes de que un sistema de IA de alto riesgo llegue al mercado, alguien tiene que verificarlo conforme a las reglas. La evaluación de conformidad es esa verificación — y lo que consume es evidencia.
La evaluación de conformidad es el chequeo estructurado de que un sistema de IA cumple con los requisitos regulatorios aplicables. Dependiendo del sistema y del régimen, puede ser realizada por el proveedor bajo control interno, o por un organismo independiente. Examina la documentación técnica, el sistema de gestión de calidad y la evidencia sobre cómo se comporta realmente el sistema. Se espera que las normas en desarrollo den forma a lo que los evaluadores solicitan y cómo lo juzgan.
¿Quién realiza la evaluación?
Depende del sistema. Muchos sistemas de alto riesgo son evaluados por el propio proveedor bajo un procedimiento de control interno, con la obligación de mantener documentación completa y presentarla a solicitud. Otros requieren un organismo independiente. De cualquier manera, la sustancia es similar: un conjunto definido de requisitos, documentación que aborda cada uno y evidencia de que la descripción coincide con la realidad.
Qué evalúa una evaluación
En términos generales, tres cosas. Documentación — ¿describe el sistema, su propósito, sus riesgos y sus controles de manera lo suficientemente completa para que alguien más pueda evaluarlo? Gestión — ¿existe un sistema de calidad funcional en lugar de un conjunto de archivos? Pruebas — ¿el comportamiento real del sistema coincide con lo que se ha descrito, examinado a través de registros de casos específicos en lugar de afirmaciones sobre el comportamiento general? La última de estas es donde la evidencia de cumplimiento hace su trabajo.
La evaluación no es un evento único.
Un sistema que cambia materialmente después de la evaluación puede necesitar una reevaluación, y las obligaciones continúan después de la entrada al mercado: monitoreo, informes de incidentes y retención de registros. Una evaluación establece un estado en un momento dado; mantener ese estado verdadero es un deber continuo, por lo que las prácticas de mantenimiento de registros son más importantes que una única revisión exitosa.
Por qué los estándares son importantes aquí
Los textos regulatorios establecen requisitos en términos generales; las normas los traducen en especificaciones verificables. Donde una norma es reconocida formalmente, seguirla puede llevar a la presunción de que se cumple el requisito correspondiente, lo que convierte a las normas en la ruta práctica que la mayoría de las organizaciones eligen, y hace que su contenido sea inusualmente significativo. Varias normas relevantes aún se están redactando, por lo que lo que los evaluadores pedirán aún no está completamente definido. La relación entre la certificación de sistemas de gestión y la regulación es una confusión común, que se desglosa en ISO 42001 vs el Acta de IA de la UE — y las obligaciones más amplias se encuentran en la guía del Acta de IA de la UE.
Qué consume la evaluación
Cuatro entradas, en aproximadamente el orden en que un evaluador las revisa.
Documentación técnica
Qué es el sistema, para qué sirve, cómo fue construido, qué riesgos se identificaron y qué controles los abordan.
Gestión de calidad
Evidencia de que el desarrollo y el cambio están gobernados por un proceso funcional en lugar de uno aspiracional.
Registros a nivel de caso
Registros de decisiones individuales, utilizados para verificar si el comportamiento coincide con la descripción. El muestreo es una práctica estándar.
Registros post-mercado
Monitoreo, incidentes y acciones correctivas, mostrando que el sistema sigue siendo el sistema que fue evaluado.
La tercera entrada es donde la mayoría de las organizaciones son más delgadas, porque no se puede escribir después de que ocurra — tiene que haber sido capturada mientras el sistema funcionaba.
Evaluación de conformidad: preguntas comunes
¿Es la evaluación de conformidad lo mismo que la certificación?
No. La certificación es emitida por un organismo acreditado contra un estándar específico. La evaluación de conformidad bajo una regulación es un proceso más amplio y, para muchos sistemas, es uno que el proveedor realiza por sí mismo. La preparación para uno no garantiza automáticamente el otro.
¿Una certificación ISO hace que un sistema sea conforme?
No. Una certificación de sistema de gestión demuestra que existen y se siguen procesos de gobernanza. Es un material de apoyo útil, pero aborda preguntas diferentes a los requisitos de una regulación para un sistema específico.
¿Quién puede realizar una evaluación?
Para muchos sistemas de alto riesgo, el proveedor está bajo control interno. Algunas categorías requieren un organismo independiente. El régimen aplicable determina qué ruta se aplica; esta es una cuestión que se debe resolver temprano, porque cambia lo que necesitas producir.
¿Qué desencadena una reevaluación?
Típicamente, una modificación sustancial al sistema o su propósito previsto. La reentrenamiento rutinario dentro de los parámetros descritos generalmente no lo hace; cambiar para qué sirve el sistema generalmente sí lo hace.
¿Hasta qué punto retrocede una evaluación?
Lo suficientemente lejos para cubrir el período de retención que se aplica, el cual se mide en años. Por eso, los registros deben ser retenidos y producibles en lugar de simplemente haber existido.
¿Puede la herramienta realizar la evaluación por nosotros?
No. Las herramientas pueden producir y organizar la evidencia que consume una evaluación. La evaluación en sí es un juicio realizado por personas: el personal calificado del proveedor o un organismo independiente.
¿Qué pasa si los estándares aún no están terminados?
Entonces, los requisitos se cumplen por otros medios, documentados y justificados. Las organizaciones que construyen ahora generalmente rastrean los borradores, porque los borradores indican lo que los evaluadores eventualmente esperarán.
Temas de gobernanza de la IA relacionados
Gobernanza de la IA
La disciplina paraguas: cómo las organizaciones mantienen a los agentes de la IA responsables, observables y cumplidores — comienza aquí.
Observabilidad de la IA
Ver lo que hacen tus sistemas de la IA en producción — métricas, trazas y registros.
Observabilidad de LLM
Monitorear las solicitudes, tokens, latencia y calidad de las llamadas al modelo de lenguaje grande.
Rastreabilidad de la IA
Reconstruir la línea de descendencia completa de una salida de la IA — entradas, pasos y decisiones.
Rastreabilidad de LLM
Trazas de extremo a extremo de cadenas de LLM y solicitudes de varios pasos.
Observabilidad de agente de la IA
Observabilidad para agentes autónomos de varios pasos — llamadas a herramientas, planes y decisiones.
Gobernanza de la IA agente
Gobernar a los agentes autónomos: política, supervisión y autonomía responsable.
Registro de auditoría de la IA
Registros solo de agregar, resistentes a la manipulación, de lo que decidió un sistema de la IA y por qué.
Monitoreo de agente de la IA
Monitoreo en tiempo real del comportamiento del agente, deriva y calidad de la decisión.
IA Explicable (XAI)
Hacer que las decisiones de la IA sean comprensibles para las personas responsables de ellas.
AI TRiSM
Marco de Gartner para la gestión de la confianza, el riesgo y la seguridad de la IA.
Recuperación de Decisiones
GraphRAG para agentes — recuperación de decisiones pasadas como paquetes limitados y auditables.
Registro de Decisiones
El documento duradero de una decisión de IA: razonamiento, evidencia, política y aprobación en un solo archivo.
Evidencia de Cumplimiento de IA
Lo que los auditores realmente piden y por qué los documentos de política no son evidencia.
Rastreo de decisiones
Capturar el razonamiento estructurado detrás de cada decisión de la IA — categoría de AI Agentree.
Sistemas de precedentes de la IA
Permitir que los agentes aprendan de decisiones pasadas como precedentes buscables.
Rastros de Auditoría de Decisiones
Cómo los equipos humanos registran por qué se tomó una decisión: el contraparte de deliberación de un rastro de auditoría de IA.
IA Transparente
Haciendo que el razonamiento del modelo sea inspeccionable, y qué cambia cuando se comparan varios modelos entre sí.
Simulación Multi-Agente
Ejecutando muchas personas de IA contra un escenario para identificar riesgos antes de que se tome una decisión.
Prepárate para la pregunta de evidencia.
La documentación se puede escribir más tarde. Los registros a nivel de caso no pueden — tienen que existir antes de que alguien pregunte.
Explora la plataforma