AI 적합성 평가란 무엇인가요?
고위험 AI 시스템이 시장에 출시되기 전에, 누군가가 그것을 규칙에 따라 점검해야 합니다. 적합성 평가는 그 점검이며, 그것이 소비하는 것은 증거입니다.
적합성 평가는 AI 시스템이 적용 가능한 규제 요구 사항을 충족하는지에 대한 구조화된 점검입니다. 시스템 및 체제에 따라, 이는 제공자가 내부 통제 하에 수행할 수도 있고, 독립 기관에 의해 수행될 수도 있습니다. 이는 기술 문서, 품질 관리 시스템 및 시스템이 실제로 어떻게 작동하는지에 대한 증거를 검토합니다. 개발 중인 표준은 평가자가 요구하는 사항과 이를 판단하는 방식을 형성할 것으로 예상됩니다.
누가 평가를 수행합니까?
시스템에 따라 다릅니다. 많은 고위험 시스템은 제공자가 내부 통제 절차에 따라 자체적으로 평가하며, 완전한 문서를 보유하고 요청 시 이를 제출할 의무가 있습니다. 다른 시스템은 독립적인 기관을 요구합니다. 어쨌든 본질은 유사합니다: 정의된 요구 사항 집합, 각 요구 사항을 다루는 문서, 그리고 설명이 현실과 일치한다는 증거입니다.
평가가 무엇을 검토하는가
넓게 말하자면, 세 가지입니다. 문서화 — 시스템, 그 목적, 위험 및 통제가 다른 사람이 평가할 수 있을 만큼 충분히 설명되어 있습니까? 관리 — 파일 세트가 아닌 기능하는 품질 시스템이 있습니까? 증거 — 시스템의 실제 행동이 일반적인 행동에 대한 주장이 아닌 특정 사례의 기록을 통해 검토된 설명과 일치합니까? 이 마지막 부분이 준수 증거가 작동하는 곳입니다.
평가는 일회성 이벤트가 아닙니다.
평가 후 실질적으로 변화하는 시스템은 재평가가 필요할 수 있으며, 시장 진입 후에도 의무가 계속됩니다: 모니터링, 사건 보고 및 기록 보관. 평가는 특정 시점에서의 상태를 설정하며, 그 상태를 유지하는 것은 지속적인 의무입니다. 이것이 기록 보관 관행이 단일 성공적인 검토보다 더 중요한 이유입니다.
여기서 기준이 중요한 이유
규제 문서는 요구 사항을 일반적인 용어로 명시하고; 표준은 이를 검증 가능한 구체적인 내용으로 변환합니다. 표준이 공식적으로 인정받는 경우, 이를 따르는 것은 해당 요구 사항이 충족되었다는 추정을 가져올 수 있습니다. 이는 표준이 대부분의 조직이 선택하는 실질적인 경로가 되며, 그 내용이 특별히 중요한 이유입니다. 여러 관련 표준이 아직 초안 단계에 있으므로 평가자가 요구할 사항은 아직 완전히 정해지지 않았습니다. 관리 시스템 인증이 규제와 어떻게 관련되는지는 일반적인 혼란이며, 이는 ISO 42001과 EU AI 법안에서 설명됩니다. 더 넓은 의무는 EU AI 법안 가이드에 있습니다.
평가가 소비하는 것
평가자가 작업하는 순서에 따라 대략적으로 네 가지 입력.
기술 문서
시스템이 무엇인지, 무엇을 위한 것인지, 어떻게 구축되었는지, 어떤 위험이 식별되었는지 및 이러한 위험을 해결하는 제어 수단은 무엇인지.
품질 관리
개발과 변화가 열망적인 과정이 아니라 기능하는 과정에 의해 지배된다는 증거.
사건 수준 기록
개별 결정의 기록은 행동이 설명과 일치하는지 확인하는 데 사용됩니다. 샘플링은 표준 관행입니다.
장외 시장 기록
모니터링, 사건 및 시정 조치, 시스템이 여전히 평가된 시스템임을 보여줍니다.
세 번째 입력은 대부분의 조직에서 가장 부족한 부분입니다. 이는 사후에 작성될 수 없기 때문입니다 — 시스템이 작동하는 동안 캡처되어야 합니다.
적합성 평가: 일반적인 질문
적합성 평가가 인증과 같은 것인가요?
아니요. 인증은 특정 기준에 따라 공인 기관에서 발급됩니다. 규정에 따른 적합성 평가는 더 넓은 과정이며, 많은 시스템의 경우 제공자가 스스로 수행합니다. 하나에 대한 준비가 자동으로 다른 하나를 보장하지는 않습니다.
ISO 인증이 시스템을 준수하게 만드나요?
아니요. 관리 시스템 인증은 거버넌스 프로세스가 존재하고 준수되고 있음을 보여줍니다. 이는 유용한 지원 자료이지만, 특정 시스템에 대한 규제 요구 사항과는 다른 질문을 다룹니다.
누가 평가를 수행할 수 있습니까?
많은 고위험 시스템의 경우, 제공자는 내부 통제 하에 있습니다. 일부 범주는 독립 기관을 요구합니다. 적용 가능한 체제가 어떤 경로가 적용되는지를 결정하며 — 이는 초기 단계에서 해결해야 할 질문입니다. 왜냐하면 이것이 당신이 생산해야 할 것을 변경하기 때문입니다.
재평가를 촉발하는 것은 무엇인가요?
일반적으로 시스템이나 그 의도된 목적에 대한 상당한 수정입니다. 설명된 매개변수 내에서의 정기적인 재훈련은 보통 그렇지 않지만, 시스템의 용도를 변경하는 것은 보통 그렇습니다.
평가가 얼마나 과거를 살펴보나요?
적용되는 보존 기간을 충족할 만큼 충분히 멀리, 이는 연도로 측정됩니다. 그래서 기록은 단순히 존재하는 것이 아니라 보존되고 제출 가능해야 합니다.
도구가 우리를 위해 평가를 수행할 수 있나요?
아니요. 도구는 평가가 소비하는 증거를 생성하고 조직할 수 있습니다. 평가 자체는 사람들에 의해 이루어지는 판단입니다 — 제공자의 자격을 갖춘 직원이거나 독립 기관입니다.
기준이 아직 완료되지 않았다면 어떻게 될까요?
그런 다음 요구 사항은 다른 방법으로 충족되며, 문서화되고 정당화됩니다. 현재 구축 중인 조직은 일반적으로 초안을 추적하는데, 초안은 평가자가 결국 기대할 내용을 나타내기 때문입니다.
Related AI governance topics
AI Governance
The umbrella discipline: how organizations keep AI agents accountable, observable, and compliant — start here.
AI Observability
Seeing what your AI systems do in production — metrics, traces, and logs.
LLM Observability
Monitoring prompts, tokens, latency, and quality of large language model calls.
AI Traceability
Reconstructing the full lineage of an AI output — inputs, steps, and decisions.
LLM Traceability
End-to-end traces of multi-step LLM and prompt chains.
AI Agent Observability
Observability for autonomous, multi-step agents — tool calls, plans, and decisions.
Agentic AI Governance
Governing autonomous agents: policy, oversight, and accountable autonomy.
AI Audit Trail
Append-only, tamper-evident records of what an AI system decided and why.
AI Agent Monitoring
Real-time monitoring of agent behavior, drift, and decision quality.
Explainable AI (XAI)
Making AI decisions understandable to the people accountable for them.
AI TRiSM
Gartner's framework for AI trust, risk, and security management.
Decision Retrieval
GraphRAG for agents — retrieving past decisions as bounded, auditable packets.
Decision Record
The durable document of one AI decision — reasoning, evidence, policy and approval in a single file.
AI Compliance Evidence
What auditors actually ask for, and why policy documents are not evidence.
Decision Tracing
Capturing the structured reasoning behind every AI decision — AI Agentree's category.
AI Precedent Systems
Letting agents learn from past decisions as searchable precedent.
Decision Audit Trails
How human teams record why a decision was made — the deliberation counterpart to an AI audit trail.
Transparent AI
Making model reasoning inspectable, and what changes when several models are compared against each other.
Multi-Agent Simulation
Running many AI personas against one scenario to surface risks before a decision is taken.