에이전트 신뢰 점수

에이전트 신뢰 점수란 무엇인가

에이전트 신뢰 점수는 특정 AI 에이전트에게 특정 시점에 얼마나 많은 자율성을 부여해야 하는지를, 정체성(identity), 위험(risk), 신뢰성(reliability), 자율성(autonomy), 캘리브레이션(calibration) 차원에 걸친 관찰된 행동을 기반으로 정량화하는 런타임 행동 가중 평가 시스템입니다. 정적 접근 제어와 달리, 이 점수는 새로운 이벤트가 도착할 때마다 업데이트되며 에이전트가 시도하는 모든 결정에 대해 allow, review, deny의 정책 등급을 도출합니다.

이진 접근 제어만으로는 충분하지 않은 이유

전통적인 접근 제어는 이진적입니다. 에이전트는 권한이 있거나 없거나 둘 중 하나입니다. 그 모델은 소프트웨어가 결정론적이던 시절에는 작동했습니다. 데이터베이스를 읽을 권한이 있는 함수는 항상 같은 방식으로 그것을 읽었습니다. 에이전트는 결정론적이지 않습니다. 동일한 권한을 가진 동일한 에이전트가 다음과 같은 일을 할 수 있습니다.

• 몇 주 동안 정확하게 질문에 답하다가 환각(할루시네이션)을 일으키기 시작한다.
• 경계를 완벽하게 지키다가 이후 자신의 범위를 벗어난 데이터에 접근을 시도한다.
• PII를 조심스럽게 다루다가 이후 도구 호출을 통해 그것을 유출하기 시작한다.
• 자신의 역할 내에서 동작하다가 이후 자신의 권한을 확대하려 시도하기 시작한다.

이진 접근 제어는 이 중 어느 것도 포착하지 못합니다. 지난 48시간 동안 잘못 행동해온 에이전트도 6개월 동안 완벽했던 에이전트와 동일한 접근 권한을 갖습니다. 신뢰 점수는 그 간극을 메웁니다.

Gate가 점수화하는 다섯 가지 차원

모든 것을 하나의 숫자로 축소한 복합 신뢰 점수는 그저 하나의 숫자일 뿐입니다. 다섯 개의 직교하는 차원으로 분해된 점수는 하나의 진단입니다. Gate는 다섯 가지 차원에 걸쳐 에이전트를 점수화하며, 정책 등급은 단일한 통합 값이 아니라 이 다섯 가지 모두로부터 도출됩니다.

단일 복합 점수가 프로덕션 규모에서 실제로 제 역할을 하지 못하는 이유에 대한 심층적인 논거는 정체성, 위험, 신뢰성, 자율성: 단일 신뢰 점수만으로는 프로덕션 에이전트에 충분하지 않은 이유에 있습니다. 캘리브레이션은 2026년 3분기에 다섯 번째 차원으로 모델에 추가되었습니다 — 그 추가 배경에 있는 논리는 다섯 번째 차원: 에이전트가 자신이 모르는 것을 알고 있었는지 측정하기에 있습니다.

24개 이벤트 분류 체계

점수 변화는 이벤트에 의해 구동됩니다. Gate는 에이전트가 어떤 프레임워크 — LangChain, CrewAI, AutoGen, 또는 커스텀 — 위에서 실행되든 상관없이 모든 고객의 수집 스트림이 매핑되는 표준화된 24개 이벤트 분류 체계를 사용합니다. 이 분류 체계는 차원별로 그룹화되어 있습니다.

• 정체성 이벤트 — 검증, 소유자 증명, 매니페스트 변경, 위임 부여 및 철회.
• 위험 이벤트 — PII 노출, 프롬프트 인젝션 탐지, 도구 오용, 정책 위반, Guard 탐지 결과.
• 신뢰성 이벤트 — 작업 완료, 오류율 급증, 에스컬레이션 행동, 폴백 체인 발동.
• 자율성 이벤트 — 경계 테스트, 범위 준수, 권한 확대 시도, 사람에 의한 검토 승인.
• 캘리브레이션 이벤트 — 에이전트가 작업에 대해 보고한 확신도(agent.confidence_reported)와 해당 작업의 관찰된 결과(agent.task_outcome)를 짝지은 것.

커스텀 이벤트 유형은 API를 통해 추가할 수 있습니다. 레거시 이벤트 이름(플랫폼의 이전 시절에서 이어진 agentgate_* 네임스페이스 포함)은 자동으로 이 분류 체계에 매핑됩니다.

프로덕션 환경에서의 점수화 예시

전자상거래 회사의 이메일을 처리하는 AI 고객 지원 에이전트를 생각해 봅시다.

• 1일 차. 정체성 점수는 낮음(이력 없음), 위험은 중립, 신뢰성은 알 수 없음. 정책 등급: review. 고객 대응 응답은 모두 사람이 승인합니다.
• 2주 차. 500건의 성공적인 상호작용을 마쳤습니다. 정체성이 강화되고, 신뢰성이 상승합니다. 정책 등급은 표준 응답에 대해서는 allow로, 100달러를 초과하는 환불에 대해서는 review로 상향됩니다.
• 2개월 차. 에이전트가 실수로 주문 세부 정보를 잘못된 이메일 주소로 보냅니다. Guard가 승인되지 않은 맥락에서 PII를 감지합니다. 위험이 급등합니다. 정책 등급은 조사가 완료될 때까지 모든 상호작용에 대해 review로 되돌아갑니다.
• 3개월 차. 근본 원인이 수정됩니다. 에이전트는 정상 운영을 재개합니다. 위험이 감쇠합니다. 신뢰는 관리자가 “승인”을 클릭해서가 아니라 행동을 통해 재구축됩니다.

에이전트의 권한은 아무도 권한 매트릭스를 편집하지 않았음에도 3개월 동안 네 번 변경되었습니다. 그것이 바로 이 메커니즘입니다.

산업별 점수화 프로필

고객 지원 챗봇과 의료 트리아지 에이전트는 동일한 신뢰 규칙을 공유해서는 안 됩니다. 점수화 프로필을 사용하면 테넌트가 엔진의 기본값 — 서로 다른 차원 가중치, 서로 다른 정책 등급 임계값, 서로 다른 이벤트 민감도 — 를 산업별로 재정의할 수 있습니다. 오늘날 11개의 사전 설정 프로필이 제공되며, 그중 7개는 캘리브레이션을 인식하는 산업별 프로필(헬스케어, 금융 서비스, 법률, 소프트웨어, 보안, 전자상거래, 그리고 캘리브레이션을 인식하는 범용 프로필)입니다. 커스텀 프로필은 Pro 이상에서 지원됩니다.

단일 임계값이 헬스케어 트래픽과 전자상거래 트래픽 모두에 통하지 않는 이유에 대한 논거는 만능 기준은 없다: 헬스케어와 전자상거래 에이전트를 위한 신뢰 임계값 구성하기에 자세히 설명되어 있습니다.

신뢰 점수 대 LLM 평가

이 둘은 흔히 혼동되지만 그래서는 안 됩니다. LLM 평가는 배포 전, 오프라인 상태에서 벤치마크를 기준으로 모델을 채점합니다. 에이전트 신뢰 점수는 배포 후, 지속적으로 배포된 에이전트를 프로덕션 행동에 기반해 채점합니다. 평가 스위트는 모델이 BoolQ 질문에 답할 수 있는지를 알려주지만, 신뢰 점수는 에이전트가 화요일에 고객의 SSN을 유출하지 않았는지를 알려줍니다. 둘 다 가치가 있습니다. 서로를 대체할 수는 없습니다.

전체적인 구분은 — 에이전트 점수화는 LLM 평가가 아닙니다. 그 차이를 설명합니다.

신뢰 점수 대 정체성 대 정책 결정

신뢰 점수는 정체성이 아닙니다. 정체성은 정책 결정이 아닙니다. 이 중 어느 쌍이든 혼동하는 것이 AI 에이전트 거버넌스 스택이 프로덕션에서 실패하는 이유입니다. 정체성은 이 에이전트는 누구인가에 답합니다. 신뢰 점수는 이 에이전트가 어떻게 행동하고 있는가에 답합니다. 정책 결정은 이 둘에 더해, 시도되는 행동, 에이전트가 현재 속한 등급, 킬 스위치나 위임에 의한 재정의 여부까지 결합하여 요청마다 단 하나의 allow / review / deny를 발행합니다.

전통적인 IAM만으로는 이 고리를 닫을 수 없는 이유: 정체성은 신뢰가 아니다: 검증된 에이전트에도 여전히 점수화가 필요한 이유. 정체성, 점수화, 정책 결정이 어떻게 하나의 런타임 계층으로 결합되는지에 대한 아키텍처 전반의 그림은 AI 에이전트를 위한 신뢰 계층이 실제로 무엇인지를 참조하세요.

자주 묻는 질문