홈 / 솔루션 / IIA
IIA · Integrated Intelligent Agent
장기 원천기술자율적으로 판단하되,
설명에 충실한 지능.
IIA는 자율 판단 시스템이 스스로 내린 결정을 얼마나 충실하게 설명하는지를 계측하는 장기 원천기술 트랙입니다. 결정을 내리는 계층과 설명을 만드는 계층을 분리하고, 그 둘이 일치하는지를 측정 가능한 연구 대상으로 정식화합니다.
문제 정의
AI가 자율적일수록, '왜'의 신뢰성이 무너진다.
시스템이 스스로 더 많은 결정을 내릴수록, 그 결정의 근거를 사후에 그럴듯하게 지어내는 위험(사후 합리화)이 커집니다. 금융 도메인에서 '왜 이 판단을 했는가'의 신뢰성은 편의 기능이 아니라, 그 자체로 제품의 핵심 가치입니다.
사후 합리화
모델이 결정을 먼저 내리고, 설명은 나중에 그럴듯하게 붙이면 — 설명은 근거가 아니라 장식이 됩니다.
측정 불가능성
대부분의 XAI는 설명을 '생성'할 뿐, 그 설명이 실제 결정 근거에 충실한지를 '측정'하지 않습니다.
자율성의 대가
자율성이 높아질수록 인간의 감독 능력은 약해지고, 검증 없는 '고무도장'이 되기 쉽습니다.
핵심 접근
결정자와 설명자를 분리한다.
결정을 내리는 처리계(제1 처리계)와 그 결정을 설명하는 처리계(제2 처리계)를 명시적으로 분리합니다. 두 계층이 분리되어야 비로소 '설명이 결정 근거에 충실한가'를 외부에서 계측할 수 있습니다.
제1 처리계 · Decider
결정자
결정 근거를 생성합니다. 무엇을, 왜 그렇게 판단했는지의 실제 내부 근거를 담당합니다.
계측
제2 처리계 · Explainer
설명자
결정 근거로부터 사람이 읽을 설명을 생성합니다. 결정을 바꾸지 않고, 오직 설명만 담당합니다.
faithfulness = align( 결정 근거 ↔ 생성된 설명 )
부합 여부 계측부가 두 계층의 일치도를 정량 지표로 측정합니다 — 설명이 근거에 충실한 정도를 '수치'로.
운영 구조
결정론이 척추, 언어모델은 계층.
IIA에서도 5010의 단일 원칙은 유지됩니다. 언어모델은 가설을 생성할 뿐 수치 결정 권한이 없고, 결정론적 계층이 검증과 판단의 척추를 담당합니다.
| 계층 | 역할 | 성격 |
|---|---|---|
| 언어모델 계층 | 가설 생성 (수치 결정 권한 없음) | 비결정론 |
| 결정론적 통계 검증 계층 | 언어모델과 격리, 과적합 방지 판정 | 결정론 |
| 기계학습 보정 계층 | calibration · 불확실성 추정 | 결정론 |
| 인간 계층 | 자본 배분 · 비상정지 (최종 책임) | — |
안전 우선
RESEARCH TOPICS
IIA가 파고드는 질문들.
설명 충실성 계측
생성된 설명이 실제 결정 근거에 충실한지를 어떻게 정량적으로 측정할 것인가. 교차-시스템 충실성 지표를 정식화합니다.
교정 가능성
자율 시스템이 인간의 개입·수정·종료를 회피하지 않도록 보장하는 구조를 연구합니다.
사후 합리화 방지
결정과 설명을 분리해, 그럴듯하지만 근거 없는 설명(환각)을 구조적으로 차단합니다.
제한된 도메인 검증
범용이 아니라 제한된 샌드박스에서, 실제로 동작하고 검증 가능한 프로토타입으로 가설을 실험합니다.
ROADMAP
장기 트랙, 단계적 검증.
IIA는 한 번에 완성되는 제품이 아니라, 단계적으로 검증 가능성을 높여가는 원천기술 연구 트랙입니다.
샌드박스 프로토타입
제한된 도메인에서 결정자(S1)/설명자(S2) 결합 프로토타입을 구축하고 동작을 검증합니다.
충실성 계측
결정 근거와 설명의 부합 여부를 측정하는 지표를 정식화하고 실험적으로 검증합니다.
도메인 확장 연구
계측 가능성이 확인된 구조를 인접 도메인으로 확장 적용하는 가능성을 연구합니다.
WHERE IT FITS
SFE·QOS와 하나의 방향 위에.
IIA는 독립된 실험이 아니라, SFE·QOS가 확립한 '결정론 척추 + 설명 계층' 원리를 자율성의 영역으로 밀고 나아가는 연장선입니다.
SFE
전략 인지형 거래 위험 탐지·설명 엔진. 결정론적 점수 분해와 설명 계층 분리.
중기 · 확장QOS
검증과 결정을 분리한 다계층 위험관리 운영체계.
IIA
자율 판단의 설명 충실성을 계측하는 원천기술 트랙. (현재 페이지)
Research Collaboration
설명 충실성을 함께 연구할 파트너를 찾습니다.
대학·연구기관·기업과의 공동 연구, PoC, 기술 자문을 환영합니다. IIA는 정직하게 범위를 한정한 장기 연구 트랙입니다.