Elephant Index
목록으로
AI Nativeness3분

AI가 낸 결과를 어떻게 검증할까

AI와 일하는 회사 · 4화

연재 「AI와 일하는 회사」 7번째 글

Read in English

견적을 검토하는 AI에 지난달 주문 100건을 넣었다고 하자. 96건은 맞았고 4건은 틀렸다. 네 건이 모두 상품명 표기 오류였다면 직원이 출고 전에 고칠 수 있다. 네 건 가운데 하나가 다른 고객에게 적용된 계약 단가를 가져온 경우라면 얘기가 달라진다. 96%라는 숫자로는 두 결과를 구분할 수 없다.

오류를 실제 손실과 연결한다

견적팀이라면 상품을 잘못 찾아온 경우, 계약 조건을 빠뜨린 경우, 근거가 없는데 가격을 단정한 경우를 구분해 본다. 각각 어느 단계에서 발견할 수 있고, 고객에게 전달된 뒤 무엇을 되돌려야 하는지도 적는다. 금액이 큰 거래나 예외 계약은 전체 표본에서 드물 수 있다. 빈도가 낮아도 잘못 전달됐을 때 손실이 크다면 별도의 사례로 확인해야 한다.

검증 자료에는 정상 주문, 오래된 계약서, 계약이 갱신되는 날짜에 들어온 요청을 함께 넣는다. 답이 맞는 것뿐 아니라, 판단할 근거가 부족할 때 담당자에게 넘겼는지도 본다. 근거 없는 견적을 내는 대신 확인 요청을 보내는 경우라면 그 확인에 걸리는 시간까지 품질에 포함된다.

배포 기준을 업무 조건으로 쓴다

“정확도 95% 이상”만으로 자동 처리를 허용하기는 어렵다. 예를 들어 계약서에서 적용 단가를 확인할 수 있고, 요청 수량이 약정 범위 안에 있으며, 견적 초안에 근거 거래가 표시되는 경우에만 다음 단계로 보낸다고 정할 수 있다. 계약이 겹치거나 고객 번호가 맞지 않으면 사람의 검토를 거친다. 이런 규칙은 실제 요청 몇 건을 들고 담당자와 함께 읽었을 때 판단이 같아야 한다.

도입 초기에는 AI가 내놓은 초안을 기존 업무와 나란히 비교해 볼 수 있다. 틀린 결과를 발견하면 결과만 수정하지 말고 어떤 근거로 걸러냈는지 남긴다. 그 기록이 다음 버전의 검증 자료가 된다. 검증을 마칠 때 내가 묻고 싶은 것은 이것이다. 이번에 찾아낸 가장 위험한 오류가 내일 다시 나오면, 시스템의 어느 지점에서 멈추는가?

형식이 맞는 견적과 내용이 맞는 견적

OpenAI의 구조화 출력은 결과를 지정한 형식에 맞출 수 있게 한다. 예를 들어 견적 초안에 고객 번호와 금액을 필수 항목으로 지정할 수 있다. 다만 그 금액이 고객의 계약서와 일치하는지는 별도의 확인이 필요하다. NIST의 생성형 AI 위험 관리 문서도 배포 전 평가와 운영 중 모니터링에서 모델 출력의 출처와 인용을 검토하도록 권고한다. OpenAI 구조화 출력 문서 · NIST 생성형 AI 위험 관리 지침

견적팀의 검증표에는 두 가지를 따로 적을 수 있다. 양식의 필수 항목이 채워졌는가? 그 항목이 올바른 고객 계약에서 가져온 값인가? 예를 들어 고객 번호와 금액이 모두 들어 있어도 계약 적용일이 어긋나면 두 번째 기준에서 걸러져야 한다. 반대로 계약 근거를 찾지 못한 건을 보류했다면, 보류 후 담당자가 제시간에 처리했는지까지 확인해야 검증이 업무 전체를 설명한다.

견적 오류를 발견하는 두 검증

180건이 통과했다는 집계만 보면 90%다. 그런데 중대 오류 3건이 모두 계약 만료일을 잘못 적용한 건이라면, 그 유형을 별도 시험하지 않고 승인 범위를 넓히면 같은 문제가 반복될 수 있다.

업무 흐름과 판단 지점
  1. 필수 항목 확인
  2. 계약 조건과 대조
  3. 경로 A
    중대 오류 또는 근거 부족 → 보류
  4. 경로 B
    근거가 확인된 건 → 검토 완료
견적 200건 검증 결과 (건)
통과
180
일반 오류
12
중대 오류
3
근거 부족으로 보류
5

가상의 표본 200건을 가장 중요한 결과 하나로 분류했다.

과거 사례에서 계약 변경, 만료일, 복수 가격표가 있는 건을 따로 뽑는다. 허용 가능한 오류와 건별 보류 조건을 사전에 정의하고, 보류 5건이 실제로 검토 기한 안에 처리됐는지도 확인한다. 표본과 실패 유형을 기록하면 다음 버전의 결과와 비교할 수 있다.

목록으로