Elephant Index
목록으로
AI Nativeness3분

파일럿을 팀의 일로 바꾸는 법

AI와 일하는 회사 · 6화

연재 「AI와 일하는 회사」 11번째 글

Read in English

고객지원팀이 매뉴얼을 찾아 답변을 제안하는 도구를 시연한다. 금요일에는 정확했던 안내가 월요일에는 틀린다. 새 제품 버전에서 메뉴가 다른 곳으로 옮겨졌기 때문이다. 그 도구를 만든 직원은 휴가 중이고, 동료는 링크를 열어 봐도 어떤 문서를 수정해야 하는지 모른다. 팀이 도구를 매일 쓰기 시작하면 이런 월요일이 찾아온다.

제품이 바뀌는 날에 확인할 질문

이전 버전 고객에게는 기존 안내가 여전히 필요하다. 새 매뉴얼을 올리면서 예전 것을 모두 지우면 다른 오류가 생긴다. 문서에 적용 버전을 표시하고, 답변 화면에서도 상담원이 해당 버전과 근거를 확인할 수 있게 한다. 고객의 버전을 알 수 없다면 확인 질문을 보내는 것이 적절하다.

새 버전 안내, 이전 버전 안내, 버전을 모르는 문의를 제품 출시일에 함께 확인한다. 오답이 있었다면 상담원이 받은 질문, 제품 버전, 도구가 가져온 문서를 남긴다. 새 문서 자체가 틀렸다면 문서를 고치고, 옛 문서를 잘못 가져왔다면 검색 조건을 살핀다. 수정한 뒤 세 경우를 다시 확인하면 한 오류를 고치며 다른 고객의 안내가 달라졌는지 알 수 있다.

담당자가 자리를 비워도 고칠 수 있게 한다

제품팀은 출시와 동시에 매뉴얼을 업데이트하고, 지원팀은 대표 문의에 대한 안내를 확인한다. 운영 담당자는 오류가 쌓이는지 보고, 잘못된 답변이 반복되면 제안 기능을 잠시 끌 수 있어야 한다. 각 역할을 맡는 사람과 부재 시 대신할 사람을 정해 두면, 문제가 생겼을 때 팀이 시연자를 찾아다니지 않아도 된다.

시제품을 실제로 써 볼 때 몇 분 만에 답을 썼는지와 함께, 근거 확인과 수정에 걸리는 시간도 잰다. 고객의 대기 시간은 따로 본다. 팀이 얻은 이익을 알려면 초안이 만들어진 순간에서 측정을 끝내지 말아야 한다. 다음 시연에서 내가 보고 싶은 장면은 정확한 답변을 뽑는 장면과 함께, 틀린 답변 한 건을 동료가 찾아 고치는 장면이다.

구글의 단계적 배포를 고객지원 도구에 적용하면

구글의 SRE 운영 사례집은 새 버전을 일부 트래픽에만 적용하고 기존 버전과 비교하는 점진적 배포를 설명한다. 이상 징후가 보이면 영향 범위가 작은 상태에서 배포를 멈추거나 이전 버전으로 돌아갈 수 있다. 비교하는 두 집단의 조건이 다르면 배포와 무관한 차이를 오류로 볼 수 있다는 점도 다룬다. 이 자료는 소프트웨어 배포에 관한 운영 사례다. Google SRE Workbook, Canarying Releases

고객지원팀이라면 비슷한 제품 버전의 문의 가운데 일부에서만 새 안내를 켜고, 같은 기간 기존 안내 건과 비교할 수 있다. 표본이 작아 통계로 결론을 내리기 어렵다면 변경된 메뉴를 묻는 문의부터 실제 근거를 확인한다. 잘못된 버전 안내가 고객에게 전달됐을 때는 새 제안을 끄고 수동 안내로 돌아가는 사람과 절차를 먼저 정해 둔다. 오답을 막는 것만큼 이미 답을 받은 고객에게 정정 안내를 보낼 수 있어야 한다.

고객지원 파일럿의 배포와 복구

같은 질문에 답을 잘하던 도구도 제품 메뉴가 바뀌면 오래된 안내를 반복해서 보낼 수 있다. 도움말의 적용 버전과 변경일을 화면에 표시하고, 배포 전에는 바뀐 메뉴를 묻는 실제 문의 사례를 다시 실행한다.

업무 흐름과 판단 지점
  1. 이전 버전으로 기준 측정
  2. 일부 문의에 새 버전 적용
  3. 경로 A
    기준 미달 → 이전 버전 복귀
  4. 경로 B
    기준 충족 → 적용 범위 확대
제품 버전 안내 오류율 (%)
기존 100건 중 2건
2%
시험 50건 중 4건
8%

가상 표본이다. 오류율은 오류 건수를 해당 표본의 전체 문의 수로 나눴다.

그래프처럼 초기 표본에서 오류가 4건 나오면 원인과 유형을 먼저 확인한다. 변경분을 끌 권한이 있는 담당자, 수동 답변으로 돌아가는 절차, 이미 잘못 안내한 고객을 찾는 방법을 함께 준비한다. 담당자가 부재할 때도 다른 사람이 이 절차를 실행할 수 있어야 한다.

목록으로