18장 증거를 확보하며 단계적으로 도입한다

도입 행사를 운영의 시작으로 바꾼다

라이선스를 지급하고 교육을 마쳤다는 사실은 도입 활동의 완료다. 결과를 어떻게 맡기고 수용하며 실패를 처리하는지 달라졌는지는 따로 확인해야 한다. 리더는 처음 적용할 업무와 기준선을 정하고, 무엇을 관찰한 뒤 계속하거나 멈출지 결정해야 한다.

P03 ‘실행 가능한 계약’은 입력·출력·권한·증거·실패 처리를 연결한다. P10 ‘범위가 정해진 자율성’은 영향과 복구 가능성에 맞춰 허용 범위를 정한다. 작은 파일럿이라는 이름만으로 위험이 제한되는 것은 아니다. 제한한 대상과 실제 영향이 맞는지 확인해야 한다.

관찰과 복구가 가능한 업무를 선택한다

처음에는 결과를 설명할 수 있고 반복해서 확인할 이유가 있는 업무를 고를 수 있다. 가상의 사내 문의 초안 업무라면 최종 발송을 별도 판단으로 두고, 근거의 정확성과 보류 조건을 확인할 수 있다. 이는 설명 예시다. 작게 시작한다는 것은 사용자의 위험을 숨기는 일이 아니라 어떤 증거를 확보할지 좁히는 일이다.

후보의 가치와 실패 영향, 자료·검증·복구의 준비 수준을 비교한다. 성공하기 쉬운 과제만 고르면 실제 도입의 문제를 보지 못할 수 있다. 준비가 부족한 중요한 업무부터 시작하면 영향이 커질 수 있다. 제한된 범위에서 정상 조건과 중요한 예외를 함께 확인할 균형을 정한다.

일상 업무를 지원할 사람과 평가 환경의 부담도 포함한다. 실험 팀이 모든 기록과 검증을 추가로 유지해야 한다면 그 비용을 조직의 투자에 반영해야 한다. 사용자의 동의나 계약·정보 취급 조건이 필요한 업무는 그 책임을 먼저 확인한다.

기준선과 종료 조건을 실행 전에 정한다

정할 조건	기록할 내용	다음 판단
대상	업무·사용자·자료·권한 범위	다른 영역에 영향이 없는가
기준선	현재 품질·시간·개입·비용	무엇과 비교할 것인가
지속	충족할 결과·증거·관찰 범위	더 확인할 가치가 있는가
중단	경계 위반·증거 부족·부담	누가 어떤 실행을 멈추는가
확대	추가 업무·새 조건·지원	기존 증거가 새 범위에 충분한가

이 표는 도입 설계 제안이다. 실험 뒤 유리한 지표만 고르는 방식과 구분한다. 기준을 바꾸어야 한다면 이유와 권한을 남기고, 기존 결과와 비교할 수 없는 부분을 표시한다. 성공 사례의 이야기와 같은 조건의 결과를 나누어 보고한다.

중단 조건이 있어도 실제로 멈출 수 없다면 도입의 경계가 충분하지 않다. 진행 중 행동과 자료, 예외 권한을 확인하고 복구 경로를 시험할 필요가 있다. 결과를 수용한 책임과 이후 관찰의 책임을 연결한다.

기반의 보완도 도입 작업에 포함한다

13장에서 소개한 VAF는 조직이 갖출 역량, 실제 전환 영역, 도입 여정을 구분한다.[S70] 이 책에서는 이를 준비 활동과 사용자 성과가 섞이지 않도록 하는 진단으로 활용한다. 접근·검증 환경을 갖춘 상태, 대표 업무의 수행·수용·예외가 바뀐 상태, 사용자 결과와 전체 비용을 관찰한 상태를 별도로 보고한다. 한 단계의 산출물이 준비되었다고 다음 단계의 성과를 달성한 것으로 표시하지 않는다.

단계를 넘길 책임자는 종료 조건의 증거와 미확인 항목을 읽고 계속·보완·축소·중단을 판단한다. 문서가 갖춰졌어도 실제 대표 작업을 맡길 수 없다면 실행 조건을 보완한다. 반대로 계약의 탐색 범위 안에서 얻은 학습이 충분하다면 예상한 제품을 만들지 못했어도 그 탐색의 종료를 수용할 수 있다. 도입 계획의 진행과 사업 결과의 확인을 나누면 성과를 과장하지 않고 다음 투자도 정할 수 있다.

저자의 성숙도 원고는 AI를 문서·테스트·검증 체계의 정비에도 활용할 수 있다고 제안한다.[S35] 이 책은 모든 기반이 완성될 때까지 기다리는 방식과 무조건 큰 권한부터 주는 방식을 모두 재검토한다. 작은 업무에 필요한 조건을 확보하며 부족한 기반을 보완할 수 있다.

자동 생성한 검사가 실제 요구를 확인하는지 별도 평가한다. 기준 문서가 오래되었다면 현재 상태와 대조한다. 역할에 필요한 자료와 학습, 실패 보고의 경로가 없다면 도구 사용 교육만으로 해결하기 어렵다. 필요한 투자와 도입의 결과를 함께 기록한다.

DORA의 2025년 공식 소개도 AI의 결과를 기존 조직 조건과 연결해 설명한다.[S57] 여기서 확인한 것은 소개 페이지이며 전체 보고서의 방법과 인과 효과를 확인한 것은 아니다. 이 책은 도구만 바꾼 결과와 운영 조건까지 바꾼 결과를 구분해 평가할 것을 제안한다.

검증과 확산, 일상 운영을 구분한다

저자의 AI 도입 가이드는 검증 뒤 확산하고 일상 운영으로 연결하는 접근을 제안한다.[S37]

이 책은 단계별로 새로 확인할 조건과 지원 책임을 정한다. 초기 결과가 좋았다는 이유만으로 다른 업무의 권한까지 확대하지 않는다.

이 장에서 일상 운영으로 넘길 때 확인할 조건 중 하나는 실험의 지원을 계속 제공할 수 있는가이다. 특정 전문가가 모든 결과를 보완했다면 그 개입을 운영 비용과 담당 책임에 포함한다. 필요한 지원을 받을 때만 수용 가능한 결과를 낸다면 지원을 없앤 상태를 이미 검증했다고 보고하지 않는다. 다른 팀·자료·소비자로 확대할 때 새로 확인할 조건은 20장에서 다룬다.

일상 운영에 들어가면 기준과 자료의 갱신, 조합의 재평가와 중단 책임을 명시한다. 사용률은 지원 필요를 찾는 정보가 될 수 있지만 성과의 증거를 대신하지 않는다. 실패와 미검증을 숨기지 않고 기록할 수 있어야 한다.

리더는 확대와 보류를 같은 기준으로 판단한다

좋은 결과가 나와도 관찰 범위가 좁거나 비용을 빠뜨렸다면 더 조사할 수 있다. 효과가 작더라도 중요한 품질과 복구의 증거를 얻었다면 다음 실험에 쓸 가치가 있을 수 있다. 반대로 경계를 지키기 어려운 업무는 범위를 줄이거나 중단할 이유가 생긴다.

P03은 계약의 조건이 실제 다음 수행에 쓰이는지, P10은 권한 밖 행동과 정지의 작동을 확인한다. 같은 조건의 수용 결과·운영 실패·사람 개입·전체 비용을 함께 본다. 원서의 도입·조직 변화라는 주제의 연결은 기존 공개 목차 범위다. 다음 장은 실패에서 얻은 증거를 정책과 계획의 변경으로 연결하고 그 효과를 검증하는 운영을 다룬다.

출처와 검토

[S35] · [S37] · [S57] · [S70]. 확인 범위와 한계는 출처 대장, 주장 유형은 자료 확인 범위에 기록한다.

원서 주제 연결: 원서 주제 연결의 범위(공개 목차 기준).