17장 생산성과 의도 부합을 함께 측정한다

활동의 증가와 성과의 증가를 구분한다

AI 도입 뒤 코드와 문서, 변경 요청이 늘었다면 더 많은 활동을 수행한 것은 확인할 수 있다. 그러나 사용자가 필요한 결과를 얻었는지, 품질과 운영 부담이 유지되었는지는 다른 증거를 요구한다. 리더는 어떤 결과를 어떤 비용으로 수용했는지 측정해야 한다. 만들기 쉬운 산출물의 수가 조직의 목적을 대신하지 않게 한다.

저자의 생산성 방정식 원고는 인간 역량과 도구·프로세스, AI 수행을 함께 볼 것을 제안한다.[S33] 이 책은 그 식을 검증된 측정 모델로 사용하지 않는다. 결과 차이를 해석할 때 어떤 요소가 바뀌었는지 나누어 묻는 관점으로 활용한다.

P06 ‘증거 기반 완료’는 수용한 결과의 기준을, P08 ‘조합 단위의 선별’은 대표 업무에서 비교할 조합을, P13 ‘의도부터 결과까지 추적’은 그 결과를 만든 조건을 연결한다. 측정의 목적은 좋은 숫자를 보고하는 것이 아니라 다음 투자와 변경의 판단을 고치는 데 있다.

결과와 분모를 먼저 정한다

가상의 사내 문의 업무에서 답변 초안 수를 세면 근거가 없는 초안도 성과가 될 수 있다. 이는 설명 예시다. 근거와 권한, 수용 조건을 충족해 실제 업무에 쓰인 결과를 구분해야 한다. 미검증·실패·취소와 판단 대기도 별도 상태로 남긴다.

수용률을 계산할 때 무엇을 평가 대상으로 포함했는지 기록한다. 어려운 요청을 미리 제외하거나 실패를 집계에서 빼면 숫자가 좋아져도 같은 일을 더 잘했다는 뜻은 아닐 수 있다. 업무 유형·난도·크기와 관찰 기간을 함께 보여준다. 상태의 정의를 바꿨다면 이전 결과와의 비교 한계를 밝힌다.

결과 수용과 장기 사용자 결과의 확인 시점도 다를 수 있다. 구현의 수용을 먼저 기록하고 이후의 효과와 운영 부담을 관찰할 책임을 연결한다. 아직 확인하지 못한 효과를 성공으로 채우지 않는다. 측정의 범위 밖에 남은 결과를 드러내는 것도 리더의 판단에 필요하다.

전체 비용과 품질을 함께 기록한다

관찰할 항목	포함할 것	오해하기 쉬운 것
수용 결과	기준·업무 유형·사용 결과	코드·토큰·PR 수를 가치로 간주
전체 비용	실행·환경·검토·재시도·유지	모델 요금만 비교
사람의 개입	설명·평가·예외·복구·학습	프롬프트 수만 계산
전달 시간	수행·판정·인계·통합 대기	구현 시간만 비교
품질	운영 결함·번복·실패 영향	검사 통과만으로 목적 달성 확정

이 표는 측정 설계 제안이다. 비용의 산정 범위와 시간의 의미를 고정해야 비교가 가능하다. 여러 작업을 동시에 감독했다면 경과 시간과 실제로 사용한 사람의 시간을 나누어 기록한다. 관찰하지 않은 유지 부담은 결과의 한계로 남긴다.

빠른 결과와 낮은 비용이 항상 같은 선택을 가리키지는 않는다. 영향이 큰 업무는 더 많은 검증을 요구할 수 있고, 공통 기반 투자는 당장의 결과 수보다 이후의 반복 부담을 줄일 수 있다. 어느 비용을 감수해 어떤 약속을 지킬지 리더가 판단해야 한다.

5장에서 정한 자원 상한과도 연결한다. 실행 요금이 줄어도 사람의 판정 시간이 늘거나 새 의존 관계를 계속 유지해야 한다면 전체 부담이 줄었다고 단정하지 않는다. 준비에 한 번 든 비용과 반복 검증·운영에 드는 비용을 나누고, 그 부담을 맡은 역할에 필요한 시간과 지원이 배정되었는지 확인한다. 상한을 바꾸는 결정은 더 빨리 만들 수 있다는 기대보다 수용 결과와 지속할 비용의 증거에 근거해야 한다.

앞의 가상 문의 업무에서 수용한 답변이 늘었지만 검토 대기와 비용도 늘었다고 하자. 이는 지표가 충돌하는 설명 예시다. 리더는 실행 전에 반드시 지킬 정확성·정보 취급 경계, 감수할 비용과 대기, 결과를 관찰할 기간을 정한다. 품질 경계를 위반한 결과는 답변 수의 증가로 상쇄하지 않는다. 경계는 지켰지만 비용이 허용 범위를 넘었다면 확대를 보류하고 정해 둔 축소·중단 조건을 적용한다. 검토·재시도 중 어떤 부담이 늘었는지 조사한 뒤 다시 판단한다. 아직 사용자 결과를 볼 시간이 부족했다면 효과를 실패나 성공으로 채우지 않고 확대를 보류한다.

현재 범위를 유지할 수 있다는 판단과 더 넓힐 수 있다는 판단도 나눈다. 기존 범위의 결과·품질·비용이 기준을 충족해도 새 업무의 조건을 확인하지 않았다면 기존 운영만 유지할 수 있다. 결과 책임자는 후속 품질을, 기반 운영자는 비용과 대기를 관찰하고, 지정한 투자 판단자는 약속한 시점에 증거를 모아 유지·수정·중단·확대를 결정한다. 중대한 경계 위반에는 그 시점까지 기다리지 않고 정해 둔 중단 권한을 행사한다. 18장은 이 기준을 최초 도입의 계약과 종료 조건에 연결한다.

지표 이름보다 계산 대상을 읽는다

데모의 주간 지표 코드는 관찰 창 안에 구현 기록이 있는 요청을 분모로 삼고, 배포 성공과 모든 실행의 성공 기록을 갖춘 요청을 완주로 센다. 이 계산에서는 정책에 따라 사람에게 넘긴 경우도 완주에서 제외된다. 알려진 비용의 합계와 비용을 보고한 실행 수를 함께 남기며, 작은 표본은 데이터 부족으로 표시한다.[S66]

따라서 이 완주율을 고객 문제 해결률이나 제품 결함률로 읽을 수는 없다. 사람의 판단이 필요한 변경을 올바르게 보류해도 자동화의 완주 비율은 낮아질 수 있다. 리더는 어떤 개입을 줄이려는지와 유지해야 하는 개입이 무엇인지 먼저 정한다. 보고된 실행 비용도 사람의 검토·운영·학습까지 포함한 전체 비용과 구분한다. 같은 화면에 성공률과 비용이 있어도 분모·누락·관찰 기간을 읽지 않으면 투자 판단은 달라질 수 있다.

체감과 역사적 연구를 현재의 효과로 바꾸지 않는다

METR의 2025년 연구는 숙련 OSS 개발자의 실제 업무에서 AI 사용 허용을 무작위로 배정했다. 저자들은 결과를 특정 조건에서 본 2025년 초 AI 능력의 관측으로 설명하고 후속 자료를 연결한다.[S53] 이 책은 그 시점과 조건의 제한을 근거로 과거 결과를 현재 모델의 일반적인 생산성 효과로 확대하지 않는다.

2026년 후속 글도 참여 선택과 시간 측정의 변화로 현재 효과 추정이 제한된다고 설명한다.[S54] 이 자료에서 얻는 해석은 도구가 바뀌는 동안 과제·참가자·측정 조건까지 바뀌면 차이를 해석하기 어렵다는 것이다. 새 도구가 더 낫거나 나쁘다는 확정 근거로 확대하지 않는다.

체감 속도는 사용 경험의 자료로 기록하되 실제 결과와 구분한다. 익숙함과 기대, 평가받는 상황이 응답에 영향을 줄 수 있다. 같은 작업에서 관찰한 시간·품질·개입과 대조할 수 있어야 한다. 자신감이나 만족도가 높다는 사실만으로 생산성이 높아졌다고 보고하지 않는다.

대조할 조건과 불확실성을 남긴다

로보코의 DORA AI Guide는 2026년 9월 24일 초기 문서 커밋이 확인되는 비공식 요약이다.[S73] 이 책은 원 연구를 찾는 안내와 편집자의 해석으로 참고하며, 가이드의 작성 시점을 DORA 연구의 발표 시점으로 사용하지 않는다. 예를 들어 DORA의 측정 프레임워크 원문은 2025년 8월 6일 글로, 먼저 측정이 돕는 목적과 결정을 정하고 자기보고·로그 자료의 한계를 고려하도록 설명한다.[S74]

이 책의 투자 판단에서는 사용자 결과를 바꾸려는지, 전달의 안정성을 높이려는지, 사람의 판단 부담을 줄이려는지 먼저 구분한다. 기존 기준선은 유지하고 새 업무에 필요한 개입·미검증·비용 자료를 보완한다. 로그가 있다는 이유로 해석이 객관적이라고 가정하지 않고 설문과 실행 기록이 다른 질문에 답한다는 점도 남긴다. 공식 소개만 읽은 자료의 수치나 요약자가 추가한 예시를 원 연구 결과로 인용하지 않는다.

도입 전후를 비교할 때 업무량과 난도, 사람의 경험과 지원, 기준과 환경을 기록한다. 여러 조건을 함께 바꿨다면 어떤 변화가 효과를 만들었는지 구분하기 어려울 수 있다. 가능한 범위에서 같은 대표 과제나 비교 집단을 사용하고, 관찰의 한계를 설명한다.

무작위 배정이나 대조가 없는 도입은 관찰 결과로 기술한다. 차이를 발견하지 못한 것과 동등성을 입증한 것도 구분한다. 짧은 과제의 결과를 장기 조직 효과로 확장하지 않는다. 불확실성을 유지하는 것이 측정 실패가 아니라 올바른 투자 판단의 조건일 수 있다.

평가 기준을 낮추어 수용률을 높인 경우는 실행 개선과 분리한다. 새 목적이 필요해서 기준을 바꿀 수는 있지만 그 변경 이유와 권한, 적용 시점을 남긴다. 과거 기준으로 확인한 결과를 새로운 약속의 증거처럼 사용하지 않는다.

오너십과 실제 대응을 별도로 평가한다

16장의 심리적 오너십·인지적 참여·책임 행동은 서로 다른 평가 대상이다. 그 장은 사람이 행사할 판단을 설계하고 대표 오류로 시험하는 방법을 다뤘다. 이 장에서는 그 결과를 투자 판단에 연결한다. 태도 점수나 승인 횟수로 책임 행동의 효과를 대신하지 않는다.

오류 발견과 후속 대응이 나아졌는지에 더해 정상 결과의 잘못된 거부, 판단 대기, 학습·검토 비용을 함께 기록한다. 개인의 평가 과제에서 얻은 결과가 실제 업무의 사용자 결과로 이어졌는지도 별도로 확인한다. 참여의 변화와 조직 성과를 한 숫자로 합치면 어디에 더 투자해야 할지 알기 어렵다.

리더는 측정의 결과로 다음 결정을 바꾼다

측정은 유지·수정·중단·확대의 판단에 쓰여야 한다. 결과가 개선되었어도 보지 못한 소비자와 비용이 있다면 범위를 제한할 수 있다. 실패가 늘었다면 모델·자료·계약·검증 중 무엇을 조사할지 정한다. 같은 지표를 계속 보여주는 대시보드만으로 개선 루프가 닫히지는 않는다.

P06은 수용 후 결함과 판정 번복, P08은 수용률·비용·개입과 반복 편차, P13은 같은 자료의 재검토를 확인한다. 원서의 작업량·품질 측정과 개선이라는 주제의 연결은 기존 공개 목차 범위다. 다음 장은 이 증거를 처음 도입할 범위와 지속·중단 조건에 연결한다.

출처와 검토

[S33] · [S53] · [S54] · [S66] · [S73] · [S74]. 확인 범위와 한계는 출처 대장, 주장 유형은 자료 확인 범위에 기록한다.

원서 주제 연결: 원서 주제 연결의 범위(공개 목차 기준).