P06 증거 기반 완료

상황과 문제

에이전트가 완료를 보고해도 요청한 결과가 존재하지 않을 수 있다. 코드가 실행되고 테스트가 통과했더라도 검사가 의도의 일부만 확인한다면 충분한 판정 근거가 되지 못한다. 수행자가 요구를 잘못 이해했다면 자신이 만든 테스트도 같은 오해를 반복할 수 있다.

상충하는 요구

모든 결과를 사람이 처음부터 확인하면 처리량이 제한된다. 수행자의 설명만 받아들이면 오해가 다음 작업으로 전파될 수 있다. 검증의 양을 늘리는 데는 비용이 들며, 쉽게 측정하는 조건만 고르면 실제 목적이 축소될 수 있다.

해결 원리

작업 전에 완료 조건을 정하고 각 조건에 판정 방법과 증거를 연결한다. 수행자는 변경과 증거를 제출하고, 정해진 판정 경로가 의도 및 정책에 맞는지 확인한다. 코드·환경·기준의 버전을 증거와 함께 보존한다.

공개 자료의 관찰과 해석

Anthropic의 공식 평가 지침은 수행 기록과 최종 환경의 결과를 구분하고, 과업에 맞는 코드·모델·사람의 판정을 설명한다. [S10] 이 자료는 평가 설계 지침이며 실제 조직의 운영 성과를 입증한 사례는 아니다.

이 설명에서 얻을 수 있는 해석은 수행자의 발언만으로 결과를 판정하면 최종 상태를 놓칠 수 있다는 것이다. 이 책은 완료 증거를 실행 계약에 연결하고 판정 책임을 명시하는 방식을 제안한다. 이 제안의 효과는 실제 업무에서 별도로 평가해야 한다.

적용 절차

1. 의도 소유자가 결과, 제약과 성공 기준을 확인한다.
2. 각 완료 조건을 관찰 가능한 증거와 판정 주체에 연결한다.
3. 수행 결과, 실행 환경과 적용 기준의 버전을 함께 기록한다.
4. 판정자가 증거를 기준과 비교한다. 증거가 부족하면 미검증 상태로 남긴다.
5. 실패를 의도·정책·계획·구현·검증의 문제로 구분해 개선안으로 연결한다.

결과와 비용 및 경계

근거가 남으면 판정을 재검토하고 실행 주체를 교체하기 쉬워질 수 있다. 테스트, 운영 관찰과 기록을 유지하는 비용도 발생한다. 자동 검증이 장기 사용자 결과까지 보장하지 않으므로 구현 수용과 운영 성과의 확인 시점을 구분한다.

같은 에이전트의 자체 선언만으로 독립 검증이 성립하지 않는다. 다른 모델을 쓰더라도 입력과 가정을 공유하면 같은 오류를 낼 수 있다. 평가 기준·데이터·권한의 독립성을 점검한다. 탐색 작업에는 발견한 사실과 남은 불확실성을 산출물로 정의한다.

검증과 연결

판정 번복, 수용 후 운영 결함, 검토 시간과 추가 질문을 함께 관찰한다. 이 패턴은 P03 실행 가능한 계약, P07 독립된 검증, P13 의도부터 결과까지 추적과 연결한다. 실패에서 나온 변경안은 P15 검증을 거치는 개선으로 되돌린다.

출처: [S10]. 확인 범위는 출처 대장에 기록한다.