11장 모델과 에이전트의 능력을 평가한다

순위가 실제 업무의 적격성을 대신하지 않는다

좋은 모델을 선택했는데 업무의 수용률은 기대와 다를 수 있다. 필요한 자료에 접근하지 못하거나 도구의 권한이 맞지 않거나, 실패 처리와 검증 경로가 업무에 적합하지 않을 수 있다. 리더가 구매하고 운영하는 것은 모델의 응답만이 아니라 결과를 만들어내는 조합이다. 공개 순위는 후보를 찾는 정보가 될 수 있지만 그 조합을 맡길 근거는 실제 업무에서 확보해야 한다.

P08 ‘조합 단위의 선별’은 모델·에이전트·하네스·환경을 대표 업무에서 평가하도록 제안한다. 9장의 하네스는 모델 호출·도구 실행·맥락·상태와 판정 경로를 연결한다. 평가에서는 사용한 모델, 에이전트에 맡긴 역할과 진행 방식, 이를 연결하는 하네스, 도구·자료·권한이 주어진 환경을 함께 식별한다. 같은 모델도 이 조건이 달라지면 다른 실행 조합으로 평가한다. P09 ‘실행 주체의 교체’는 조합을 바꾸어도 작업의 계약과 산출물, 기록을 유지할 조건을 다룬다. 선정과 운영, 교체의 비용을 함께 판단한다.

대표 과제와 적격 기준을 먼저 정한다

어떤 조합이 좋은지는 맡길 업무와 실패 영향에 따라 달라진다. 가상의 사내 문의 업무라면 근거를 찾는 능력과 근거가 없을 때 보류하는 능력을 함께 볼 수 있다. 이는 설명 예시다. 답변의 문장이 자연스럽다는 이유만으로 정보의 정확성이나 발송 권한의 준수까지 확인했다고 판단하지 않는다.

기존 업무에서 반복되는 정상 조건과 중요한 예외를 대표 과제로 만든다. 과제를 만들 때에는 입력·허용 권한·수용 조건과 평가 환경을 명시한다. 쉬운 요청만 넣으면 실제 실패를 놓칠 수 있고, 예외만 넣으면 일상 업무의 부담을 알기 어렵다. 과제의 구성 이유와 평가가 보지 못하는 범위를 남긴다.

적격 조건은 결과를 본 뒤 유리한 항목을 고르는 방식으로 정하지 않는다. 반드시 충족할 경계와 비교할 품질·비용을 구분한다. 필수 금지 조건을 위반한 조합은 다른 항목의 높은 평균 점수로 적격 처리하지 않는다. 경계를 바꿀 필요가 있다면 그 권한자가 새 위험과 기준을 판단한 뒤 다시 평가한다. 경계의 실패와 수행 품질의 차이는 다른 결정이다.

같은 조건으로 비교하되 반복의 차이를 본다

후보에게 같은 과제와 기준을 적용한다. 자료·권한·환경·도구의 버전과 사람이 개입한 내용을 기록한다.

한 번의 성공으로 안정성을 판단하지 않는다. 반복했을 때 어떤 결과와 개입, 비용의 차이가 생기는지 본다. 실패가 특정 과제에 몰리는지, 정상 결과도 거부하는지, 사람의 지원을 받아서만 성공하는지 살핀다. 평균뿐 아니라 업무별 수용과 실패 조건을 확인한다.

비교할 것	기록할 조건	판단에 사용할 질문
수용 결과	과제 유형·난도·기준	어떤 일을 맡길 수 있는가
실패와 예외	경계 위반·미검증·복구	어떤 조건에서 멈추는가
비용과 시간	실행·검토·재시도·환경	결과를 얻는 전체 부담은 얼마인가
사람 개입	도움의 내용·시점	독립 수행의 범위는 어디까지인가
반복 편차	같은 과제의 재실행	결과가 얼마나 안정적으로 이어지는가

이 표는 평가 설계 제안이다. 비교에서 제외한 비용이나 과제는 결과의 한계로 표시한다. 한 지표의 우위를 모든 업무의 적격성으로 확장하지 않는다.

모델과 하네스의 변경 효과를 나누어 본다

같은 모델도 맥락을 받는 방식, 도구 호출의 처리, 작업 인계와 검증 경로가 바뀌면 다른 결과를 낼 수 있다. 모델과 하네스를 동시에 바꾼 뒤 얻은 차이를 모델의 능력 향상만으로 설명하지 않는다. 운영에 사용할 전체 조합을 고르는 평가와 특정 변경의 영향을 알아보는 평가를 나눈다.

변경 원인을 조사할 때에는 가능한 범위에서 모델을 고정하고 하네스를 바꾼 경우와, 하네스를 고정하고 모델을 바꾼 경우를 비교한다. 새 모델이 다른 도구 형식이나 맥락 처리를 요구한다면 완전히 같은 조건의 비교가 어려울 수 있다. 그 차이를 기록하고 실제 운영에서는 맞게 구성한 조합의 결과와 비용을 다시 판단한다.

하네스 평가에는 정상 과제 외에 도구의 응답 누락, 중간 중단, 맥락 인계, 권한 충돌과 검사 실패를 넣는다. 실행이 끝난 것처럼 보고하지 않는지, 이미 한 외부 행동을 무심코 반복하지 않는지, 부족한 증거를 해당 책임자에게 넘기는지 확인한다. 하네스의 변경도 배포할 변경이므로 기존 수용 조건의 회귀와 전환 비용을 함께 살핀다. 모델을 그대로 썼다는 이유로 재평가를 생략하지 않는다.

역할에 실행 조합을 배정하는 구현

데모의 역할 배정 코드는 역할별 실행 도구와 예산을 읽고 모델을 설정값으로 선택한다. 검토 도구가 구현 도구와 같으면 대체 후보를 찾고, 다른 도구를 배정할 수 없으면 오류로 처리한다.[S65] 특정 모델 이름을 원리로 고정하지 않고 역할과 실행 조합을 연결하는 예다.

그러나 다른 도구를 배정한 사실은 독립 검증의 충분한 증거가 아니다. 같은 요구 누락과 평가 자료를 공유하면 서로 다른 조합도 같은 오류를 낼 수 있다. 리더는 배정 규칙을 출발점으로 삼아 대표 실패를 얼마나 발견하는지와 추가 비용을 평가한다. 이 데모의 역할 설정은 비교할 구성을 남기는 방법이며 도구 순위나 조합의 우열을 입증한 실험은 아니다.

평가 자체의 오류를 확인한다

저자의 LLM Wiki 벤치마크 글은 작업별 결과와 적용 조건을 함께 살펴볼 필요를 설명한다.[S46] 이 책은 특정 도구의 순위와 절감률 대신 자신의 업무 분포에서 조합을 평가하는 관점을 가져온다. 실험을 재현하거나 그 통계의 타당성을 확인한 자료로 쓰지 않는다.

판정 기준이 실행자의 오해를 반복하면 비교 결과도 틀릴 수 있다. P07의 별도 자료와 평가 경로를 확인한다. 다른 모델로 채점한다고 자동으로 독립성이 확보되지는 않는다. 알려진 실패와 정상 결과를 넣어 평가자가 거부와 수용을 적절히 하는지 확인한다.

차이가 뚜렷하지 않은 결과는 불확실성을 유지한다. 차이를 발견하지 못한 것과 동일한 능력을 입증한 것은 다르다. 평가 자료에만 맞춘 개선과 실제 업무의 개선도 구분해야 한다. 새 자료와 운영 관찰을 통해 평가가 놓친 조건을 보완하되 비교 기준의 변경 이력을 남긴다.

선정 뒤의 재평가 조건을 정한다

선정은 영구적인 인증이 아니다. 모델과 도구, 환경과 업무의 조건이 바뀌면 적격성도 달라질 수 있다. 변경 후 대표 과제를 다시 확인할 조건과 운영 중 멈출 신호를 정한다. 문제가 생겼을 때 모델의 약점인지 자료·권한·검증의 문제인지 구분할 기록이 필요하다.

교체 후보는 같은 계약으로 평가하되 전환 비용을 따로 본다. 기존 기록과 산출물을 읽을 수 있는지, 고유한 기능을 어떻게 활용할지, 이전의 권한이 남지 않는지 확인한다. 비용이 낮은 모델을 택했어도 검토·재작업과 환경 유지가 늘면 전체 부담은 달라질 수 있다.

최소 수행 능력을 충족하지 못한 조합에는 큰 권한을 주지 않는다. 반대로 한 업무에서 충분한 증거가 있다면 제한된 범위의 도입을 검토할 수 있다. 작은 실험의 성공을 조직 전체의 자동화 허용으로 확대하지 않는다.

리더는 구매와 운영을 같은 증거로 연결한다

P08은 동일 과제의 수용률·비용·개입 시간과 반복 편차를 비교한다. P09는 전환 작업량과 회귀 결함을 확인한다. 운영에서 수용 뒤 결함과 판정 번복이 생겼다면 평가 자료가 그 조건을 포함했는지 조사한다. 도구 사용량이나 후보의 인지도는 결과의 증거를 대신하지 않는다.

원서의 개인 역량과 측정이라는 주제에 대한 재고찰은 기존 공개 목차에 근거한다. 다음 장은 적격한 조합을 선택한 뒤 어떤 증거에 따라 실제 실행·배포·중단 권한을 줄지 설명한다.

출처와 검토

[S46], [S65]. 확인 범위와 한계는 출처 대장, 주장 유형은 자료 확인 범위에 기록한다.

원서 주제 연결: 원서 주제 연결의 범위(공개 목차 기준).