P08 조합 단위의 선별

상황과 반복되는 문제

공개 모델 정보만으로 실제 업무의 수행·비용·개입을 판단하기 어려운 상황에 적용을 검토한다. 모델 순위가 실제 프로젝트 성능을 예측하지 못한다.

상충하는 요구

공정한 비교 조건을 유지할 요구와 각 조합의 고유 기능을 활용할 필요가 충돌한다.

해결 원리와 적용

대표 업무에서 모델과 에이전트와 하네스와 환경을 하나의 조합으로 평가한다. 이 원리는 이 책의 설계 제안이며 효과가 입증된 보편 법칙이 아니다.

대표 업무와 중요한 예외, 적격 기준을 먼저 정한다. 같은 조건에서 반복하고 결과·비용·개입과 환경 버전을 기록한다. 운영 변화와 실패에 따라 재평가할 조건을 둔다.

결과와 비용

대표 과제를 만들고 반복 비교하며 조합의 구성을 유지하는 비용이 든다. 후보가 바뀔 때마다 전체 평가를 반복할 부담과 중요한 실패를 놓칠 위험을 함께 본다. 반복해서 맡길 업무와 재평가 이유가 명확할수록 이 비용을 배분할 근거가 생긴다.

실패 경계와 적용하지 않을 조건

쉬운 과제나 평균 점수만으로 선정하면 경계 실패가 가려질 수 있다. 표본이 작거나 조건이 다른 결과를 일반적인 순위·동등성으로 확정하지 않는다.

근거와 연결

공개 자료의 확인 범위와 이 책의 해석·제안은 11장·13장·17장의 주장 메모와 출처 대장에 있다. 이 카드는 해당 장의 적용 구조를 정리했으며 새로운 사례·성과 수치·실행 검증을 추가하지 않았다.

연결 패턴: P03 실행 가능한 계약·P07 독립된 검증·P09 실행 주체의 교체.

검증 상태와 다음 판단

동일 과제의 수용률과 비용과 개입 시간 및 반복 편차를 비교한다.