가드레일 참고(H1부터 H19까지)
가드레일은 평가에서 반드시 지키는 규칙입니다. 규칙마다 실제 평가가 그 지점에서 틀렸던 일이 계기가 되었습니다. H1부터 H10까지는 2026-06 첫 평가(메모리 도구 재설계)의 약점에서 나왔습니다. H11부터 H19까지는 2026-10과 2026-11에 판정이 기존 방식 쪽으로 기운 사례에서 나왔습니다. 원문은 저장소 METHOD.md의 GUARDRAILS 표입니다.
한눈에 보기
| 번호 | 규칙 | 주로 걸리는 단계 |
|---|---|---|
| H1 | 축마다 표본 6개 이상 | 측정 |
| H2 | 돌리지 않은 후보는 추론으로만 | 측정, 판정 |
| H3 | 방향 안정과 최소 표본을 모두 채워야 멈춤 | 측정 |
| H4 | 모든 arm에서 모델 고정, 비싼 모델 기준점 하나 | 측정 |
| H5 | 골든셋은 실제 요청 원문과 실제 결과로 | 측정 |
| H6 | 알아보려고 만들지 않기 | 기성 도구 먼저 |
| H7 | 싼 쪽부터 재기 | 기성 도구 먼저, 측정 |
| H8 | 방향은 표본보다 메커니즘으로 | 판정 |
| H9 | 청소도 방법의 일부 | 판정과 정리 |
| H10 | 모든 판정에 신뢰도 라벨 | 판정 |
| H11 | 판정은 잰 축에만, 본업을 먼저 재기 | 현재 상태 실측, 판정 |
| H12 | 측정 전에 본업이 시험에 들어 있는지 확인 | 측정 |
| H13 | 도입 판정에서 동률은 기존 방식 몫이 아님 | 질문 세우기, 판정 |
| H14 | 양쪽 비용을 모두 쓰기 | 질문 세우기 |
| H15 | 끝나지 않은 측정은 기존 방식 몫이 아님 | 판정 |
| H16 | 후보의 주장과 오너의 이유는 필수 축 | 질문 세우기, 판정 |
| H17 | 양쪽에 같은 조건 주기 | 측정 |
| H18 | 감사는 양쪽을 공격 | 반대 감사 |
| H19 | 판정 원장을 쌓고 연속 반대를 경보 | 반대 감사, 판정 |
규칙별 설명
H1. 축마다 표본 6개 이상
- 막는 것: 한 번의 맞대결로 결론을 내는 일.
- 걸리는 때: 골든셋을 짤 때와 측정을 멈추려 할 때. 축마다 과제가 6개 미만이면 결론을 쓰지 않습니다.
- 계기: 첫 평가에서 후보 하나의 판정이 표본 3개에 기댔습니다.
H2. 돌리지 않은 후보는 추론으로만
- 막는 것: 실제로 돌리지 않은 후보를 “효과 없음”으로 판정하는 일.
- 걸리는 때: 판정을 쓸 때. 돌리지 않은 후보의 결론에는 추론(낮은 신뢰) 라벨을 붙이고 실측 결론과 떼어 씁니다.
- 계기: 첫 평가에서 후보 하나(Graphiti)를 돌리지 않고 “끼어들 여지가 없다”고 짐작했습니다.
H3. 방향 안정과 최소 표본을 모두 채워야 멈춤
- 막는 것: 추세가 분명해 보인다는 이유로 일찍 멈추는 일.
- 걸리는 때: 측정 도중 멈출지 정할 때. 결과의 방향이 안정되고 H1의 최소 표본을 채운 뒤에만 멈춥니다.
- 계기: 첫 평가가 규칙대로라면 계속했어야 할 표본 3개에서 멈췄습니다.
H4. 모든 arm에서 모델 고정, 비싼 모델 기준점 하나
- 막는 것: 모델 차이를 도구 효과로 착각하는 일.
- 걸리는 때: arm을 구성할 때. 모든 arm이 같은 모델을 씁니다. 절대 비용을 보려고 실제로 쓰는 비싼 모델로 과제 하나 이상을 따로 잽니다.
- 계기: 상대 차이는 같은 모델 안에서만 옮겨 말할 수 있습니다.
H5. 골든셋은 실제 요청 원문과 실제 결과로
- 막는 것: 평가자가 지어낸 과제로 시험에 맞춘 결과를 얻는 일.
- 걸리는 때: 골든셋을 짤 때. 과제는 실제 요청 원문을 그대로 쓰고, 정답은 실제로 병합된 커밋이나 통과한 테스트로 둡니다. 정답이 없으면 참고용(사람이 채점)으로 표시합니다.
- 계기: 평가자가 만든 과제는 시험에 맞춰 가르치는 꼴이 됩니다.
H6. 알아보려고 만들지 않기
- 막는 것: 효과가 있는지 확인하려고 먼저 만드는 일.
- 걸리는 때: 기성 도구 먼저(Buy-before-build) 단계. 기성 도구를 지금 환경에 붙여 먼저 시험합니다.
- 계기: 이 방법의 핵심입니다. 첫 평가에서 무거운 빌드를 아꼈습니다.
H7. 싼 쪽부터 재기
- 막는 것: 비싼 기반 시설부터 세우는 일.
- 걸리는 때: 측정 순서를 정할 때. 지금 방식과 기성 도구처럼 싼 arm을 먼저 잽니다.
- 계기: 첫 평가에서 대조를 먼저 재 보니 무거운 그래프 데이터베이스 빌드가 필요 없다는 것이 드러났습니다.
H8. 방향은 표본보다 메커니즘으로
- 막는 것: 통과한 과제 수만으로 결론이 튼튼하다고 믿는 일, 그리고 반대로 얇은 결과를 메커니즘으로 부풀리는 일.
- 걸리는 때: 판정을 쓸 때. 결과가 나온 이유(메커니즘)를 적습니다. 메커니즘은 측정 결과를 설명할 수는 있지만, 얇거나 재지 않은 결과를 후보 반대 판정으로 넓히는 데 쓰지 못합니다.
- 계기: 첫 평가에서 “결정이 문서로 남아 있어 다시 찾기가 싸다”는 메커니즘이 방향 판단을 받쳤습니다. 2026-11-15에는 “공개된 절감 효과는 여기로 옮겨 오지 않는다”는 설명으로 표본 1개를 “도입할 이유 없음”으로 넓힌 일이 있어 뒷부분을 더했습니다.
H9. 청소도 방법의 일부
- 막는 것: 평가가 남긴 설치물과 색인, 죽은 참조가 쌓이는 일.
- 걸리는 때: 판정 뒤. 평가 때문에 생긴 것을 모두 지우고 판정 계획에 청소 내역을 적습니다.
- 계기: 첫 평가가 후보 도구 둘을 설치하고 이미 폐기한 도구의 참조를 남겨, 모두 따로 치워야 했습니다.
H10. 모든 판정에 신뢰도 라벨
- 막는 것: 증거의 세기를 숨기는 일.
- 걸리는 때: 판정을 쓸 때. 실측(n), 추론, 메커니즘 근거 중 해당하는 라벨을 붙입니다.
- 계기: 증거가 실제로 얼마나 강한지 정직하게 밝히기 위해서입니다.
H11. 판정은 잰 축에만, 본업을 먼저 재기
- 막는 것: 가장 약한 축 하나만 재고 “도입 안 함”이라고 쓰는 일.
- 걸리는 때: 현재 상태 실측과 판정 단계. 판정 문구는 “X 작업에 효과 없음”처럼 잰 축으로 한정합니다. 후보의 본업을 재지 않았으면 그 축은 “판정 없음”이고 제목에 “도입 안 함”을 쓰지 않습니다. 실측 단계에서는 지난 작업뿐 아니라 “도구가 없어 못 했거나 피한 일”도 찾습니다.
- 계기: 2026-10-16 REA 평가를 가장 약한 축(Power BI 웹 화면 관찰)에서만 재고 “도입 안 함”이라고 썼습니다. 당시 외부 도구 도입 평가 10건 중 전면 채택은 0건이었습니다.
H12. 측정 전에 본업이 시험에 들어 있는지 확인
- 막는 것: 후보가 효과를 내는 조건이 빠진 과제로 재고 “효과 없음”을 얻는 일.
- 걸리는 때: 골든셋을 돌리기 전. 실제 사용 기록에서 후보가 줄이거나 바꾸는 몫을 먼저 재고, 가능하면 그 몫에 후보를 직접 적용해 상한을 구합니다. 후보가 실제로 켜지는지 탐침으로 확인합니다. 같은 설정을 두 번 돌려 잡음을 재고, 그에 맞춰 쌍 수를 정합니다. 비교는 같은 시기 대조와 과제별로 짝지어 합니다.
- 계기: 2026-10-31 토큰 절감 도구 평가는 짧은 과제로만 쟀는데, 도구가 효과를 낸다는 긴 세션 조건이 없었습니다. 한 도구(Serena)는 안내가 없어 거의 쓰이지 않았고, 중앙값만 본 비교로 다른 도구의 효과를 잘못 주장했습니다.
H13. 도입 판정에서 동률은 기존 방식 몫이 아님
- 막는 것: 비긴 결과를 “현재로 충분”으로 쓰는 일.
- 걸리는 때: 판정을 쓸 때. 되돌리기 쉬운 기성 도구가 본업에서 뒤지지 않고, 후보가 내세우거나 오너가 꼽은 축(에이전트 친화성, 자원 소모, 유지비) 중 하나에서 앞서면 채택합니다. 재지 못한 축은 “미측정”으로 적고 불리한 근거로 쓰지 않습니다. 표본이 모자라면 “판정 없음”만 쓰고 “도입 근거 없음” 같은 한쪽으로 기운 문장을 붙이지 않습니다. “현재로 충분”은 후보가 본업에서 뒤지거나 바꾸는 비용이 클 때만 씁니다.
- 계기: 2026-11-15 agent-browser 평가에서 화면 1곳의 정답과 토큰이 대조 범위 안(동률)이었는데 “도입할 근거 없음”이라고 썼습니다. 오너가 꼽은 친화성과 자원 소모는 재지 않았습니다.
H14. 양쪽 비용을 모두 쓰기
- 막는 것: 잘못된 yes의 비용만 따지는 일.
- 걸리는 때: 질문 세우기 단계. 잘못된 yes 비용과 잘못된 no 비용(못 하게 된 일, 놓친 더 나은 도구)을 함께 쓰고, 되돌릴 수 있는지와 그에 따른 출발점을 적습니다.
- 계기: 2026-11-15까지 판정 계획 양식이 잘못된 yes 비용만 물었습니다. 그때까지 평가 22건 중 측정으로 채택한 외부 도구는 사실상 없었습니다.
H15. 끝나지 않은 측정은 기존 방식 몫이 아님
- 막는 것: 끊긴 측정을 “현재로 충분”으로 마무리하는 일.
- 걸리는 때: 측정이 미리 정한 n을 채우지 못하고 멈췄을 때. 되돌리기 쉬운 도입은 기간, 지켜볼 신호, 되돌릴 조건을 붙인 시험 도입으로 씁니다. 만들기는 판정 없음으로 씁니다.
- 계기: 2026-10-16 REA와 2026-11-15 agent-browser 모두 측정이 끊겼고, 첫 판정은 도입 반대 쪽이었습니다.
H16. 후보의 주장과 오너의 이유는 필수 축
- 막는 것: 평가자가 재기 쉬운 축만 골라 재는 일.
- 걸리는 때: 질문 세우기 단계에서 설계 전에 목록으로 박습니다. 재지 못한 축은 판정에 “미측정”으로 남깁니다.
- 계기: 2026-11-15 agent-browser 평가에서 오너가 꼽은 친화성과 자원 소모를 재지 않고 토큰과 적중만 쟀습니다.
H17. 양쪽에 같은 조건 주기
- 막는 것: 기존 방식은 잘 다듬은 설정으로, 후보는 한 줄 안내로 재는 일.
- 걸리는 때: arm을 구성하고 과제를 고를 때. 후보에게 공식 설정과 스킬을 기존 방식과 같은 깊이로 줍니다. 기존 도구를 전제로 쓴 저장소 규칙은 양쪽에서 빼거나 중립으로 고칩니다. 지난 과제 외에 “도구가 없어 못 한 일”도 과제에 넣습니다.
- 계기: 2026-11-15 브라우저 도구 평가에서 후보 arm은 한 줄 안내만 받았고, 기존 도구로 재라는 저장소 규칙이 양쪽 arm에 그대로 들어갔습니다.
H18. 감사는 양쪽을 공격
- 막는 것: 교차 감사가 설계의 허점만 공격해 채택 문턱만 올리는 일.
- 걸리는 때: 반대 감사 단계. 교차 감사는 도입 반대 쪽 결론과 시험 조건의 기울기도 공격합니다(감사 명세의 M3). 채택 문턱을 올리는 지적은 되돌릴 수 있는지와 견주고, 되돌리기 쉬운 도입이면 시험 설계에만 반영합니다.
- 계기: 2026-11-15 교차 감사가 설계 허점만 공격해 채택 문턱이 올라갔습니다.
H19. 판정 원장을 쌓고 연속 반대를 경보
- 막는 것: 평가자의 처지 때문에 판정이 한쪽으로 쌓이는 것을 아무도 모르는 일.
- 걸리는 때: 판정을 쓴 뒤와 다음 도입 평가를 시작할 때. 모든 판정을
examples/LEDGER.md에 적습니다. 최근 도입 판정 셋이 연달아 반대나 판정 없음이면, 다음 도입 평가에 채택 쪽만 변론하는 변호 감사를 붙입니다. 평가자가 기존 방식을 쓰는 당사자이고 “현재로 충분”이 가장 일이 적은 결론이라는 점도 판정 기록에 적습니다. - 계기: 2026-07 한 감사가 “판정 없음이 세 번 이어지는 관성”을 지적했고, 2026-10-16에는 도입 평가 10건 중 채택이 0건이었으며, 2026-11-15에 같은 일이 다시 일어났습니다.
참고: 원장으로 다시 매긴 결과는 실전 사례의 “판정 원장으로 다시 본 결과”에 있습니다.