실전 사례
이 쪽은 har_eval로 실제로 내린 판정 일곱 건과, 판정 원장으로 지난 판정을 다시 매긴 결과를 모았습니다. 수치는 모두 각 평가의 판정 계획과 원장 examples/LEDGER.md에 적힌 값입니다. 사례마다 끝에 그 평가가 어느 가드레일과 이어지는지 적었습니다.
한눈에 보기
| 시기 | 대상 | 갈래 | 판정 | 신뢰도 |
|---|---|---|---|---|
| 2026-06 | 메모리 도구 재설계(MindVault v2) | 만들기 | 현재로 충분 | 실측(n=3, 약함), 일부 추론 |
| 2026-06 | Serena 유지 여부 | 유지 | 유지, 범위 한정 | 실측(n=1, 강함), 메커니즘 근거 |
| 2026-06 | RTK(명령 출력 압축) | 도입 | 조건부 채택 | 실측(n=24) |
| 2026-07 | agentsync(설정 동기화) | 도입 | 현재로 충분 | 실측(17항목) |
| 2026-08 | 도구 출력 크기 제한 훅 | 만들기 | 현재로 충분 | 실측(n=1,593) |
| 2026-11 | Graphify 재도입, agent-browser | 도입 | 판정 없음, 시험 도입 | 실측(n=8), 실측(n=1) |
| 2026-11 | Rust 빌드 도구(mold, sccache) | 도입 | 채택, 시험 도입 | 실측(6회), 실측(2회) |
1. 메모리 도구: 데이터로 “안 만든다”(2026-06)
질문. 코딩 기억 도구(MindVault)를 v2로 다시 설계해 지금보다 고도화할까? har_eval은 이 질문을 “애초에 만들 필요가 있나?”로 바꿨습니다.
진행.
- 질문 세우기: 기억 도구를 만드는 것과 “지금 방식(심볼 탐색 도구, 정리된 기억 문서, git, 설계 문서)으로 충분”을 견줬습니다. 잘못된 yes의 비용은 그래프 데이터베이스와 임베딩까지 세우는 몇 시간짜리 빌드였습니다.
- 현재 상태 실측: 이전 그래프 색인 도구(Graphify)는 죽었는데 참조가 남아 있었고, 기억 도구는 설치만 되고 놀고 있었습니다.
- 반대 감사: 자기 감사가 8건을 찾았고, 교차 감사(Codex)가 자기 감사가 놓친 13건을 더 찾고 4건의 심각도를 고쳤습니다.
- 측정: 기성 후보 둘을 비교 집합으로 동결했습니다. 첫 후보(CodeGraph)는 깔끔한 구조 질문에서 토큰을 약 17% 줄였지만, 진단 과제에서는 싸게 틀렸습니다(n=3). 대조는 6문항을 모두 맞혔습니다.
판정. 현재로 충분, 아무것도 만들지 않습니다. 시험으로 설치한 도구와 죽은 참조는 지웠습니다.
메커니즘. 대조가 싸고 정확했던 이유는 오너가 결정을 문서로 남기는 습관(커밋 설명, 설계 문서)과 정리된 기억 문서입니다. 이 습관은 6문항 밖에서도 성립합니다.
가드레일로 남은 약점. 첫 후보의 판정이 표본 3개에 기댔습니다(H1, H3). 다른 후보(Graphiti)는 돌리지 않고 “여지 없음”을 짐작했습니다(H2, H10). 그래서 정직한 라벨은 첫 후보 실측(n=3, 약함), 다른 후보 추론과 메커니즘 근거입니다.
2. Serena: 폐기 직전에 뒤집힌 판정(2026-06)
질문. 심볼 탐색 도구 Serena를 계속 둘까, 걷어낼까?
함정. 실측해 보니 Serena는 매 세션 켜지지만 실제 도구 호출은 0회였습니다. “안 쓰이니 폐기”로 결론 날 뻔했습니다. 그런데 Serena는 처음부터 활성화된 적이 없었습니다. 첫 안내 단계가 자동으로 불리지 않아 도구가 준비되지 않았던 것입니다. 돌린 적 없는 것에서 “효과 없음”을 끌어내는 일은 H2가 막는 일입니다.
측정. 제대로 켜고 TypeScript 저장소의 심볼 질문 하나를 쟀습니다. 대조는 검색과 파일 읽기로 도구 8회, 약 53.6k 토큰을 썼습니다. Serena는 참조 찾기 한 번(약 3k에서 4k 토큰)으로 모든 사용처를 돌려줬고, 검색이 놓치는 타입 참조까지 포함했습니다.
판정. 폐기하지 않고 유지합니다. 범위는 한정합니다. 타입이 강한 코드의 심볼 탐색에는 Serena를 쓰고, Python이나 동적 코드, SQL 문자열에는 기본 읽기·검색 도구를 씁니다. 신뢰도는 실측(n=1, 강함)과 메커니즘 근거(언어 서버는 타입 코드에서 참조를 정확히 푼다)입니다.
이후. 2026-10-31 토큰 절감 도구 평가에서 Serena는 안내 문구가 없어 거의 쓰이지 않았고, 원장에는 “판정 없음(켜짐 실패)“으로 남았습니다. 이 일이 측정 전에 켜짐을 확인하는 H12의 계기 중 하나입니다.
3. RTK: 벤더 주장과 우리 환경의 차이(2026-06)
질문. 명령 출력을 줄여 AI 문맥에 넣는 도구 RTK를 들일까? 벤더는 60%에서 90% 절감을 주장했습니다.
측정. 작업 환경의 실제 명령 출력 24개(4개 축 곱하기 6개)를 RTK 통과 전후로 비교했습니다.
| 축 | 절감(중앙값) | 비고 |
|---|---|---|
| docker | 0.0% | 로그가 모두 다른 줄이라 줄일 것이 없습니다. |
| gh | 71.6% | 실패 표시와 실행 번호는 남습니다. |
| git | 58.5% | 상태·기록은 줄고, 변경 내용(diff)은 거의 그대로입니다. |
| test | 56.2% | 출력이 작아 비율이 불안정합니다. |
| 전체(토큰 가중) | 20.7% | 이 묶음의 정직한 단일 수치입니다. |
정확성. 두 곳에서 정보가 망가졌습니다. docker ps는 컨테이너 상태 열이 사라졌고, pip list는 256개 패키지를 “1 packages”로 보고했습니다.
판정. 조건부 채택입니다. 모든 명령에 거는 전역 훅은 설치하지 않습니다. 안전한 요약 명령(gh run list, git log, git status)에만 손으로 씁니다. 원장 재판정에서도 본업 정확성에서 뒤진 표면이 있어 그대로 유지했습니다.
4. agentsync: 측정으로 뒤진 후보(2026-07)
질문. Claude Code와 Codex의 설정(스킬, 연결 도구, 지시문, 훅)을 agentsync로 한곳에서 맞출까?
진행. 비밀 값을 뺀 설정 사본을 격리된 환경에 만들고 그 안에서만 돌렸습니다. 실제 설정 파일 835개의 해시를 전후로 비교해 바뀐 것이 없음을 확인했습니다.
측정. 17개 항목 중 통과 7, 알린 손실 1, 조용한 손실 6, 치명 2였습니다. Claude 사용자 스킬 12개 중 링크로 연결된 8개가 경고 없이 빠졌습니다. 가져오기 단계에서 마지막에 쓴 쪽이 이겨, 한쪽 지시문이 다른 쪽 지시문으로 덮였습니다.
판정. 도입하지 않습니다(현재로 충분). 후보가 본업에서 측정으로 뒤졌으므로 H13 이후 다시 매겨도 판정이 바뀌지 않았습니다.
5. 도구 출력 크기 제한 훅: 실측에서 전제가 무너짐(2026-08)
질문. 파일 읽기와 명령 결과의 크기를 훅으로 제한하면 문맥 소모가 크게 줄까? 발단은 세션 문맥 증가분의 68.8%가 도구 결과라는 관찰이었습니다.
측정. 한 프로젝트의 세션 기록 전체에서 도구 호출 1,593건을 결과와 짝지어 셌습니다. 흔히 쓸 만한 문턱(2만 자)으로 자르면 전체의 1.3%만 줄어듭니다. 명령 결과는 2만 자를 넘은 경우가 한 번도 없었습니다.
판정. 만들지 않습니다(현재로 충분, 실측 n=1,593). 줄어드는 양이 새 규칙과 훅 오탐 위험을 정당화하지 못합니다. 판정이 만들지 않는 보수적인 방향이고 전제가 실측 단계에서 무너져, 교차 감사는 비용에 맞지 않아 하지 않았다고 기록에 적었습니다.
6. Graphify와 agent-browser: 원장으로 다시 매긴 두 판정(2026-11)
Graphify 재도입(2026-11-14). 코드 그래프 도구 Graphify를 다시 넣으면 코드 구조 질문이 더 정확하거나 싸지는지 쟀습니다. 대조 두 번(C1, C2)과 후보 두 방식(T, Ts)을 같은 모델과 같은 저장소 사본으로 문항 8개씩 돌렸습니다. 모든 arm의 정답 점수가 만점에 가까웠고(F1 1.000, Ts만 직접 참조 0.969), 토큰 중앙값은 C1 79.6k, C2 81.9k, T 81.2k였습니다. 그래프를 권하기만 한 arm(T)은 8회 중 4회 그래프를 아예 쓰지 않았습니다.
- 원래 판정은 “효과 미검출, 지금 방식으로 충분”이었습니다.
- 원장 재판정은 판정 없음입니다. 대조가 이미 만점이라 차이를 잴 수 없는 과제였고, 후보가 내세우는 쓰임새(큰 리팩터링, 낯선 저장소, 여러 저장소)는 재지 않았습니다(H13, H16, H17). 판정 계획 문서는 그대로 두고 원장에서만 다시 매겼습니다.
agent-browser(2026-11-15). 화면 결함 찾기에 브라우저 도구 agent-browser를 쓰면 지금 방식보다 나은지 쟀습니다. 계획한 과제 8개 중 1개(화면 1곳)에서만 끝났고, 정답 적중과 토큰이 대조 범위 안(동률)이었습니다. 오너가 꼽은 에이전트 친화성과 자원 소모는 재지 않았습니다.
- 처음 기록은 “지금 도입할 근거는 없다”였습니다. 동률 1건과 재지 않은 축을 반대 근거로 쓴 것입니다.
- 같은 날 H13에 따라 정정했고, 오너가 채택을 결정했습니다. 원장 재판정은 시험 도입입니다(H15, H16, H17).
이 두 건이 H13부터 H19까지를 더한 직접 계기입니다.
7. Rust 빌드 도구: 다시 재서 채택으로(2026-11)
Rust 전환 때 서버 빌드·운영 도구 후보를 이 절차로 평가했습니다. 평가자의 첫 두 결론은 후보 여덟 개 모두 미채택이나 보류였습니다. 교차 감사와 후보별 변호 감사를 거친 뒤 채택 1건, 시험 도입 6건이 되었습니다. 이 평가는 처음에 이 절차를 열지 않고 진행되었고, 그 뒤 공통 규칙의 스킬 선택표에 연결을 넣었습니다.
| 후보 | 처음 결론 | 측정 | 최종 판정 |
|---|---|---|---|
| mold(개발·검사 빌드 링커) | 기존 링커 유지(링크 미측정) | 수정 뒤 다시 빌드 15.2초에서 5.9초로(6회), 링크 메모리 1.58GB에서 0.95GB로 | 채택. 릴리스 빌드는 재지 않아 기존 링커 유지 |
| sccache(컴파일 캐시) | 조건부 | 새 경로 첫 빌드 CPU 417초에서 172초로(2회), 캐시 적중 733/733 | 시험 도입 2주. 적중률 70% 이상, 캐시 3GB 이하, 잘못된 실행 파일 0건이 조건 |
mold는 본업(링크)을 재지 않은 채 유지 판정을 냈던 경우라 H11로 바뀌었습니다. sccache는 실제 제품 규모로 재니 방향은 분명했지만 표본이 모자라 H15에 따라 시험 도입이 되었습니다.
판정 원장으로 다시 본 결과
2026-11-15에 지난 평가를 원장에 모으고, 문서에 적힌 측정값만으로 새 규칙(H13부터 H19까지)을 다시 적용했습니다. 원장에는 2026-11-16 기준 29줄이 있습니다.
- 원래 판정(판정이 있는 21건): 채택 계열 7건, 반대나 현재로 충분 11건, 판정 없음이나 보류 3건이었습니다. 외부 도구를 측정으로 채택한 것은 조건부 채택 2건뿐이었습니다.
- 다시 매긴 결과: 판정이 바뀐 것 7건, 문구만 바뀐 것 1건, 근거가 모자라 판정할 수 없는 것 2건입니다. 측정으로 후보가 뒤졌거나 바꾸는 비용이 커서 반대가 유지된 건도 있습니다(agentsync 등).
- 연속 반대 경보(H19): 원래 판정으로 세면 최근 도입 판정 넷이 연달아 반대나 판정 없음이라 경보 조건(셋)을 넘었습니다. 새 판정으로 세면 최근 셋이 시험 도입, 판정 없음, 판정 없음이라 지금은 경보가 아닙니다.
참고: 각 판정의 근거 규칙은 가드레일 참고, 평가 순서는 평가 한 건 진행하기에 있습니다.