Skip to Content
권대환매뉴얼

평가 한 건 진행하기

이 쪽은 “도구 X를 만들까, 들일까, 유지할까?”라는 질문 하나를 일곱 단계로 판정까지 끌고 가는 순서입니다. 단계 이름 옆 괄호는 원본 METHOD.md의 영문 이름입니다. 각 단계에 붙은 H 번호는 그 단계에서 지켜야 할 가드레일이며 가드레일 참고에 풀이가 있습니다.

시작 전에 필요한 것

  • 판정할 질문 하나. 비교해서 고를 일이 실제로 있어야 합니다. 이미 승인된 구현이나 오류 수정에는 이 절차를 쓰지 않습니다.
  • 판정 계획 양식 templates/decision-plan.md. 평가가 진행되는 동안 이 양식을 채워 나가고, 다 채운 양식이 결과물입니다.
  • 교차 감사를 맡길 다른 회사 모델(Codex). 읽기 전용으로 씁니다.
  • 판정 원장 examples/LEDGER.md. 최근 판정이 한쪽으로 몰렸는지 4단계 전에 확인합니다.

1. 질문 세우기(Frame)

  1. 질문을 한 줄로 씁니다. 무엇을 바꾸려는지, “현재로 충분”이면 어떤 모습인지 함께 씁니다.
  2. 잘못된 yes의 비용을 씁니다. 버려지는 작업 시간, 옮기는 수고, 관리할 도구가 하나 느는 일이 여기에 들어갑니다.
  3. 잘못된 no의 비용도 씁니다. 후보가 쉽게 해 줬을 일, 오너의 시간, 놓치는 더 나은 도구가 여기에 들어갑니다(H14).
  4. 되돌릴 수 있는지 적습니다. 하루 안에 지우거나 원래대로 돌릴 수 있으면 되돌릴 수 있는 것입니다.
  5. 출발점을 정합니다. 만들기나 되돌리기 어려운 변경은 “현재로 충분”에서 출발합니다. 되돌리기 쉬운 도입은 “채택”에서 출발하고, 후보가 더 나쁘다는 것이 보일 때만 바뀝니다(H13).
  6. 필수 축 목록을 씁니다. 후보가 공식적으로 내세우는 장점, 오너가 든 이유, 후보의 본업(주 용도)이 모두 들어갑니다(H16).
  7. 평가자의 처지를 적습니다. 평가자는 기존 방식을 쓰는 당사자이고, “현재로 충분”이 가장 일이 적은 결론입니다(H19).

결과는 판정 계획 양식의 0절(Frame)에 들어갑니다.

2. 현재 상태 실측(Inventory)

  1. 지금 있는 구성 요소를 하나씩 확인해 사용 중(active), 죽음(dead), 놀고 있음(idle)으로 나눕니다. 문서나 기억이 아니라 실행 기록, 설정 파일, 실제 호출 수로 확인합니다.
  2. 도구가 없어서 못 했거나 피한 일을 찾습니다. 지난 작업 기록에 없는 이유가 도구 부재일 수 있습니다(H11).

결과는 구성 요소마다 실제 상태를 적은 현재 상태 지도이며, 판정 계획 1절에 들어갑니다.

3. 설계(Design)

  1. 바꾸려는 의도를 씁니다.
  2. 선택지를 둘이나 셋 만들고 하나를 추천합니다.
  3. 범위를 실제 필요에 맞춥니다. “나중에 쓸지도 모르는” 확장은 넣지 않습니다.

4. 반대 감사(Adversarial audit)

  1. 자기 감사를 합니다. templates/audit-spec.md의 0절에 전제 사실(공리)을 적고, 관점 L1부터 L7까지로 설계를 공격합니다. L7은 명세 부족(위험한데 설계가 느슨한 곳)이며 반드시 살핍니다.
  2. 각 지적을 증거 관문에 통과시킵니다. 구체적 계기, 실제 피해, 공리와의 연결이 모두 있고 스스로 쓴 반박을 견뎌야 유효합니다. 반박이 그럴듯하면 버립니다.
  3. 설계와 자기 감사 결과(버린 지적 목록 포함)를 다른 회사 모델에 넘깁니다. 이때 세 가지 임무를 명시합니다.
    • M1: 명세 부족(L7)을 먼저 찾습니다. 찾지 못했으면 “찾아봤지만 없음”이라고 씁니다.
    • M2: 자기 감사가 버린 지적을 하나씩 다시 보고, 잘못 버렸으면 되살립니다.
    • M3: 도입 반대 쪽 결론도 공격합니다. 빠진 필수 축, 기존 방식에 유리한 과제나 규칙, 얇은 결과에 기댄 반대 결론을 찾습니다(H18).
  4. 채택 문턱을 올리는 지적(더 엄한 기준, 더 많은 표본)은 되돌릴 수 있는지와 견줍니다. 되돌리기 쉬운 도입이면 시험 설계에만 반영하고 판정을 막지 않습니다.
  5. 판정 원장에서 최근 도입 판정 셋을 셉니다. 셋 모두 반대나 판정 없음이면 채택 쪽만 변론하는 변호 감사를 하나 더 붙입니다(H19).
  6. 살아남은 지적을 판정 계획에 반영합니다. 각 관문은 결과로 틀렸음을 보일 수 있는(반증 가능한) 조건으로 씁니다.

5. 기성 도구 먼저(Buy-before-build)

  1. 축마다 가장 나은 기성 도구를 찾습니다.
  2. 그 도구를 지금 환경에 붙여 시험합니다. 효과가 있는지 알아보려고 먼저 만들지 않습니다(H6).
  3. 싼 쪽부터 잽니다. 지금 방식과 기성 도구를 먼저 재고, 비싼 기반 시설은 그다음에 세웁니다(H7).
  4. 비교 집합을 동결합니다. 판정 계획 2절에 대조(Control, 지금 방식)와 후보 arm(Treatment)을 적고, 각 arm이 받은 설정과 안내 문서를 기록합니다.

기성 도구 중 최고도 지금 방식을 이기지 못하면, 직접 만든 도구도 이기기 어렵습니다. 그래서 정직한 결과는 대개 “채택”이나 “현재로 충분”입니다.

6. 측정(Measure)

  1. 본업이 시험에 들어 있는지 먼저 확인합니다. 실제 사용 기록에서 후보가 줄이거나 바꾸는 몫을 재고, 가능하면 그 몫에 후보를 직접 적용해 효과의 상한을 구합니다. 그 몫을 통째로 없애도 잡음보다 작으면, 큰 측정 대신 그 상한이 판정입니다(H12).
  2. 후보가 실제로 켜지는지 탐침으로 확인합니다. 훅 출력이나 도구 호출 기록을 보고, 켜지지 않으면 고친 뒤 잽니다.
  3. 같은 과제에 대조를 두 번 돌려 잡음을 잽니다. 그 잡음에서 의미 있는 최소 효과를 잡아낼 수 있는 쌍 수를 정합니다.
  4. templates/golden-set.md로 골든셋(정답이 있는 실제 과제 묶음)을 만듭니다. 과제는 실제 요청 원문을 그대로 쓰고, 정답은 실제 결과(병합된 커밋, 통과한 테스트)로 둡니다(H5). 축마다 6개 이상을 넣습니다(H1). 도구가 없어 못 했던 일과 후보가 내세우는 쓰임새도 과제에 넣습니다(H17).
  5. 양쪽에 같은 조건을 줍니다. 후보에게는 만든 쪽이 권하는 공식 설정과 스킬을 기존 방식과 같은 깊이로 줍니다. 기존 도구를 전제로 쓴 저장소 규칙은 양쪽에서 빼거나 중립으로 고칩니다(H17).
  6. 모든 arm에서 모델을 고정합니다. 값싼 모델로 재도 되지만, 절대 비용을 보려고 실제 쓰는 비싼 모델로 기준점을 하나 둡니다(H4).
  7. 판정식을 측정 전에 정합니다. templates/measurement.md의 반증 가능한 판정식 칸을 채웁니다.
  8. 과제마다 토큰, 도구 호출 수, 걸린 시간, 정답 여부를 기록합니다. 정답은 미리 정한 채점 기준으로 매깁니다. 비교는 같은 시기에 돌린 대조와 과제별로 짝지어 합니다.
  9. 방향이 안정되고 축마다 표본 6개 이상을 채울 때까지 계속합니다. 추세가 분명해 보여도 일찍 멈추지 않습니다(H1, H3).

7. 판정과 정리(Decide + Cleanup)

판정은 아래 표를 따릅니다. 만들기와 도입은 다른 질문이며, 도입에서 동률은 기존 방식 몫이 아닙니다(H13).

갈래조건판정
만들기대조가 이기거나 비김현재로 충분
만들기기성 도구로 못 메우는 실제 빈틈만든다
도입후보가 본업에서 측정으로 뒤지거나 바꾸는 비용이 큼현재로 충분
도입본업에서 비기고, 필수 축 하나에서 앞섬채택
  1. 질문이 만들기인지 도입인지 확인하고 위 표로 판정합니다.
  2. 측정이 미리 정한 n을 채우지 못하고 끊겼으면 다음처럼 씁니다. 되돌리기 쉬운 도입은 기간, 지켜볼 신호, 되돌릴 조건을 붙인 시험 도입입니다. 만들기나 되돌리기 어려운 변경은 판정 없음입니다. 끝나지 않은 측정에서 “현재로 충분”을 쓰지 않습니다(H15).
  3. 판정 문구를 잰 축으로 한정합니다. 본업을 재지 않았으면 그 축은 “판정 없음”이고, 제목에 “도입 안 함”을 쓰지 않습니다(H11). 재지 못한 필수 축은 “미측정”으로 남기고 후보에게 불리한 근거로 쓰지 않습니다(H16).
  4. 신뢰도 라벨을 붙입니다(H10). 결과를 설명하는 메커니즘을 적습니다(H8). 돌리지 않은 후보에 대한 결론은 추론으로 따로 표시합니다(H2).
  5. 판정 원장 examples/LEDGER.md에 한 줄을 더합니다(H19).
  6. 평가가 남긴 것을 치웁니다. 시험용 설치물, 색인, 죽은 참조를 지웁니다(H9).

결과 확인

다음이 모두 갖춰지면 평가 한 건이 끝난 것입니다.

  • 판정 계획 양식이 판정, 신뢰도 라벨, 측정 수치, 메커니즘, 청소 내역까지 채워져 있습니다.
  • 돌리지 않은 후보에 대한 결론이 추론으로 따로 표시되어 있습니다.
  • 이 평가가 다루지 않는 축이 적혀 있습니다.
  • 판정 원장에 이 평가의 줄이 있습니다.

양식 한눈에

양식쓰는 단계담는 내용
templates/decision-plan.md전 단계질문, 현재 상태, 비교 집합, 지킨 가드레일, 결과와 판정, 청소, 결정 기록
templates/audit-spec.md4단계공리, 관점 L1부터 L7까지, 증거 관문, 교차 감사 임무 M1부터 M3까지
templates/golden-set.md6단계과제 원문, 정답, 축 배분, 약한 과제 걸러내기
templates/measurement.md6단계arm 구성, 모델 고정, 판정식, 멈춤 규칙, 결과 표

잘 안 될 때

증상원인조치
후보 arm에서 후보 도구를 거의 부르지 않습니다.안내가 약하거나 도구가 켜지지 않았습니다.탐침으로 켜짐을 확인하고 공식 설정을 준 뒤 다시 잽니다(H12, H17).
대조와 후보가 모두 만점이라 차이가 없습니다.과제가 너무 쉬워 효과를 잴 수 없습니다.후보가 내세우는 쓰임새로 과제를 바꿔 다시 잽니다(H16). 판정 원장은 이런 Graphify 평가를 판정 없음으로 다시 매겼습니다(H13, H16, H17).
측정이 중간에 끊겼습니다.환경 고장, 오너 중단, 예산 부족이 있었습니다.도입이면 시험 도입, 만들기면 판정 없음으로 적습니다(H15).
판정이 계속 도입 반대로 나옵니다.평가자가 기존 방식 쪽으로 기울 수 있습니다.원장에서 최근 셋을 세고 변호 감사를 붙입니다(H19).
표본이 모자랍니다.사전에 정한 n을 못 채웠습니다.만들기나 되돌리기 어려운 변경이면 판정 없음으로 적습니다. 되돌리기 쉬운 도입이면 시험 도입으로 적습니다(H15). 어느 쪽이든 “도입 근거 없음” 같은 한쪽으로 기운 문장은 붙이지 않습니다(H13).

실제로 이런 문제를 겪은 평가는 실전 사례에 있습니다.