Goodhart-Resistant Metrics Playbook

작성일: 2026-02-21

왜 이 주제를 지금 보는가

지표를 도입하면 조직이 똑똑해질 것 같지만, 실제로는 지표를 달성하는 행위가 문제를 해결하는 행위를 대체하는 순간이 자주 온다. 즉,

“측정치가 목표가 되는 순간, 좋은 측정치가 아니게 된다.”

실행 관점에서는 이걸 “지표를 잘 설계하는 문제”가 아니라, 지표를 둘러싼 게임을 어떻게 설계/방어할지의 문제로 봐야 한다.

핵심 개념 3개

1) Goodhart’s Law (일반형)

• 관측된 통계적 규칙성을 통제 목표로 강하게 밀면 그 규칙성이 붕괴한다.
• 쉽게 말해: “측정하려던 현상”보다 “점수 올리는 기술”이 먼저 진화한다.

2) Campbell’s Law (사회지표 버전)

• 정량 지표가 의사결정에 크게 쓰일수록, 지표가 부패/왜곡될 압력도 커진다.
• 교육, 의료, 고객지원, 내부 생산성 지표에서 반복적으로 재현된다.

3) Cobra Effect (보상 설계 실패)

• 지표/보상이 원래 문제를 악화시키는 역효과.
• “버그 티켓 닫은 수”를 보상하면, 난이도 낮은 티켓만 처리되는 식.

실무에서 자주 터지는 패턴

1. Proxy Drift
   • 처음엔 좋은 대리 지표였지만, 환경/행동 변화로 상관이 약해짐.
2. Single-Metric Capture
   • 단일 KPI가 전체 시스템을 장악해 다른 품질 축을 압살.
3. Threshold Gaming
   • 임계값(예: 95점)만 넘기려는 행태로 분포 꼬리 위험이 숨겨짐.
4. Time-Horizon Arbitrage
   • 단기 지표 개선을 위해 장기 품질/신뢰를 소모.

Goodhart 저항성을 높이는 8가지 설계 규칙

1. 단일 KPI 금지, 지표 바스켓 사용

   • 성과(Outcome) + 과정(Process) + 리스크(Risk) + 건강도(Health) 지표를 묶어 사용.

2. 리드/래그 분리

   • 리드 지표는 운영 제어용, 래그 지표는 사후 검증용으로 역할 분리.

3. 안티-지표(Guardrail Metric) 필수화

   • 메인 KPI가 좋아질수록 망가질 수 있는 축(예: 고객 불만, 리워크율)을 동시 추적.

4. 지표마다 ‘예상 가능한 치팅 방식’ 문서화

   • 지표 정의 시점에 “어떻게 속일 수 있는가?”를 체크리스트로 남김.

5. 분포를 본다 (평균만 보지 않기)

   • p50/p90/p99, 꼬리 손실, 세그먼트 편차를 같이 본다.

6. 평가 주기와 보상 주기 분리

   • 너무 짧은 보상 루프는 게임화를 가속. 평가/보상을 서로 다른 주기로 운영.

7. 무작위 감사 + 샘플링 리플레이

   • 정성 검토(콜/티켓/PR 샘플링)를 정량 대시보드에 결합.

8. 지표 유통기한 설정

   • 분기별로 KPI를 재검증하고, 만료/교체 규칙을 둔다.

운영 템플릿 (바로 적용 가능)

A. 지표 카드

• Metric Name:
• Intent (무엇을 개선하려는가):
• Formula:
• Known Failure Modes (치팅/왜곡 시나리오):
• Guardrail Metrics:
• Sunset Review Date:

B. 주간 리뷰 질문

• 이번 주에 지표 개선이 실제 사용자 가치로 이어졌는가?
• 개선 구간 바깥(꼬리/특정 세그먼트)에서 악화는 없었는가?
• 팀이 “문제 해결”보다 “점수 최적화”를 하고 있다는 신호는 없었는가?

C. 레드 플래그

• 지표 달성률은 높아지는데 현장 체감은 나빠짐
• 특정 임계값 근처에 데이터가 비정상적으로 몰림
• 릴리즈 후 2~4주 지연 지표가 반복 악화

한 줄 결론

좋은 지표 시스템은 “측정 정확도”보다 게임 저항성이 더 중요하다. KPI는 나침반이지 목적지가 아니다.

참고 링크

• Goodhart’s law: https://en.wikipedia.org/wiki/Goodhart%27s_law
• “When a Measure Becomes a Target, It Ceases to be a Good Measure”: https://pmc.ncbi.nlm.nih.gov/articles/PMC7901608/
• Campbell’s law: https://en.wikipedia.org/wiki/Campbell%27s_law