데이터분석 전처리·평가지표 정리

정확도 95%인 모델이 양성을 하나도 못 찾을 수 있다

1,000건 중 실제 양성은 50건입니다. 모델 A의 혼동행렬을 계산한 뒤, 전부 음성이라고 예측하는 모델 B와 비교하세요. 양성은 이 문제에서 찾아내려는 대상으로 정의합니다.

풀이 순서

1. 정밀도는 양성이라고 예측한 100건 중 맞은 40건, 재현율은 실제 양성 50건 중 찾아낸 40건을 셉니다. 분모가 서로 다릅니다.
2. 모델 B는 음성 950건을 맞혀 정확도 95%가 되지만 실제 양성 50건을 모두 놓쳐 재현율은 0%입니다. 양성을 찾는 목적이라면 정확도만으로 B가 낫다고 판단할 수 없습니다.
3. B는 양성 예측이 없으므로 정밀도 식의 분모가 0입니다. 이는 100%라는 뜻이 아닙니다. 분석 도구에서는 미정의 값을 처리하는 정책에 따라 0이나 다른 표시를 사용할 수 있으므로 보고서에 그 기준을 적어야 합니다.

틀리기 쉬운 지점: 높은 지표 하나만 고르지 말고 실제 양성 비율, 놓친 양성의 비용, 잘못된 경보의 비용을 함께 보세요. 이 예제의 숫자를 실제 서비스 이용자 결과로 해석하면 안 됩니다.

MAE와 RMSE에서 모델 순위가 뒤집히는 경우

정답은 [10, 10, 10], 모델 A의 예측은 [10, 10, 16], B는 [13, 13, 13]입니다. 같은 세 건의 오차로 두 지표를 계산하세요.

Python 3

from math import sqrt

actual = [10, 10, 10]
for name, predicted in [('A', [10, 10, 16]), ('B', [13, 13, 13])]:
    errors = [p - a for p, a in zip(predicted, actual)]
    mae = sum(abs(e) for e in errors) / len(errors)
    rmse = sqrt(sum(e * e for e in errors) / len(errors))
    print(name, f'{mae:.2f}', f'{rmse:.2f}')

넓은 표는 좌우로 밀어 나머지 열을 볼 수 있습니다.

풀이 순서

1. MAE는 A가 6/3=2, B가 9/3=3이므로 A가 작습니다. 반면 RMSE는 A가 √(36/3)≈3.46, B가 √(27/3)=3이므로 B가 작습니다.
2. A의 한 번의 큰 오차 6이 제곱 과정에서 크게 반영됩니다. 큰 오차를 특히 줄여야 하는 목적과 전체 절대오차를 줄이는 목적이 다른 선택을 만들 수 있습니다.
3. 오차의 평균에 제곱근을 취하는 것이 아닙니다. 먼저 각 오차를 제곱하고 평균을 구한 다음 마지막에 제곱근을 취합니다.

확인 결과

A 2.00 3.46
B 3.00 3.00

틀리기 쉬운 지점: 두 모델은 같은 검증 데이터와 같은 목표 단위로 비교해야 합니다. 학습 데이터 오차와 별도 검증 데이터 오차를 섞어 우열을 정하지 마세요.

검증 방법과 참고 문서

혼동행렬을 1,000개의 실제·예측 레이블로 펼쳐 다시 집계하고 정확도·정밀도·재현율·F1을 분수로 대조합니다. 회귀 코드는 Python으로 실행하여 표시값과 계산표를 확인합니다.

예제·데이터·풀이표: 정처LAB 자체 설계 · AI 보조 작성 및 로컬 검증 · 예제 수정일 2026-09-27

• scikit-learn: 분류·회귀 평가지표와 미정의 지표 처리