데이터분석 전처리·평가지표 정리
전처리 선택과 분류·회귀 평가지표를 상황별로 고르는 기준을 설명합니다.
관련 시험 빅데이터분석기사ADsP
데이터 전처리
결측값은 발생 원인을 먼저 확인하고 삭제·단순 대치·모델 기반 대치를 선택합니다. 이상값은 오류일 수도 있지만 중요한 희귀 사건일 수 있으므로 자동 제거하면 안 됩니다.
- 표준화는 평균 0, 표준편차 1로 변환한다.
- 원-핫 인코딩은 범주마다 이진 열을 만든다.
- 학습·검증 데이터 분리 전에 전체 데이터로 변환기를 학습하면 누수가 생긴다.
분류지표
정밀도는 양성 예측의 정확성, 재현율은 실제 양성을 찾아낸 비율입니다. 거짓음성 비용이 큰 질병 탐지나 이상 탐지에서는 재현율의 중요도가 커질 수 있습니다.
- F1은 정밀도와 재현율의 조화평균이다.
- 불균형 데이터에서는 정확도만 보면 오해할 수 있다.
- ROC-AUC는 임계값 전반의 분류 성능을 요약한다.
회귀와 검증
MAE는 절대오차 평균, RMSE는 큰 오차에 더 큰 패널티를 줍니다. 교차검증은 여러 분할에서 성능을 반복 측정해 특정 분할에 대한 우연을 줄입니다.
- 과적합은 학습 성능과 검증 성능의 차이로 의심할 수 있다.
- 규제는 모델 복잡도를 제어한다.
- 시계열 데이터는 시간 순서를 무시한 무작위 분할에 주의한다.
자주 틀리는 판단
- 불균형 데이터에서도 정확도만으로 모델 선택
- 검증 데이터로 하이퍼파라미터를 고른 뒤 같은 데이터로 최종 성능 주장
- 상관관계를 인과관계로 단정
개념을 확인했다면 실제 문제에서 판단 기준을 적용해보세요.
분야별 문제 풀기