모아의 기웃기웃 / AI 이해하기 / 게시 전 초안

AI 정확도 99%인데, 불량을 하나도 못 잡는 이유

정확도·재현율 실험하기

AI 이해하기 5편 · 모아의 기웃기웃

1편 · AI는 어떻게 배울까? → 2편 · 학습률·모멘텀·Adam → 3편 · 신경망 → 4편 · 과적합과 일반화 → 5편 · 데이터의 품질

검사 AI의 정확도가 99%라고 하면 꽤 잘하는 것처럼 들립니다. 그런데 불량은 단 하나도 찾아내지 못한 결과라면 어떨까요?

정상 9,900개와 불량 100개가 있는 10,000개를 생각해 보겠습니다. 전부 정상이라고 답하면 정상 9,900개는 맞힙니다. 정확도는 99%인데, 불량 100개는 모두 놓칩니다.

지난편에서는 학습한 예제를 잘 맞혀도 새 데이터에서 틀릴 수 있다는 과적합을 봤습니다. 이번에는 곡선의 숫자값을 예측하던 예제에서 정상·불량을 구분하는 분류 문제로 옮겨갑니다. 어떤 데이터를 모으고, 정답을 어떻게 붙이며, 어떻게 나눠 평가하는지 살펴보겠습니다.

정확도·재현율 인터랙티브 실험 열기

정상·불량 검사 예제는 원리를 설명하기 위해 직접 계산한 가정입니다. 실제 제품이나 검사 장비의 성능 수치가 아닙니다. 뒤에서 소개할 MNIST의 크기는 공식 문서에 공개된 실제 데이터셋 수치입니다.

1. 정확도 99%와 불량 검출 0개가 함께 나오는 이유

정상 9900개와 불량 100개를 전부 정상으로 판정했을 때 정확도 99퍼센트와 불량 재현율 0퍼센트

정확도는 전체 중 정답을 맞힌 비율입니다. 위 예시에서는 9,900÷10,000=0.99, 즉 99%입니다.

불량 재현율은 실제 불량 중 찾아낸 비율입니다. 찾은 불량이 0개이므로 0÷100=0, 즉 0%입니다. 여기서는 불량을 ‘양성’으로 정의합니다. 양성이라는 말이 품질이 좋다는 뜻은 아닙니다.

두 지표는 분모가 다릅니다. 정확도는 전체 10,000개를, 불량 재현율은 불량 100개만을 기준으로 봅니다. 한쪽 종류가 압도적으로 많은 불균형 데이터에서는 정확도만으로 필요한 검출 능력을 판단하기 어렵습니다. 정의 출처: Google 정확도·재현율

2. 정확도가 조금 낮아져도 불량을 더 찾을 수 있다

이번에는 불량의 80%를 찾아내고, 정상의 1%를 불량으로 잘못 판정하는 검사기를 가정하겠습니다. 이 두 비율은 계산을 위한 입력 조건입니다.

• 불량 100개 중 80개를 찾고, 20개를 놓칩니다.

• 정상 9,900개 중 99개에 잘못 경보를 울리고, 9,801개를 정상으로 맞힙니다.

• 정확도는 (80+9,801)÷10,000=98.81%, 불량 재현율은 80÷100=80%입니다.

가정한 비교 검사기의 맞힌 불량 80개 놓친 불량 20개 잘못 경보 99개 맞힌 정상 9801개
판정 조건전체 정확도불량 재현율놓친 불량잘못 경보
모두 정상으로 판정99.00%0.00%100개0개
비교 검사기: 재현율 80%·정상 오경보율 1%98.81%80.00%20개99개
모두 불량으로 판정1.00%100.00%0개9,900개

첫 번째와 두 번째를 정확도로만 줄 세우면, 불량을 하나도 못 찾는 쪽이 더 좋아 보입니다. 반대로 마지막 조건은 불량을 모두 잡지만 정상 제품에도 전부 경보를 울립니다.

따라서 불량을 놓치는 비용과 정상 제품을 다시 검사하는 비용을 함께 봐야 합니다. 재현율만 높다고 충분한 것도 아닙니다. 표는 학습을 수행한 실험 결과가 아니라, 주어진 판정 조건에서 네 가지 개수를 실제로 센 계산 결과입니다.

3. 학습 데이터의 불균형은 어떻게 다룰까?

정상 사례가 훨씬 많으면, 전체 오차를 줄이는 과정에서 적은 불량 사례가 충분히 반영되지 않을 수 있습니다. 다만 불균형한 데이터로 학습했다고 반드시 전부 정상으로 답하게 되는 것은 아닙니다. 위의 ‘모두 정상’은 비교를 위한 기준입니다.

학습할 때는 불량을 틀렸을 때 더 큰 벌점을 주는 클래스 가중치나, 학습에 뽑는 사례의 비율을 조절하는 방법을 검토할 수 있습니다. scikit-learn의 balanced 가중치 공식도 클래스별 사례 수를 사용합니다. 구체적인 계산은 글 끝에 모았습니다. 출처: scikit-learn 클래스 가중치

학습용 비율을 조정하더라도 평가 데이터의 비율과 개수는 별도로 기록해야 합니다. 평가셋을 50:50으로 바꿔 얻은 정확도를 불량이 1%인 환경의 정확도와 그대로 비교해서는 안 됩니다.

4. 라벨은 모델이 배우는 ‘정답 표시’다

같은 합성 흠집 그림에 서로 다른 판정이 붙는 경우와 기준을 합의하는 과정

제품 사진이 입력이라면 ‘정상’ 또는 ‘불량’이라는 정답 표시가 라벨입니다. 정상 사진에 불량 표시가 잘못 붙으면, 모델은 잘못된 답을 기준으로 학습하거나 평가받게 됩니다.

실수뿐 아니라 기준의 차이도 문제입니다. 아주 작은 흠집을 어떤 사람은 정상, 다른 사람은 불량으로 볼 수 있죠. 애매한 사례를 모아 판정 기준을 정하고, 여러 사람이 검토한 뒤 기준과 수정 이력을 남기는 과정이 필요합니다.

사람끼리 판정이 일치하는 비율과 실제 정답에 맞는 비율은 다릅니다. 검사원 일치율을 곧바로 AI 정확도의 상한으로 바꾸어 읽지는 않습니다. 사람 둘이 같은 실수를 할 수도 있기 때문입니다. 출처: Google 라벨과 평가자 간 일치도

5. 데이터 증강은 ‘정답을 유지하는 연습 문제’ 만들기

증강은 학습 사진을 회전·이동하거나 밝기를 조절해 입력의 다양한 모습을 보여주는 방법입니다. 다만 변형 후에도 원래 정답을 유지할 수 있는지 확인해야 합니다. 출처: TensorFlow 데이터 증강

직접 그린 숫자 6의 이동과 회전으로 정답 유지 여부를 확인하는 데이터 증강 개념도

숫자 6을 조금 이동시켜도 대체로 6으로 읽습니다. 하지만 크게 회전해 9처럼 보이게 만들고 라벨을 계속 6으로 두면, 잘못된 연습 문제가 될 수 있습니다. 제품 사진도 방향이나 색 자체가 판정의 단서라면 변형 범위를 신중하게 정해야 합니다.

원본 한 장과 변형 세 장은 파일로는 네 장이지만, 서로 다른 제품 네 개를 새로 수집한 것과 같지는 않습니다. 증강은 새로운 실제 불량 사례를 수집하는 일을 완전히 대신하지 못합니다.

일반적인 학습용 증강은 훈련 데이터에 적용하고 검증·테스트에는 적용하지 않습니다. 모든 묶음에 필요한 크기 조정 같은 공통 전처리와도 구분합니다. 별도로 설계한 테스트 시점 증강은 다른 평가 절차입니다.

6. 먼저 원본을 나누고, 훈련 쪽에서 증강하자

같은 원본 A의 사본을 훈련과 테스트 양쪽에 넣는 분할과 원본 그룹별 분할 비교

원본 사진 A와 그 복사본 A′가 각각 훈련과 테스트에 들어가면, 처음 보는 사례를 평가하려는 목적이 약해집니다. 같은 제품의 여러 사진도 비슷한 문제가 생길 수 있습니다.

새 제품에서의 성능을 알고 싶다면 같은 제품의 사진들은 하나의 그룹으로 묶어 나누는 방법을 검토합니다. 먼저 원본과 그룹을 기준으로 훈련·검증·테스트를 나누고, 훈련 쪽에서 증강합니다. 같은 그룹이 학습과 평가에 겹치지 않도록 하는 방법은 공식 교차검증 문서에서도 다룹니다. 출처: scikit-learn 그룹별 분할

입력의 평균·표준편차나 특징 선택 같은 전처리 기준도 훈련 데이터에서 구한 뒤 평가 데이터에 적용합니다. 출처: scikit-learn 데이터 누출 방지

그룹을 나눴다고 현실 성능을 보장하는 것은 아닙니다. 실제 사용할 장비·시간·제품 조건을 대표하는지도 확인해야 합니다. 검증은 설정 선택에, 테스트는 선택을 마친 뒤의 평가에 사용합니다. 출처: Google 데이터 분리

7. 실제 공개 데이터셋은 어떻게 생겼을까?

공식 MNIST 데이터셋의 훈련 60000장 테스트 10000장 이미지 28곱하기28 픽셀과 10개 숫자 클래스

손글씨 숫자 데이터셋 MNIST는 공식 Keras 문서 기준으로 다음과 같습니다.

항목공개된 수치
훈련 이미지60,000장
테스트 이미지10,000장
이미지 한 장28×28 픽셀, 회색조
라벨0~9의 숫자, 10개 클래스

이미지와 라벨이 짝을 이루고, 훈련과 테스트가 별도로 제공된다는 점을 볼 수 있습니다. 이 분할 비율이 모든 문제의 권장 비율이라는 뜻은 아닙니다. 수치 출처: Keras MNIST 문서

앞선 정상·불량 계산 예제와 MNIST는 서로 다른 자료입니다. 이 글에서는 MNIST로 모델을 학습하거나 성능을 측정하지 않았고, 증강 그림도 직접 그린 개념도입니다.

8. 인터랙티브 실험에서 확인할 순서

• 불량 1%에서 ‘모두 정상으로 판정’을 누릅니다. 정확도 99%와 불량 재현율 0%를 함께 봅니다.

• ‘비교 검사기’를 누릅니다. 정확도 98.81%와 재현율 80%, 놓친 불량 20개·잘못 경보 99개를 비교합니다.

• 같은 조건으로 불량 비율을 10%로 바꿉니다. 재현율은 80%인데 정확도는 97.10%가 됩니다. 비율에 따라 전체 점수가 어떻게 달라지는지 확인합니다.

• ‘모두 불량’을 누르고 정상 제품에 발생한 잘못 경보도 살펴봅니다. 불량 비율이 0%일 때 재현율이 ‘계산 불가’로 표시되는 이유도 확인해 보세요.

정확도·재현율 실험으로 직접 확인하기

56초 · 한국어 자막 · 음성 없음

한국어 자막 영상이며 음성은 없습니다. 글·그림·실험·영상의 검사 예제는 같은 개수와 계산식을 사용합니다.

더 알아보기: 계산과 데이터의 조건

총 10,000개, 불량 비율은 0~100%의 정수입니다. 불량 비율을 p%, 불량 재현율 가정을 r%, 정상 오경보율 가정을 f%로 두면 실제 불량 수는 100p, 찾은 불량 TP=pr, 잘못 경보 FP=(100−p)f입니다. FN은 실제 불량 수−TP, TN은 실제 정상 수−FP입니다. 이 조건에서는 모두 정수 개수가 나옵니다.

불량 비율을 바꿀 때 r과 f는 고정합니다. 실제 환경에서 데이터 분포가 바뀌어도 이 조건부 비율이 유지된다는 보장은 없으며, 여기서는 비율과 지표의 관계만 분리해서 봅니다. 학습·가중치 조정·임곗값 최적화를 수행하는 실험은 아닙니다.

공식 balanced 클래스 가중치는 ‘전체 사례 수÷(클래스 수×해당 클래스 사례 수)’입니다. 정상 9,900개·불량 100개라면 정상 약 0.5051, 불량 50이며, 반올림 전 가중치를 쓰면 두 그룹의 가중치 합은 각각 5,000입니다. 이는 공식에 대입한 예시로, 성능 개선을 보장하는 설정은 아닙니다.

구성 그림의 기호 하나는 같은 정답의 100개를 대표합니다. 재생은 100칸을 훑는 설명용 연출이며, 지표는 항상 전체 10,000개로 계산합니다. 분모가 0인 비율은 0%로 대신하지 않고 ‘계산 불가’로 표시합니다.

출처와 그림의 기준

자료 확인: 2026년 11월 22일. 본문에 연결한 공식 문서는 지표·가중치·라벨·증강·분할의 개념과 MNIST의 크기에 대한 근거입니다. 정상·불량 검사 수치는 명시한 가정에서 직접 계산했습니다. 그림 6장과 영상은 직접 제작했으며 실제 검사 사진이나 MNIST 원본 이미지를 사용하지 않았습니다.

#AI공부 #데이터품질 #데이터불균형 #정확도 #재현율 #라벨링 #데이터증강 #데이터분할 #데이터누출 #머신러닝 #딥러닝기초 #모아의기웃기웃