모아의 기웃기웃 · AI 이해하기 · 5편

정확도 99%인데,
불량을 하나도 못 잡을 수 있나요?

전체 중 얼마나 맞혔는지와, 불량 중 얼마나 찾았는지를 따로 확인해 보세요.

총 10,000개를 가정한 계산 실험입니다. 검사기의 재현율·오경보율은 입력 조건이며, 학습하거나 측정한 성능이 아닙니다.

실제 정상 개

실제 불량 개

직접 비율을 바꾸거나 위의 판정 조건을 선택해 보세요. 실제 불량 비율을 바꿔도 두 판정 조건은 그대로 유지됩니다.

전체 정확도

불량 재현율

정상·불량의 구성

○ 실제 정상◇ 실제 불량

한 기호는 같은 정답을 가진 100개를 뜻합니다. 총 100칸 = 10,000개이며, 실제 사진이나 검사 배치가 아닙니다.

전체 구성 표시

재생은 구성 그림을 훑는 설명용 연출입니다. 지표와 표는 항상 10,000개 전체의 계산값이며 검사 속도 측정이 아닙니다.

같은 판정 조건, 다른 불량 비율

실선 · 전체 정확도파선 · 불량 재현율세로선 · 현재 비율

가로축만 실제 불량 비율입니다. 재현율·오경보율 가정을 고정하고 계산한 곡선이며, 학습 결과 그래프가 아닙니다.

10,000개의 판정을 네 칸으로 나누면

행은 실제 정답, 열은 검사기의 판정입니다. 불량을 양성으로 정의합니다.
실제 / 판정불량 판정정상 판정
실제 불량
맞힌 불량 TP

놓친 불량 FN
실제 정상
잘못 경보 FP

맞힌 정상 TN

같은 데이터에서 세 가지 판정 조건 비교

비교 검사기는 재현율 80%·정상 오경보율 1%를 가정합니다.
판정 조건정확도불량 재현율놓친 불량잘못 경보

불량이 0개이면 불량 재현율의 분모도 0입니다. 이 경우 0%나 100% 대신 ‘계산 불가’로 표시합니다.

라벨 · 정답 표시는 믿을 만한가?

같은 사진에 정상과 불량이 번갈아 붙으면 학습과 평가가 흔들립니다. 애매한 사례의 기준과 검토 이력을 남깁니다. 사람 간 일치율을 AI의 정확도 상한으로 바꾸어 읽지는 않습니다.

불균형 · 무엇을 놓치고 있나?

정상 9,900개·불량 100개라면 전부 정상이라고 답해도 정확도 99%입니다. 불량 재현율과 놓친 불량·잘못 경보 개수를 함께 확인합니다.

증강 · 변형해도 정답은 같은가?

학습용 사진을 이동·회전·밝기 변화로 다양하게 보여줄 수 있습니다. 6이 9처럼 보이게 되는 변형처럼 정답이 달라질 수 있는 경우는 따로 점검해야 합니다.

분할 · 처음 보는 원본을 평가하나?

같은 원본과 사본이 학습·평가 양쪽에 들어가면 새 사례 평가가 어려워집니다. 원본 그룹을 먼저 나누고 훈련 쪽에서 증강합니다.

계산 조건과 실제 데이터셋 수치 더 보기

총 10,000개, 불량 비율 p%, 재현율 가정 r%, 정상 오경보율 가정 f%로 계산합니다. 실제 불량 100p개, TP=pr, FP=(100−p)f이며 FN·TN은 각 실제 개수에서 뺍니다. 입력값이 정수여서 판정 개수도 정수입니다.

실제 불량 비율을 바꿀 때 두 판정 조건은 고정합니다. 현실의 분포 변화에서 같은 조건부 비율이 보장되는 것은 아닙니다. 훈련을 수행하거나 임곗값을 자동 선택하는 실험은 아닙니다.

MNIST는 공식 Keras 문서 기준 훈련 60,000장·테스트 10,000장·28×28 회색조·10개 숫자 클래스입니다. 앞의 정상·불량 가정 예제와 별개이며 여기서는 MNIST 성능을 측정하지 않았습니다.

그림으로 다시 보기

56초 영상으로 복습하기

56초 · 한국어 자막 · 음성 없음

출처

Google · 정확도·재현율scikit-learn · 클래스 가중치Google · 라벨과 평가자 일치도TensorFlow · 데이터 증강scikit-learn · 그룹별 분할scikit-learn · 데이터 누출 방지Google · 훈련·검증·테스트Keras · MNIST 데이터셋