데이터 변환과 품질 검증
쉽게 말하면
모은 데이터는 바로 쓰기 어려워요. 단위가 제각각이면 맞추고, 들쭉날쭉한 값은 다듬고, 필요하면 새 열을 만들어요(변환). 그리고 빈칸은 없는지, 같은 사람이 두 번 들어가진 않았는지, 이상한 날짜는 없는지 점검해요(품질 검증).
시험용 정의
수집한 데이터는 분석에 맞게 변환하고 품질을 검증한다. 먼저 데이터 유형과 속성(척도: 명목·서열·등간·비율, 형태: 정형·반정형·비정형)을 파악한다. 변환 기법에는 잡음을 줄이는 평활화, 여러 값을 요약하는 집계, 세부 값을 상위 개념으로 바꾸는 일반화, 값을 정해진 구간으로 맞추는 정규화, 기존 속성으로 새 속성을 만드는 속성 생성이 있다. 정형 데이터 품질은 완전성(빠짐 없음), 유일성(중복 없음), 유효성(정해진 형식·범위), 일관성(서로 모순 없음), 정확성(실제와 같음)으로 보고, 비정형 데이터는 기능성·신뢰성·사용성·효율성·이식성으로 본다.
비유로 이해하기
택배 물류 센터로 보자. 상자 크기를 규격에 맞춰 다시 포장하는 것이 변환이고, 주소 칸이 비었는지(완전성), 같은 송장이 두 장인지(유일성), 우편번호가 다섯 자리인지(유효성), 주소와 우편번호가 서로 맞는지(일관성), 실제 받는 사람 주소가 맞는지(정확성) 확인하는 것이 품질 검증이다.
자세히
데이터 변환 기법
| 기법 | 하는 일 | 예 |
|---|---|---|
| 평활화 | 구간화·군집화 등으로 잡음을 줄이고 매끄럽게 | 들쭉날쭉한 일 매출을 이동 평균으로 |
| 집계 | 여러 값을 합계·평균 등으로 요약 | 일별 매출 → 월별 매출 |
| 일반화 | 세부 값을 상위 개념·범용 값으로 | 동 이름 → 시·도, 나이 → 연령대 |
| 정규화 | 값을 정해진 구간(예: 0~1) 안으로 | 최소-최대 정규화, z점수 표준화 |
| 속성 생성 | 기존 속성으로 새 속성 만들기 | 구매액 ÷ 방문 수 = 방문당 구매액 |
정형 데이터 품질 기준
| 기준 | 뜻 | 어긴 예 |
|---|---|---|
| 완전성 | 필수 항목에 빠진 값이 없다 | 필수인 연락처가 비어 있음 |
| 유일성 | 식별 값이 중복되지 않는다 | 같은 회원번호가 두 줄 |
| 유효성 | 정해진 형식·범위·규칙을 지킨다 | 나이 -5, 날짜 2026-13-40 |
| 일관성 | 같은 데이터가 여러 곳에서 서로 맞는다 | 주문 테이블과 결제 테이블의 금액이 다름 |
| 정확성 | 실제 세계의 값과 같다 | 이사한 고객의 옛 주소가 남아 있음 |
비정형 데이터 품질 기준
| 기준 | 뜻 |
|---|---|
| 기능성 | 필요한 기능을 제대로 하는가 (내용이 목적에 맞나) |
| 신뢰성 | 오류 없이 믿고 쓸 수 있는가 |
| 사용성 | 이해하고 쓰기 쉬운가 |
| 효율성 | 적은 자원으로 처리할 수 있는가 |
| 이식성 | 다른 환경으로 옮겨도 쓸 수 있는가 |
품질 검증 방법
- 메타데이터 분석: 열 이름·자료형·길이·허용값 정의와 실제 값을 비교
- 데이터 프로파일링: 열마다 결측 비율, 최솟값·최댓값, 값 분포, 자주 나오는 패턴을 통계로 훑어 이상을 찾음
- 업무 규칙 점검: '배송일은 주문일보다 늦다' 같은 규칙을 어긴 행을 찾음
- 문제를 찾으면 원인을 고치고 다시 측정한다. 품질은 한 번이 아니라 계속 관리한다
시험에 이렇게 나와요
- 변환 기법 다섯: 평활화·집계·일반화·정규화·속성 생성
- 정형 품질: 완전성(빈칸), 유일성(중복), 유효성(형식·범위), 일관성(모순), 정확성(실제와 일치)
- 비정형 품질: 기능성·신뢰성·사용성·효율성·이식성
- 데이터 프로파일링: 결측 비율·분포·패턴 통계로 문제 찾기
출제기준 1과목 '데이터 유형 및 속성 파악, 데이터 변환, 데이터 품질 검증'
확인 문제
Q1. 고객 테이블에 같은 회원번호가 두 번 들어 있다. 어떤 품질 기준을 어겼나?
- 완전성
- 적시성
- 유일성
- 이식성
정답 보기
3번 유일성
하나만 있어야 할 값이 중복된 것은 유일성 위반이다. 꼭 있어야 할 값이 비어 있으면 완전성 위반이다.
Q2. 일별 매출을 월별 합계로 바꾸는 변환 기법은?
- 속성 생성
- 정규화
- 평활화
- 집계
정답 보기
4번 집계
여러 값을 요약하는 것이 집계다.
Q3. 주민등록번호 형식이 아닌 값(12자리)이 들어 있다. 어떤 품질 기준 위반인가?
- 유일성
- 이식성
- 유효성
- 완전성
정답 보기
3번 유효성
정해진 형식·범위를 어겼으니 유효성 위반이다.
Q4. 다음 중 비정형 데이터 품질 기준이 아닌 것은?
- 사용성
- 기능성
- 이식성
- 유일성
정답 보기
4번 유일성
유일성은 정형 데이터(식별 값 중복) 기준이다.
Q5. 열마다 결측 비율, 최솟값·최댓값, 값 분포를 통계로 훑어 품질 문제를 찾는 방법은?
- 데이터 마스킹
- 크롤링
- 평활화
- 데이터 프로파일링
정답 보기
4번 데이터 프로파일링
데이터 프로파일링이다. 통계로 데이터 상태를 훑어 품질 문제를 찾는다. 크롤링은 웹 수집, 데이터 마스킹은 개인정보 가리기다.
Q6. '동 이름'을 '시·도'로 바꾸는 것처럼 세부 값을 상위 개념으로 바꾸는 기법은?
- 일반화
- 속성 생성
- 정규화
- 집계
정답 보기
1번 일반화
상위 개념·범용 값으로 바꾸는 것이 일반화다.
헷갈리기 쉬운 O·X
필수 항목이 비어 있으면 유일성을 어긴 것이다.
정답 보기
X 빈 값은 완전성, 중복은 유일성.
정규화는 값을 정해진 구간 안으로 맞추는 변환이다.
정답 보기
O
주문 테이블과 결제 테이블의 금액이 서로 다르면 일관성 문제다.
정답 보기
O 같은 사실이 여러 곳에서 다르게 기록되면 일관성 위반이다.