데이터 수집 기술
쉽게 말하면
분석할 재료는 회사 안(주문 DB, 고객 상담 기록)에도 있고 밖(공공데이터, 뉴스, SNS)에도 있어요. 표처럼 반듯한 데이터는 DB에서 통째로 옮기고, 웹 페이지 글은 로봇이 돌아다니며 긁어 오고, 서버 로그나 센서 값처럼 끊임없이 생기는 데이터는 흐르는 대로 받아 담아요.
시험용 정의
데이터 수집은 분석에 필요한 데이터를 찾고, 가져오고, 저장소에 넣는 일이다. 출처에 따라 조직 안의 내부 데이터(ERP·CRM·주문 DB·로그)와 밖의 외부 데이터(공공데이터, 웹·SNS, 제휴사 데이터)로 나눈다. 형태에 따라 수집 기술이 다르다. 정형 데이터는 ETL(추출·변환·적재), FTP, Open API, Sqoop(관계형 DB ↔ 하둡)으로, 웹의 반정형·비정형 데이터는 크롤링·스크래핑·RSS로, 쉬지 않고 생기는 로그·센서 데이터는 Flume·Scribe·Chukwa·Kafka 같은 수집·스트리밍 도구로 가져온다.
비유로 이해하기
식당 재료 구하기로 보자. 우리 밭에서 캔 채소가 내부 데이터, 시장에서 사 온 재료가 외부 데이터다. 상자째 오는 재료는 트럭으로 통째로 옮기고(ETL·Sqoop), 시장을 돌며 이것저것 담아 오면 크롤링, 한 가게에서 딱 필요한 것만 사 오면 스크래핑, 매일 새벽 들어오는 우유는 정기 배달로 받는 스트리밍이다.
자세히
형태별 수집 기술
| 형태 | 기술 | 설명 |
|---|---|---|
| 정형 | ETL | 여러 원천에서 추출(Extract) → 변환(Transform) → 적재(Load) |
| 정형 | FTP | 파일 전송 규약으로 파일 단위 수집 |
| 정형·반정형 | Open API | 기관이 공개한 인터페이스로 요청해 데이터를 받음 (공공데이터 포털 등) |
| 정형 | Sqoop | 관계형 데이터베이스와 하둡 사이 대량 전송 |
| 반정형·비정형 | 크롤링 | 웹 페이지의 링크를 따라 돌아다니며 문서를 모음 |
| 반정형·비정형 | 스크래핑 | 특정 웹 페이지에서 필요한 정보만 골라 추출 |
| 반정형 | RSS | 블로그·뉴스의 새 글을 XML 형식으로 구독 |
| 로그 | Flume, Scribe, Chukwa | 여러 서버에서 생기는 로그를 모아 저장소로 보냄 |
| 스트림 | Kafka | 대용량 실시간 메시지를 주고받는 분산 메시징 |
수집 절차
- 분석 목적에 맞는 수집 대상 데이터 정하기 (어떤 변수가 필요한가)
- 데이터가 어디 있고 누가 가졌는지 파악하고 사용 협의 (보안·개인정보·비용)
- 데이터 유형과 형식 확인 (정형·반정형·비정형, 파일·DB·웹)
- 알맞은 수집 기술 고르기와 수집 주기 정하기 (한 번, 매일 배치, 실시간)
- 수집 계획서 작성 후 수집 실행, 수집 결과 점검
데이터 확보 계획에서 따질 것
| 항목 | 내용 |
|---|---|
| 가용성 | 필요한 데이터가 실제로 있고 쓸 수 있나 (내부 권한, 외부 구매) |
| 품질 | 결측·오류가 얼마나 있나, 분석에 쓸 만한가 |
| 법·보안 | 개인정보가 들어 있나, 비식별 조치나 동의가 필요한가 |
| 비용·일정 | 수집·정제에 드는 시간과 돈 |
시험에 이렇게 나와요
- 내부 데이터(ERP·CRM·로그) vs 외부 데이터(공공·웹·SNS)
- 정형 수집: ETL·FTP·Open API·Sqoop
- 크롤링(여러 페이지 순회) vs 스크래핑(특정 페이지에서 추출)
- 로그 수집: Flume·Scribe·Chukwa / 실시간 스트림: Kafka
- RSS 는 새 글을 XML 형식으로 구독
출제기준 1과목 '데이터 수집, 데이터 확보 계획'
확인 문제
Q1. 쇼핑몰 상품 페이지 하나에서 가격과 리뷰 수만 골라 뽑아내는 방법은?
- 크롤링
- ETL
- FTP
- 스크래핑
정답 보기
4번 스크래핑
특정 페이지에서 원하는 부분만 추출하는 것이 스크래핑이다. 크롤링은 링크를 따라 여러 페이지를 돌아다니며 모으는 것이다.
Q2. 여러 웹 페이지의 링크를 따라 돌아다니며 문서를 모으는 기술은?
- 크롤링
- ETL
- FTP
- Sqoop
정답 보기
1번 크롤링
링크를 따라 순회하며 모으는 것이 크롤링이다.
Q3. 원천 시스템에서 데이터를 뽑아 형식을 맞춘 뒤 저장소에 넣는 과정은?
- 스크래핑
- 크롤링
- ETL
- RSS
정답 보기
3번 ETL
추출(Extract), 변환(Transform), 적재(Load)의 머리글자다.
Q4. 수천 대 서버의 웹 로그를 모아 HDFS 로 보내는 데 알맞은 도구는?
- HBase
- Hive
- Flume
- Mahout
정답 보기
3번 Flume
Flume 은 로그 수집 도구다. Hive 는 질의, HBase 는 저장, Mahout 은 분석 도구다.
Q5. 다음 중 외부 데이터에 해당하는 것은?
- 사내 주문 데이터베이스
- 공공데이터 포털의 인구 통계
- 고객관리 시스템 상담 기록
- 사내 서버 접속 로그
정답 보기
2번 공공데이터 포털의 인구 통계
조직 밖에서 얻는 공공데이터는 외부 데이터다.
헷갈리기 쉬운 O·X
스크래핑은 링크를 따라 웹 전체를 순회하는 기술이다.
정답 보기
X 그건 크롤링. 스크래핑은 특정 페이지에서 필요한 부분만 뽑는다.
Kafka 는 대용량 실시간 데이터를 수집할 때 쓰는 분산 메시징 시스템이다.
정답 보기
O
Open API 로 받는 데이터는 모두 비정형 데이터다.
정답 보기
X Open API 는 보통 JSON·XML 같은 반정형이나 정형 형태로 데이터를 준다.