빅데이터의 정의와 변화
쉽게 말하면
빅데이터는 기존 방법으로는 저장하고 분석하기 벅찰 만큼 크고, 종류가 많고, 빨리 쌓이는 데이터예요. 이 데이터 덕분에 분석 방식도 바뀌었어요. 일부만 뽑아 보던 것(표본)이 전부 보는 것(전수)으로, '왜'를 따지던 것(인과)이 '무엇이 함께 일어나나'(상관)로요. 데이터, 기술, 사람이 함께 있어야 쓸 수 있어요.
시험용 정의
빅데이터는 일반적인 데이터베이스 소프트웨어로 저장·관리·분석할 수 있는 범위를 넘어서는 규모의 데이터다. 흔히 3V, 즉 Volume(엄청난 양), Variety(정형·반정형·비정형의 다양한 형태), Velocity(빠른 생성과 처리 속도)로 설명하고 Value(가치), Veracity(정확성·신뢰성)를 더해 4V·5V 라 한다. 빅데이터는 분석의 방향을 사전처리 → 사후처리, 표본조사 → 전수조사, 질 → 양, 인과관계 → 상관관계로 바꿨다. 활용에는 데이터·기술·인력 세 요소가 필요하며, 최종 목표는 새로운 가치 창출이다.
비유로 이해하기
강물 관측이다. 예전에는 양동이로 몇 번 떠서(표본) 수질을 짐작했다면, 이제는 강 전체에 센서를 깔아(전수) 쉬지 않고(속도) 온도·탁도·영상까지(다양성) 엄청난 양을 모은다. '왜 탁해졌는지'를 다 밝히지 못해도 '비 온 다음 날 탁해진다'는 상관만 알아도 대비할 수 있다.
자세히
빅데이터의 V
| V | 뜻 |
|---|---|
| Volume (규모) | 기존 데이터베이스로 감당하기 어려운 양 |
| Variety (다양성) | 정형뿐 아니라 텍스트·이미지·영상·로그 같은 반정형·비정형 |
| Velocity (속도) | 실시간으로 생성되고 빠르게 처리해야 함 |
| Value (가치) | 분석으로 얻는 비즈니스 가치 (4V) |
| Veracity (정확성) | 데이터의 품질과 신뢰성 (5V) |
출현 배경
| 측면 | 내용 |
|---|---|
| 산업계 | 기업 운영 과정에서 고객·거래 데이터가 엄청나게 쌓였다 (양이 질로 바뀌는 순간) |
| 학계 | 유전체·기후처럼 거대 데이터를 다루는 연구와 알고리즘 개발이 활발해졌다 |
| 기술 | 저장 장치 값 하락, 인터넷·모바일 확산, 클라우드·분산 처리 같은 기술 진보 |
빅데이터가 바꾼 분석 방향 (네 가지)
| 예전 | 지금 | 뜻 |
|---|---|---|
| 사전처리 | 사후처리 | 필요한 것만 미리 골라 담지 않고, 일단 모두 모은 뒤 나중에 조합해 찾는다 |
| 표본조사 | 전수조사 | 일부를 뽑지 않고 전체를 분석한다 |
| 질 | 양 | 데이터가 많으면 일부 오류가 있어도 전체 패턴이 드러난다 |
| 인과관계 | 상관관계 | '왜'를 다 밝히지 못해도 '무엇이 함께 일어나나'로 빠르게 판단한다 |
활용 3요소와 가치 패러다임
| 구분 | 내용 |
|---|---|
| 데이터 | 모든 것의 데이터화 (생활·사물이 데이터가 됨) |
| 기술 | 진화하는 알고리즘, 인공지능, 분산 처리 |
| 인력 | 데이터 사이언티스트, 알고리즈미스트 |
| Digitalization | 아날로그를 디지털로 바꾸는 단계 (문서 작성, 운영체제) |
| Connection | 디지털화된 정보와 대상이 서로 연결되는 단계 (검색, 웹) |
| Agency | 복잡해진 연결을 데이터와 지능이 대신 관리하는 단계 (사물인터넷) |
처리 기술: 하둡과 맵리듀스
하둡은 많은 데이터를 여러 컴퓨터에 나눠 저장하고 처리하는 오픈소스 기술이다. 그 처리 방식인 맵리듀스는 일을 여러 대에 나눠 처리하고(Map) 결과를 모아 합친다(Reduce). 비싼 대형 서버 대신 값싼 범용 서버를 묶어 병렬로 처리하므로 비용을 줄인다. 결측치를 자동으로 고치거나 보안을 자동으로 높여 주지는 않는다.
시험에 이렇게 나와요
- 3V: Volume·Variety·Velocity (+Value·Veracity), Availability 는 아님
- 변화 4가지: 사전처리→사후처리, 표본→전수, 질→양, 인과→상관 (방향을 거꾸로 쓰면 틀림)
- '왜'보다 '무엇'을 빨리 아는 변화 → 인과관계에서 상관관계로
- 활용 3요소 → 데이터·기술·인력 (프로세스는 아님)
- 가치 패러다임 → Digitalization → Connection → Agency
- 빅데이터의 최종 목표 → 새로운 가치 창출, 맵리듀스 → 범용 서버 병렬 처리로 비용 절감
확인 문제
Q1. 빅데이터의 기본 3V 가 아닌 것은?
- Availability
- Velocity
- Volume
- Variety
정답 보기
1번 Availability
기본 3V 는 Volume(규모)·Variety(다양성)·Velocity(속도)다. 여기에 Value(가치), Veracity(정확성)를 더하기도 한다. Availability(가용성)는 아니다.
Q2. 빅데이터가 가져온 분석 방향의 변화로 옳은 것은?
- 사후처리 → 사전처리
- 질 → 양
- 전수조사 → 표본조사
- 상관관계 → 인과관계
정답 보기
2번 질 → 양
사전처리→사후처리, 표본→전수, 질→양, 인과→상관이 맞는 방향이다.
Q3. 빅데이터 활용의 3요소가 아닌 것은?
- 법률
- 인력
- 기술
- 데이터
정답 보기
1번 법률
법률은 3요소가 아니다. 빅데이터 활용의 3요소는 자원(데이터), 기술, 인력이다.
Q4. 가치 패러다임의 변화를 순서대로 나열한 것은?
- Digitalization → Agency → Connection
- Agency → Connection → Digitalization
- Digitalization → Connection → Agency
- Connection → Digitalization → Agency
정답 보기
3번 Digitalization → Connection → Agency
디지털화 → 연결 → 연결을 대신 관리하는 에이전시 순이다.
Q5. '원인을 모두 밝히지 못해도 함께 일어나는 현상을 빠르게 파악한다'는 변화는?
- 질 → 양
- 표본조사 → 전수조사
- 인과관계 → 상관관계
- 사전처리 → 사후처리
정답 보기
3번 인과관계 → 상관관계
'왜'보다 '무엇'에 집중하는 변화다.
Q6. 맵리듀스에 대한 설명으로 가장 알맞은 것은?
- 관계형 DB 의 정형 데이터만 처리한다
- 데이터를 나눠 저장하면 보안이 자동으로 강화된다
- 결측치를 자동으로 보정한다
- 범용 서버 여러 대로 병렬 처리해 대용량 처리 비용을 줄인다
정답 보기
4번 범용 서버 여러 대로 병렬 처리해 대용량 처리 비용을 줄인다
나눠 처리하고(Map) 모아 합친다(Reduce). 범용 서버로 비용을 줄인다.
Q7. 빅데이터 분석의 최종 목표로 가장 알맞은 것은?
- 저장 용량 확보
- 새로운 가치 창출
- 데이터 수집 자동화
- 서버 수 늘리기
정답 보기
2번 새로운 가치 창출
저장·수집은 수단이다. 목표는 새로운 가치 창출.
헷갈리기 쉬운 O·X
빅데이터 시대에는 표본조사가 전수조사를 대체했다.
정답 보기
X 반대. 표본조사에서 전수조사로 바뀌었다.
Veracity 는 데이터의 정확성·신뢰성을 뜻한다.
정답 보기
O
빅데이터 활용 3요소는 데이터, 프로세스, 인력이다.
정답 보기
X 데이터, 기술, 인력.