빅데이터분석기사 개념 정리
한국데이터산업진흥원 · 개념 66개
빅데이터 분석 기획
빅데이터 개요 및 활용
- 빅분기 첫걸음: 먼저 알아야 할 말빅데이터분석기사는 데이터를 모으고, 다듬고, 모형을 만들고, 그 결과를 해석하는 과정을 한 바퀴 다 보는 시험이에요.…
- 데이터의 유형과 크기 단위데이터는 두 가지 기준으로 나눠요. 하나는 내용이 숫자인지 말인지(정량적·정성적), 다른 하나는 담긴 모양이 표처럼…
- DIKW 피라미드와 암묵지·형식지숫자 자체(데이터)를 비교하면 의미(정보)가 생기고, 그 정보로 '이렇게 하면 되겠다'는 규칙(지식)을 얻고, 더 깊이…
- 빅데이터의 정의와 변화빅데이터는 기존 방법으로는 저장하고 분석하기 벅찰 만큼 크고, 종류가 많고, 빨리 쌓이는 데이터예요. 이 데이터 덕분에…
- 빅데이터의 가치와 활용 기법빅데이터로 할 수 있는 일을 일곱 가지 기법으로 정리해요. '이거 산 사람이 저것도 사나?'는 연관 규칙, '이 고객은…
- 데이터 산업과 빅데이터 조직데이터 산업은 처음엔 '계산을 빨리 해 주는 일'이었다가, 흩어진 데이터를 모으고, 분석하고, 서로 연결하고, 이제는…
- 데이터 사이언스와 데이터 사이언티스트데이터 사이언스는 데이터에서 쓸모 있는 답을 찾아 실제로 쓰게 만드는 일이에요. 그래서 데이터 사이언티스트에게는 계산과…
빅데이터 기술 및 제도
- 빅데이터 플랫폼과 하둡 에코시스템데이터가 너무 커서 컴퓨터 한 대에 안 들어가면 여러 대에 나눠 담고, 여러 대가 동시에 나눠 계산해요. 이걸 해 주는…
- 빅데이터와 인공지능인공지능은 사람처럼 판단하는 기계를 만드는 큰 분야예요. 그중 데이터를 보고 스스로 규칙을 배우는 방법이 머신러닝이고,…
- 개인정보 법·제도와 데이터 3법내 이름이 적힌 정보는 개인정보예요. 이름을 '회원 1번'처럼 바꿔 두면 가명정보인데, 바꾼 표(추가 정보)가 있으면 다시…
- 빅데이터의 위기 요인과 통제빅데이터에는 세 가지 위험이 있어요. 내 정보가 처음 목적과 다르게 쓰이는 것(사생활 침해), 아직 하지도 않은 일로…
- 개인정보 비식별 조치와 프라이버시 모델개인정보를 분석에 쓰려면 누군지 알아볼 수 없게 가려야 해요. 이름을 바꾸고(가명처리), 합계만 남기고(총계처리), 일부를…
데이터 분석 계획
- 분석 기획과 분석 주제 4유형분석을 시작하기 전에 '무엇을(대상), 어떻게(방법) 분석할지'를 정해요. 둘 다 알면 이미 하는 일을 더 잘하는…
- 분석 과제 발굴: 하향식과 상향식분석할 과제를 찾는 길은 두 가지예요. 문제가 분명하면 위에서 아래로(하향식) 차근차근 문제를 정의하고 해결책을 찾아요.…
- 분석 방법론: KDD·CRISP-DM·빅데이터 방법론분석을 체계적으로 하려고 정해 둔 순서가 분석 방법론이에요. 대표가 셋이에요. 데이터 마이닝의 KDD, 업계 표준인…
- 마스터 플랜과 과제 우선순위분석할 과제가 여러 개면 무엇부터 할지 정해야 해요. 지금 당장 필요하고(시급성) 쉽게 할 수 있는(난이도) 과제부터…
- 분석 성숙도와 분석 준비도회사의 분석 실력을 두 가지로 재요. 분석할 준비가 얼마나 됐나(준비도)와 실제로 얼마나 잘 쓰고 있나(성숙도)예요.…
- 분석 거버넌스와 조직 구조분석을 회사에 뿌리내리게 하려면 사람(조직), 일하는 방식(프로세스), 시스템, 데이터, 교육이 함께 갖춰져야 해요. 분석…
- 분석 프로젝트 관리분석 프로젝트는 일반 프로젝트와 달라요. 데이터가 얼마나 크고 복잡한지, 결과가 얼마나 빨리 필요한지, 모델을 얼마나…
데이터 수집 및 저장 계획
빅데이터 탐색
통계기법 이해
- R 기초와 출력 읽기R 은 통계 분석용 프로그래밍 언어예요. 숫자 여러 개를 c( ) 로 묶은 것이 벡터, 엑셀 시트처럼 행과 열이 있는 표가…
- 통계의 기초: 표본추출과 척도학교 전체 학생의 키를 모두 재기는 힘들어요. 그래서 일부만 뽑아 재고 전체를 짐작해요. 전체가 모집단, 뽑은 일부가…
- 기술통계: 대푯값과 산포도데이터 여러 개를 숫자 한두 개로 요약하는 게 기술통계예요. '가운데가 어디냐'를 보여 주는 대푯값(평균, 중앙값,…
- 확률과 확률분포확률은 어떤 일이 일어날 가능성을 0에서 1 사이 숫자로 나타낸 거예요. 주사위를 아주 많이 던지면 평균적으로 나오는 값이…
- 표본분포와 추정표본을 뽑을 때마다 평균은 조금씩 달라요. 그래도 표본을 많이 모으면 표본평균들은 진짜 평균 근처에 종 모양으로 모여요.…
- 가설검정과 p값새 공부법이 효과가 있는지 보려면 '효과 없다'를 기본으로 두고(귀무가설), 데이터가 그 기본과 얼마나 안 맞는지 봐요.…
- t검정·분산분석·카이제곱·비모수 검정두 반의 평균 점수가 정말 다른지 볼 때 t검정을 써요. 반이 셋 이상이면 분산분석을 써요. 점수가 아니라 '남녀'와…
데이터 정제
- 결측값 처리설문지에서 몇 사람이 나이 칸을 비워 두면 그 빈칸이 결측값이에요. 빈칸이 있는 사람을 모두 빼면 간단하지만 남는 사람이…
- 이상값과 상자그림반 학생 몸무게가 대부분 50~70kg 인데 한 명만 120kg 으로 적혀 있으면 눈에 띄죠. 이렇게 다른 값들과 동떨어진…
데이터 탐색
- 상관분석과 공분산키가 큰 사람이 몸무게도 많이 나가는 경향처럼 두 값이 함께 움직이는 정도를 상관이라고 해요. 상관계수는 -1 에서 1…
- 고급 데이터 탐색: 시공간·다변량·비정형변수가 한두 개면 히스토그램과 산점도로 충분하지만, 날짜와 장소가 붙은 데이터, 변수가 열 개 넘는 데이터, 글로 된…
분석 변수 처리
- 변수 선택과 다중공선성회귀식에 변수를 많이 넣는다고 좋은 게 아니에요. 쓸모없는 변수는 빼고 꼭 필요한 것만 남겨야 해석도 쉽고 새 데이터에도…
- 주성분분석(PCA)키, 몸무게, 허리둘레, 팔 길이는 서로 비슷하게 움직여요. 이걸 네 개 따로 보지 않고 '덩치'라는 점수 하나로 묶으면…
- 데이터 마트와 요약·파생 변수가게 계산대에는 '누가 언제 얼마를 샀다'는 기록이 한 줄씩 쌓여요. 분석하려면 이걸 고객 한 명당 한 줄로 정리해야…
- 변수 변환과 파생변수키(cm)와 연봉(원)을 같이 넣으면 숫자가 큰 연봉이 모든 걸 좌우해요. 그래서 크기를 비슷하게 맞추는 정규화·표준화를…
- 불균형 데이터 처리카드 거래 1만 건 중 사기가 10건뿐이면, 모형이 '전부 정상'이라고만 해도 정확도가 99.9%예요. 그런데 사기는…
빅데이터 모델링
분석모형 설계
- 데이터 마이닝 개요와 데이터 분할데이터 마이닝은 많은 데이터에서 쓸모 있는 패턴을 찾는 일이에요. 정답이 붙은 문제집으로 공부하는 것이 지도학습, 정답…
- 분석모형 설계와 분석 환경어떤 모형을 쓸지는 '무엇을 알고 싶은가'에서 시작해요. 숫자를 맞히면 회귀, 범주를 맞히면 분류, 정답이 없으면…
분석기법
- 회귀분석과 결과 해석자동차가 빠를수록 멈추는 데 더 먼 거리가 필요하죠. 이 관계를 '제동 거리 = 절편 + 기울기 × 속도' 같은 직선…
- 로지스틱 회귀합격할까 불합격할까처럼 답이 둘 중 하나인 문제에 쓰는 회귀예요. 일반 회귀식은 값이 마이너스나 1 넘게도 나오니까,…
- 의사결정나무스무고개처럼 질문을 이어 가며 답을 좁히는 모형이에요. '나이 30 이상?' → '소득 5천 이상?' 같은 질문을 따라…
- 인공신경망뇌의 신경세포처럼 작은 계산 단위(노드)를 여러 층으로 이어 붙인 모형이에요. 각 노드는 들어온 값에 중요도(가중치)를…
- k-NN·SVM·나이브 베이즈새로 전학 온 친구가 어느 동아리에 맞을지 볼 때 가장 비슷한 친구 다섯 명이 어디에 있는지 보는 게 k-NN 이에요.…
- 연관규칙: 지지도·신뢰도·향상도마트 영수증 1000장을 모아 보니 '기저귀를 산 사람은 맥주도 자주 산다' 같은 규칙을 찾는 게 연관분석이에요. 얼마나…
- 거리와 유사도군집분석은 '가까운 것끼리 묶기'라서 먼저 무엇이 가까운지 정해야 해요. 지도 위 직선 거리가 유클리드, 바둑판 길을 따라…
- 계층적 군집과 덴드로그램반 친구들을 비슷한 사람끼리 묶을 때 가장 닮은 두 명부터 짝을 짓고, 그다음 가까운 짝끼리 다시 묶어 나가는 방식이에요.…
- k-평균과 밀도 기반 군집학생들을 세 모둠으로 나눈다고 해요. 먼저 아무 학생 세 명을 모둠장으로 정하고, 나머지는 가장 가까운 모둠장에게 가요.…
- 혼합분포 군집과 SOM키 데이터를 모아 보니 봉우리가 두 개라면 남자 키 분포와 여자 키 분포가 섞였다고 볼 수 있죠. 혼합분포 군집은 이렇게…
고급 분석기법
- 범주형 자료 분석: 분할표·오즈비'흡연자가 폐질환에 몇 배 더 잘 걸리나'처럼 범주끼리의 관계를 따지는 분석이에요. 표로 세어 놓고(분할표), 걸린 비율을…
- 요인분석과 판별분석설문 문항이 20개인데 '친절해요, 설명을 잘해요, 웃으며 맞아요'는 사실 '서비스 태도'라는 한 가지를 재고 있을 수…
- 다차원척도법(MDS)서울, 부산, 광주 사이의 거리표만 있어도 지도를 대충 그릴 수 있죠. 다차원척도법은 거리표로 지도를 그리는 방법이에요.…
- 시계열 분석매달 매출, 매일 기온처럼 시간 순서대로 쌓인 데이터를 시계열이라 해요. 앞날을 예측하려면 데이터의 성질이 시간이 지나도…
- 베이지안 기법검사에서 양성이 나왔다고 정말 병에 걸렸을 확률이 높은 건 아니에요. 원래 그 병이 얼마나 흔한지(사전확률)를 함께 따져야…
- 딥러닝 분석: CNN·RNN·오토인코더·GAN딥러닝은 신경망 층을 아주 깊게 쌓은 거예요. 사진은 CNN이 작은 창을 미끄러뜨리며 선·모양을 찾아내고, 문장이나…
- 비정형 데이터 분석: 텍스트 마이닝·사회연결망리뷰, 뉴스, 상담 기록 같은 글은 표가 아니라서 바로 분석할 수 없어요. 먼저 단어로 쪼개고 '은, 는, 그리고' 같은…
- 앙상블: 배깅·부스팅·랜덤 포레스트어려운 문제는 한 사람보다 여러 사람의 의견을 모으면 더 잘 맞히죠. 앙상블은 모형 여러 개를 만들어 다수결로 답을 정하는…
빅데이터 결과 해석
분석모형 평가 및 개선
- 분류 모형 평가: 오분류표와 ROC코로나 검사를 생각해 봐요. 실제 환자를 양성으로 잡아내는 비율이 민감도, 건강한 사람을 음성으로 맞히는 비율이…
- 회귀 모형 평가와 모형 진단숫자를 맞히는 모형은 '평균적으로 얼마나 틀렸나'로 평가해요. 틀린 크기를 그대로 평균 내면 MAE, 제곱해서 평균 내면…
- 과대적합 방지시험 문제 답을 통째로 외운 학생은 같은 문제는 다 맞히지만 숫자만 바뀌어도 틀려요. 이게 과대적합이에요. 모형이 학습…
- 매개변수 최적화와 최종모형 선정안개 낀 산에서 가장 낮은 골짜기로 내려가려면 발밑 경사가 내려가는 쪽으로 한 걸음씩 가면 돼요. 이게 경사하강법이고, 한…
분석결과 해석 및 활용
- 분석결과 해석과 비즈니스 기여도모형이 '이 고객은 떠날 거예요'라고 하면 사람들은 '왜요?'라고 물어요. 그래서 어떤 변수가 얼마나 영향을 줬는지 보여…
- 분석결과 시각화결과를 잘 보여 주려면 '무엇을 말하고 싶은지'에 맞는 그림을 골라야 해요. 시간에 따라 어떻게 변했는지는 선 그래프,…
- 분석모형 전개·모니터링·리모델링모형은 만들고 끝이 아니에요. 실제 시스템에 붙여 매일 쓰게 하고(전개), 담당자가 결과를 보고 무엇을 할지 정해…