빅데이타 분석기사 필기자료(빅데이터 분석 기획) 2

제2장 빅데이터 분석 계획

 

1. 분석 수행 방안 수립

 

데이터 수집부터 폐기단계(6단계)

데이터 수집-> 저장-> 처리-> 분석-> 시각화-> 이용-> 폐기

 

빅데이터 분석 프로세스

문제인식	관련 연구조사	모형화(변수 선정)	자료수집 (변수 측정)	자료분석	분석결과 제시
소셜 미디어의 발전으로 양방향 커뮤니케이션으로 수집된 데이터의 증가, 비정형화된 데이터 수집으로 인한 데이터의 증가, 클라우드 서비스를 이용한 개인 및 조직에서의 데이터 축적, 분석 및 활용에 대한 요구의 증가	각종문헌을 조사하여 문제와 관련되는 내용을 요약, 분류하고 해결하고자 하는 문제를 명확하게 정의	복잡한 현상을 문제의 본질과 관련되는 제어 가능한 변수들로 추려서 단순화 하는 과정 모형화란 문제를 의도적으로 단순화한 변수들 간의 관계 많은 변수들이 포함된 문제로부터 그 특성을 잘 대표하는 결정적인 요소(변수)들을 모형화 단계에서 찾아냄	비즈니스 모델(Business Model) : 기업이 수익을 얻기 위한 일련의 활동, 즉 '수익모델'로 정의	데이터마이닝기법 : 분류(Classification), 예측(Forecasting), 관련성 분석(Association Analysis), 군집분석(Cluster Analysis), 소셜네트워크 분석(Social Network Analysis) 노드(사람 및 객체)와 링크(우정, 조직력, 연대감 등)으로 구성된 네트워크 이론을 기반으로 사람들 사이의 사회적 관계를 분석	변수들 사이의 관련성을 포함한 데이터 분석결과를 명료하게 제시하려면 표, 그림, 차트등을 활용하고 문제의 정의부터 결과까지 스토리 형식으로 이용하는 것이 좋다.

※ 데이터베이스(Database) 4가지 특징(ACID)

 -  원자성(Atomicity), 일관성(Consistency), 고립성(Isolation), 지속성(Durability)

 

 

2. 분석 절차 및 작업 계획 수립

 

빅데이터 분석 절차의 비교

빅데이터 분석 프로세스	NCS 빅데이터 분석 절차	문서화
문제인식 관련 연구조사	도메인 이슈 도출 분석목표 수립	빅데이터 요건 정의서 분석목표정의서
모형화(변수 선정) 자료수집(변수 측정) 자료분석	프로젝트 계획 수립 보유 데이터 자산 확인	WBS(Work Breakdown Structure, 작업분할구조도) 데이터 품질 보고서
분석결과 제시	빅데이터 분석결과 시각화	분석 보고서

NCS빅데이터 분석 절차 5단계

• 도메인 이슈 도출 : 데이터 분석을 통한 개선사항을 도출하기 위하여 분석하고자 하는 과제 현황을 파악˙분석하고 이를 통한 개선과제를 정의한다. 설문조사 방법을 이용하는 경우 설문 대상자의 사전동의, 비밀보장 및 분석결과의 중립성 유지등을 고려하며, 개념의 타당성(적절한 측정), 내용의 타당성(척도의 일반성 검토)을 검토하고 측정값들 사이의 상관관계를 추정하여 변수들 사이의 관련성을 분석하며, 크론바하 알파(Cronbach Alpha)값을 이용하여 대상자의 설문 문항 답변에 대한 신뢰도를 평가한다. 빅데이터 요건 정의서에는 분석에 대한 기획의도, 빅데이터 분석을 통해 개선되는 부분 등이 반드시 포함되어야 하며, 이후에 요건이 변경되었을 경우에는 기록을 남겨 추적˙관리하는 것이 바람직하다.
• 분석목표 수립 : 앞에서 정리된 내용을 토대로 개선방향 에 맞는 분석목표정의서를 작성하고 여기에는 분석의 기본정보(분석목적, 우선순위, 접근 방안 등), 성과측정 방법(정성, 정량적 성과측정 기준), 데이터 관련 정보(내부/외부 데이터 정보) 및 분석 타당성에 대한 검토의견(실시간 분석의 가능 여부, 텍스트 데이터 분석 수행 여부 등)이 기본적으로 반영된다.
• 프로젝트 계획 수립 : 분석기법, 분석 솔루션, 플랫폼(수집 데이터를 분석 · 처리하여 지식 추출), IT 자원, 데이터 준비상황 등을 점검한 후 전문지식을 보유한 분야별 전문가가 포함되어 전체 작업분할구조도(WBS, Work Breakdown Structure)를 설계한다. 이를 위하여 먼저, 프로젝트 계획 수립을 위하여 프로젝트 소요비용(인건비, 하드웨어 및 소프트웨어 비용)을 배분하고, 프로젝트 WBS를 작성한다. 빅데이터 분석 플랫폼은 빅데이터에서 가치를 추출하기 위한 일련의 과정을 지원하기 위한 프로세스를 규격화한 기술 및 서비스를 나타내며 데이터 수집, 저장, 처리, 분석, 시각화 등을 통해 원시 데이터(Raw Data)로부터 Insight 및 가치를 추출하는 역할을 수행한다. 데이터 분석흐름4단계(데이터 분석과제 정의, 데이터 준비 및 탐색, 데이터 분석 모델링 및 검증, 산출물 정리)
• 보유 데이터 자산 확인 : 데이터 품질을 점검하고 데이터 분량, 데이터 완전성, 일관성, 정확성을 점검하며, 데이터의 수집 경로 및 데이터 유형을 조사한다. 외부 데이터를 수집하는 경우 수집 경로 및 필요한 제약사항을 표기하고 개인정보가 포함되었을 경우 개인정보를 제거하거나 또는 대체하여 수집한 데이터를 조직 내부의 법률부서로부터 확인받은 후 사용하고 점검받는다.
• 빅데이터 분석결과 시각화 : 예전에는 단순한 수치의 그래프나 데이터 패턴을 파악하는 방법이 주로 사용되었으나, 최근에는 여러 분석 도구를 활용하여 다양한 정보의 전달이나 상황분석을 위한 시각화 메시지 전달이 가능하다.

 

프로젝트 수행 로드맵(WBS)

프로젝트 소요비용 배분	프로젝트 WBS 수립	프로젝트 업무 분장 계획 및 배분
인건비, 하드웨어 구입 및 사용비용, 기타 비용(성과측정비, 추가인건비, 자문료 등)을 고려하여 산정	분석목표정의서, 프로젝트 소요비용 배분 계획을 참고하여 데이터 분석 흐름에 맞게 수립	프로젝트 평가위원회를 구성하고 여기에는 프로젝트 유관부서의 리더들과 프로젝트 참여 인원으로 구성하며, 필요에 따라 외부 자문 인원이 참여하도록 한다. 마지막으로 프로젝트의 최종 완료 및 검수는 평가위원회의 의견을 반영한다.

 

※ Big Data Business Model : 빅데이터를 이용하여 경제적 수익을 창출할 수 있는 모든 사업 형태

※ 성공적인 비즈니스 모델 개발을 위한 고려사항 : 제품과 서비스 유형, 고객의 특성 이해, 거래의 형태(인터넷 등), 고객 서비스 차별화, 정보통신(ICT)기술

※Information(정보) : 개인이나 조직이 의사결정을 할 때 사용할 수 있도록 의미 있고 유용한 형태로 가공, 처리된 데이터 지식으로서 불확실성을 인식하거나 평가하고 이를 줄이기 위해 사용(데이터로부터 파생된 지식, 데이터에 의미를 부여하여 나타낸 것, 의사결정과정에서 사용될 때 그 가치를 가짐)

※ 데이터마이닝(Data Mining) : 수집된 대용량의 데이터로부터 자동 또는 반자동적인 방법으로 의미 있는 규칙, 패턴, 관계를 찾아내며, 많은 데이터베이스로부터 지금까지 잘 알려지지 않은 유용하고 활용 가능한 정보를 추출