빅데이터 분석기사 준비 - 3. 빅데이터 모델링 :: 분석모형 설계
3과목 빅데이터 모델링 키워드 정리 제1장 분석모형 설계 분석모형 선정 통계 분석 : 객관적인 근거에 기반을 두고 데이터 수집, 처리, 분류, 분석하여 의사결정 지원, 모집단에서 표본을 추출하고 추론 및 가설 검정 실시 데이터 마이닝 : 수학이나 통계적 기술을 활용하여 데이터 분석, 새로운 상관관계나 추세를 파악하고 예측 및 분류 등에 활용 데이터 유형, 변수, 속성을 파악하고 연구 목적에 맞게 데이터 분석모형 선정 빅데이터 분석 프로세스의 핵심 업무 적합한 분석모형 선정, 분석모형 적용, 성능 및 적합성 평가, 안정성 평가 빅데이터 분석 방법(분석대상과 분석방법의 유무에 따른 분류) 최적화(Optimization) : 목적함수, 제약조건 정의 후 문제해결 솔루션(Solution) : 분석 대상은 알면서..
빅데이터 분석기사 준비 - 2. 빅데이터 탐색 :: 데이터 전처리
2과목 빅데이터 탐색 키워드 정리 제1장 데이터 전처리 데이터 오류 결측치(Missing Value) : 측정된 데이터 샘플에서 누락된 변숫값, 샘플 제거, 해당 변수 제거, 결측치 무시, 결측치 추정 등의 방법 사용 잡음(Noise) : 데이터 측정 시 개입되는 임의적 요소, 본래의 참값에서 벗어나게 하는 오류, 구간화, 군집화, 회귀모형 변환 등을 이용한 잡음 제거 이상치(Outlier) : 대부분의 다른 측정값들과 현저한 차이를 보이는 샘플 혹은 변숫값, 오류인 경우 이상치 제거 또는 무시, 특이값인 경우 관심을 두고 분석 수행 빅데이터 정제 데이터를 불완전하게 만드는 요소를 제거하기 위한 업무, 데이터 변환, 교정 및 통합 ETL(Extract, Transforam, Load) 주요 기능 논리적 ..
빅데이터 분석기사 준비 - 1. 빅데이터 분석 기획 :: 데이터 수집 및 저장
1과목 빅데이터 분석 기획 키워드 정리 제3장 데이터 수집 및 저장 계획 데이터 수집 시 고려사항 데이터 분석의 목적, 데이터 수집 가능성, 데이터 보안, 데이터 정확성, 수집 난이도 및 비용 고려 데이터 위치 내부 데이터 : 대부분 정형 데이터로 존재, 조직 내부의 데이터 담당자와 수집 주기 및 방법 협의, 수집 난이도가 낮음 외부 데이터 : 대부분 반정형 및 비정형 형태로 존재, 특정 기관의 담당자와 협의, 전문업체를 통해 수집, 수집 인터페이스 협의, 수집 난이도가 높음 데이터 수집 절차 데이터 유형 파악 -> 수집기술 검토 -> 수집 솔루션 확인 -> 하드웨어 구축 -> 실행환경 검토 데이터 수집 기술 정형 데이터 : 대용량 데이터 전송 솔루션이용(Sqoop, Hiho 등) 반정형 데이터(로그 데..
