데이터분석 공부하기

1. 사이킷런이란(scikit-learn): -파이썬 머신러닝 라이브러리 중 가장 많이 사용; 다양한 알고리즘과 개발을 위한 편리한 프래임워크/API제공 2. 사이킷런 기반 프레임워크 익히기 -지도학습 estimator : 지도학습의 모든 알고리즘을 구현한 클래스를 통칭 (ex. Classifier, Regressor); fit(), predict() 내부 구현 fit(): 훈련데이터로 기계학습 predict(): 예측 -비지도학습 & 피처 추출 fit(): 입력 데이터의 형태에 맞춰 데이터를 변화한기 위한 사전 구조를 맞추는 작업 transform() : 실제 작업 진행 fit_transform() 3. 데이터 전처리(p.118) 1. 처리할 데이터 : 1) 결손값(Null, NaN) : 대체, 드롭 ..

[머신러닝 프로젝트 가이드/체크리스트] Define problem & Draw big picture Data Collection EDA Preprocessing : 데이터의 내제 패턴을 ML알고리즘에 잘 드러나도록 데이터 준비 Model Selection : 여러 모델을 시험 -> 가장 좋은 몇 개 선택 모델 튜닝, 최적 솔루션 생성 솔루션 출시 시스템 론칭, 모니터링, 유지 보수 [실제 데이터로 프로젝트 수행해보기] -캘리포니아 인구조사 데이터를 사용해 주택 가격 모델 생성 -데이터 : 블록 그룹마다 인구, median 소득, median 주택 가격 등 포함 -> 새로운 데이터(블록)의 median 주택 가격 예측 1. 문제 정의 : 1) Big Picture : "비즈니스의 목적이 무엇인가?", "현..

머신러닝 : 머신러닝은 데이터에서부터 '학습'하도록 컴퓨터를 프로그래밍하는 과학(or 예술) 연구 분야. -traning set : 시스템이 학습하는 데 사용하는 샘플 -traning instance: 각 훈련 데이터 -accuracy : 성능 측정 (직접 정의, ex> 스팸 필터의 성능 측정 : 정확히 분류된 메일의 비율) 왜 머신러닝을 사용하는가? -기존 솔루션으로 많은 수동 조정/규칙이 필요할 경우 -전통적이 방식으로는 해결 방법이 없는 복잡한 문제 -유동적인 환경 (새 데이터 적응) -복잡한 문제와 대량의 데이터에서 통찰 찾기 *Data Mining : ML기술을 적용하여 대용량의 데이터를 분석하여 패턴을 발견하는 것. (ML 알고리즘이 학습한 것을 배우는 것) 머신러닝 시스템의 종류(NOT mu..

[Function & Using reference] -Builtin Function -Python내 내장함수는 총 69개이다. (https://docs.python.org/3/library/functions.html)-각 함수를 잘 알면 좋을 듯-dir()을 써서 어떤 builtin function이 있는지 알아보기 쉽지 않다.*알아보는 법: python API documentation : https://www.python.org -External Function(어느 함수인지 잘 알아보기) *알아보는 법: 1) dir()로 np, pd를 넣어 그 안에 function list를 볼 수 있다. *반드시 그 함수를 Call해야지만 dir()/help()를 사용할 수 있다. sklearn은 subpackag..

출처 : 비즈니스 파트너 HR애널리틱스 (이재진 저) ​ ​ * HR Analytics란 무엇일까? HR analytics의 목표는 '경영목표를 이루기 위하여 HR을 잘하는 것', 핵심 방법은 '객관화된 사실과 근거를 바탕으로'둔다라고 생각한다.​ 기존에 가설을 세워 이에 부합하는 데이터를 수집하고 분석하는 방법이 주로 사용되었는데, 데이터의 양이 많아지고 비정형화된 데이터까지 분석이 가능해지면서 가설 없이 데이터로 부터 패턴과 특징을 찾아 새로운 인사이트를 도출하는 방법도 가능해졌다. ​ From books...HR analytics란? -'개인 및 조직의 성과 향상을 목적으로 사람/직원과 관련된 의사결정의 질을 향상시키기위한 통합 프로세스'-Bassi -'사실 기반의 데이터를 가지고 인재관리의 최적화..

출처 : 비즈니스 파트너 HR애널리틱스 (이재진 저) *지속하여 업데이트할 예정* 채용 및 유지 (Talent Acquisition & Turnover): Robertson, I. T., & Smith, M. (2001). Personnel selection. Journal of occupational and Organizational psychology, 74(4), 441-472. [Vigin Media UK사례] 출처 : https://www.youtube.com/watch?v=7hVd12cjkck 가설 : 채용 중 좋지않은 경험을 하고 탈락한 사람은 미디어의 서비스 가입을 취소할 것 분석 결과 : 1년 중 4주의 채용 프로세스 기간에 7,500명의 고객이 월정액 취소 (65억원 손실) 적용 : 채..