2022년 데이터 사이언티스트가 되기 위한 52주 커리큘럼

2020.12.24 미디엄에 쓰인 글입니다.
원문은 A Complete 52 Week Course to Become a Data Scientist in 2021 에서 확인하실 수 있습니다.
번역은 사실 크게 의미없고, 데이터 사이언티스트가 되기 위해 도움을 받을 수 있는 링크들을 정리해둔 글입니다.  참고 자료들은 다 영어입니다!

A Complete 52 Week Course to Become a Data Scientist in 2022

 

“날로 먹고 싶어하는 사람은 많지만, 직접 사냥을 가려는 사람은 드물다”

소개 

만약 데이터사이언티스트가 되고싶은데, 아직 실천을 못하고 있다면? 지금이 바로 시작할 때야. 

작년에 나는 데이터 사이언스 관련 새로운 것들을 52주간 배우기로 마음을 먹었고, 그 결정은 내가 내린 결정 중 가장 좋은 결정이었다고 생각해. 일 년이란 시간에 얼마나 많은 것을 얻을 수 있는지 알게되면 아마 놀랄걸! 

그래서, 네가 2021년 (번역 시점 2022년) 신년 계획으로 세울 수 있는 52주간의 커리큘럼을 보여주려고 해! 빡세고 갈리는 일정이지만 가치가 있을 거야. 

 

이 가이드가 머신러닝으로 시작하지 않는다는 것을 눈치챘겠지? 이유가 있어. 만약 왜 머신러닝이 처음에 나오지 않는건지 궁금하다면 내 다른 글을 참고해줘 : 바로가기 

 

 

시작하기 전에 알아야 할 것들이 있다면: 

• 이 과정은 모든걸 다 갖춘 완벽한 데이터 사이언티스트가 되기 위한 과정은 아니야. 내 말은, 내가 생각하기에 데이터 사이언티스트로 중요하다고 생각하는 기초 스킬들을 다룬다는 의미이지
• 이미 너가 미분학을 알고 있다는 전제에서 시작해. 우리 고등학교 때 다 배웠잖아? 
• 이 커리큘럼에 딥러닝 관한 것은 없어. 딥러닝은 그 자체로만 52주가 걸릴걸? 그걸 여기다 꾸겨넣는 것은 좀 불친절한 것 같아서! 

자 이제 시작해볼까! 

 

목차 

1. 확률과 통계 (Week 1 to Week 6)
2. 수학 (Week 7 to 12)
3. SQL (Week 13 to Week 21)
4. Python과Programming (Week 22 to Week 28)
5. Pandas (Week 29 to Week 33)
6. 데이터 시각화 (Week 34 to Week 35)
7. 데이터 탐색과 전처리(Week 36 to Week 39)
8. 머신러닝 (Week 40 to Week 51)
9. 데이터 사이언스 프로젝트 (Week 52)

 

 

 

 

확률과 통계 

왜 확률과 통계일까? 

데이터 사이언스와 머신러닝은 현대 버전의 통계학이야. 통계학을 먼저 배움으로써 머신러닝 개념 및 알고리즘을 배우는데 시간을 단축시킬 수 있지! 비록 실체없는 것들을 첫 몇 주간 배운다고 생각할지 몰라도, 나중에 다 도움이 될 거야. 

Week 1: 기술 통계학(Descriptive Statistics)

• Intro to Descriptive Statistics
• Another Intro to Descriptive Statistics

Week 2: 확률(Probability)

• Theoretical probability
• Sample spaces
• Set operations
• Addition rule
• Multiplication rule for independent events
• Multiplication rule for dependent events
• Conditional probability and independence

Week 3:  순열과 조합(Combinations and Permutations)

• Counting principle and factorial
• Permutations
• Combinations
• Combinatorics

Week 4: 정규 분포와 표본 분포(Normal Distribution and Sampling Distributions)

• Normal distribution and the Empirical rule
• Introduction to Sampling Distributions
• Sampling distribution of a sample proportion
• Sampling distribution of a sample mean

Week 5: 신뢰구간(Confidence Intervals)

• Introduction to Confidence Intervals
• Estimating Sample Proportions
• Estimating Sample Means

Week 6: 가설 검정(Hypothesis Testing)

• Introduction to Hypothesis Testing
• Error probabilities and power
• Tests about a population proportion
• Tests about a population mean
• More videos

 

수학

왜 수학인가? 

통계와 마찬가지로 많은 데이터 사이언스의 개념들이 수학 개념에 기초해있어. 

비용 함수를 이해하기 위해서 최소한 미분은 알아야 해. 가설 검정을 이해하기 위해서는 적분 개념을 이해해야 하고. 그리고 예시를 더 주자면, 선형 대수는 딥러닝, 추천 시스템, 주성분 분석의 개념을 이해하는데 꼭 필요해!

Week 7: 벡터 공간 (Vectors and Spaces)

• Vectors
• Linear Combinations and Spans
• Linear Dependence and Independence
• Subspaces and the basis for a subspace

Week 8: 스칼라곱과 변환 행렬 part.1(Dot Product and Matrix Transformations pt. 1)

• Vector dot and cross products
• Functions and Linear Transformations
• Transformations and Matrix Multiplications

Week 9: 변환 행렬 part.2 (Matrix Transformations pt. 2)

• Inverse Functions and Transformations
• Inverses and Determinants
• Transpose of a Matrix

Week 10: 고유값과 고유 벡터(Eigenvalues and Eigenvectors)

• Eigenvalues and Eigenvectors
• 그리고 지난 몇 주간 못했던 것 복습!!

Week 11: 적분 part. 1(Integrals)

• Approximation with Riemann Sums
• Definite Integrals with Riemann Sums
• The Fundamental Theorem of Calculus and Accumulation Functions
• Properties of Definite Integrals

Week 12: 적분 part.2(Integrals Part 2)

• The Fundamental Theorem of Calculus and Definite Integrals
• Reverse Power Rule
• Indefinite Integrals of Common Functions
• Definite Integrals of Common Functions

 

 

 

 

 

SQL

왜 SQL?

SQL은  데이터 사이언티스트. 데이터 엔지니어, 데이터 애널리스트, 비즈니스 애널리스트 등 어떤 데이터 관련 분야든지 가장 중요한 기술이야.

SQL은 데이터베이스에서 구체적인 데이터를 추출해서, 그걸로 분석한다거나, 시각화, 모델링 등등을 할 수 있게 해. 그래서 훌륭한 SQL 실력을 갖춘다면 한 단계 높은 분석, 시각화, 모델링 등을 할 수 있게 될거야. 왜냐? 너는 다양한 방법으로 데이터를 추출하고 다룰 수 있게 될테니까! 

나는 우연히 SQL 관련해서 Mode’s curriculum 를 발견했고 이거 최고야! using SQL in Mode 에서 좀 익숙해진 다음에 아래 주제들로 완성시켜나가자!!

Week 13: 기초 SQL(Basic SQL)

• Introduction to SQL
• SELECT FROM statement
• WHERE statement
• ORDER BY statement
• LIMIT statement

Week 14: 논리 연산자/ 비교 연산자 (LOGICAL and COMPARISON Operators)

• Logical Operators
• Comparison Operators

Week 15: 집계함수(AGGREGATES)

• Aggregate Functions (COUNT, SUM, MIN/MAX, AVG)
• GROUP BY clause
• HAVING clause

Week 16: DISTINCT, CASE WHEN

• DISTINCT
• CASE WHEN

Week 17: JOINS, UNIONS

• JOINs
• UNIONs

Week 18: Subqueries, Common Table Expressions

• Subqueries
• Common Table Expressions (CTEs)

Week 19: 문자열 조성(String Manipulations)

• String Functions in SQL (LEFT/RIGHT, TRIM, STRPOS, SUBSTR, CONCAT, UPPER/LOWER, etc…)

Week 20: Date-time manipulation

• EXTRACT
• DATE_ADD()
• DATE_SUB()
• DATE_DIFF()
• 더 많은 기능을 보고 싶다면 여기를 보세요 

Week 21: Windows Functions

• Windows Functions (ROW_NUMBER(), RANK(), DENSE_RANK(), LAG, LEAD, SUM, COUNT, AVG)
• 더 많은 Windows functions 를 보기 위해서는 여기를 보세요. 

 

 

 

 

 

 

 

 

파이썬과 프로그래밍

왜 파이썬? 

나는 파이썬으로 시작했고, 난 아마 파이썬을 평생 쓸 것 같아. 파이썬은 오픈소스도 많고, 배우기도 직관적이야. 만약 원한다면 R과 함께 배워도 되는데, 나는 R 관련해서 도움은 주기 힘들 것 같아. 

Week 22: 파이썬 기초 

• Video: (0:00 to 1:03:10)

Week 23: List, Tuples, Functions, Conditional Statements, Comparisons

• Video: (1:03:10 to 2:00:37)

Week 24: Dictionaries, Loops, Comments

• Video: (2:00:37 to 3:04:17)

Week 25: Try/Except, Reading & Writing files, Classes and Objects

• Video: (3:04:17 to 4:20:43)

Week 26: Recursion

• Video explanation of recursion
• Course on recursion

Week 27: Binary Trees

• Course on Binary Trees

Week 28: APIs, Anaconda

• APIs for beginners
• Getting Anaconda setup on your computer

 

 

 

 

 

Pandas

왜 Pandas?

판다스는 파이썬에서 가장 중요한 라이브러리야. 데이터 조작 및 분석 용도로 사용해!

Week 29: 데이터 얻기 및 알아가기 

• Follow along and learn — YouTube video
• Practice problem set #1
• Practice problem set #2

Week 30: Filtering, Sorting

• Follow along and learn — YouTube video
• Practice problem set #1
• Practice problem set #2

Week 31: Grouping

• Follow along and learn — YouTube video
• Practice problem set #1
• Practice problem set #2

Week 32: Apply

• Follow along and learn — YouTube video
• Practice problem set #1

Week 33: Merge

• Follow along and learn — YouTube video
• Practice problem set #1
• Practice problem set #2

 

데이터 시각화?

왜 데이터 시각화? 

데이터와 인사이트를 시각화하는 능력은 너무 중요해. 수많은 뒤섞인 정보들을 한 번에 소통할 수 있는 가장 쉬운 방법이기 때문이야. 데이터 사이언스로서 너는 항상 너와 너의 아이디어를 셀링해야할텐데 - 새로운 프로젝트를 피칭하거나 너의 모델이 상품화될 수 있다고 타인을 설득하는 일 - 데이터 시각화는 엄청 유용한 도구가 될거야! 

엄청난 시각화 라이브러리가 있는데, 나는 두 개에 집중을 할게: Matplotlib와 Plotly.

Week 34: Matplotlib으로 데이터 시각화하기 

• Introduction to Matplotlib
• 3-D Visualizations in Matplotlib
• Types of Data Visualizations in Matplotlib
• Cheatsheet

Week 35: Plotly로 데이터 시각화하기 

• Types of Visualizations in Plotly (beginner)
• Types of Visualizations in Plotly (beginner and advanced)

 

데이터 탐색과 전처리 

왜 필요한가? 

“쓰레기가 들어가면 쓰레기가 나온다”

네가 만들어낸 모델들은 네가 넣은 데이터의 가치에 의해 좌우될거야. 네가 넣은 데이터의 상태를 이해하기 위해서는(좋은지 나쁜지), 데이터를 탐색하고 전처리를 거쳐야겠지. 따라서, 앞으로 4주간, 네가 데이터 탐색과 전처리에 대해 잘 이해할 수 있도록 멋진 자료들을 제공해주려고 해. 

Week 36: Exploratory Data Analysis (EDA)

Exploratory Data Analysis (EDA) 는 어려울 수 있어. 정해진 방법이 없기 때문이야. 하지만 이게 EDA가 재미있는 이유이기도 하지. 일반적으로 너는..

• 기술 통계를 할거고 (eg. central tendency)
• 일 변량 분석(uni-variable analysis)을 할거고  (distributions and spread)
• 다변량 통계분석(Perform multi-variable analysis)을 할거고 (scatterplots, correlation matrix, predictive power score, 등…)
• 잃어버린 데이터나 아웃라이어 데이터를 체크하길 원할거야. 

 초심자를 위한 EDA 가이드는 여기를 확인해봐!

Week 37: 데이터 준비: 결측값 대체와 정규화

• 결측갑 대체가 뭔가요?
• 잃어버린 데이터를 산입하는 여섯 가지 방법
• 정규화 vs 표준화
• 정규화 vs 표준화 구현 예시 

Week 38: Feature Engineering, Feature Selection

• Feature Engineering Mini Course
• Feature Encoding
• An Introduction to Feature Selection

Week 39: 불균형 데이터(Imbalanced Datasets)

• An Introduction to Imbalanced Classification Problems
• The Right Way to Oversample in Predictive Modeling

 

머신러닝

왜 머신러닝일까? 

너가 배운 모든 것들은 바로 여기로 귀결돼! 머신러닝은 흥미롭고 신나기도 하고, 모든 데이터 사이언티스트가 가지고 있는 기술이기도 해. 물론 모델링이 데이터 사이언티스트의 시간을 그렇게 많이 차지하는건 아니지만, 중요하지 않다는 것을 의미하는건 아니야.

좀 지나다보면, 내가 아마 k 최근접 이웃 알고리즘, Gradient Boost, CatBoost 등 알고리즘을 포함시키지 않았다는걸 눈치채게 될거야. 이건 의도적으로 그런거야. 만약 네가 아래의 머신러닝 개념들을 이해할 수 있다면, 곧 다른 머신러닝 알고리즘도 충분히 이해할 능력을 갖추게 될거야!

 

Week 40: 머신러닝의 기초

• Supervised vs Unsupervised, Continuous vs Discrete
• Bias-variance tradeoff

Week 41: 선형 회귀

• Linear Models: Linear Regression
• Linear Models: Multiple Regression
• Mathematics behind linear regression

Week 42: Logistic 회귀

• Introduction to Logistic Regression
• Part 1: Coefficients
• Part 2: Maximum likelihood
• Part 3: R-squared and P-value

Week 43: 정칙화(Regularization)

• Ridge Regression (L2)
• Lasso Regression (L1)
• Elastic Net Regression

Week 44: 결정 트리(Decision Trees)

• Decision Trees Introduction
• Feature Selection and Missing Date
• Implementing a Decision Tree in Python

Week 45: 나이브 베이즈(Naïve Bayes)

• A Mathematical Explanation of Naïve Bayes
• Naïve Bayes (StatQuest)

Week 46: Support Vector Machines

• Intuition of Support Vector Machines
• Support Vector Machines in Python
• A mathematical explanation of Support Vector Machines

Week 47: Clustering

• K-means clustering
• Hierarchical clustering

Week 48: 주성분 분석(Principal Component Analysis)

• Principal Component Analysis (PCA) step-by-step
• Another detailed explanation by Luis Serrano (I highly suggest you watch both)
• Mathematical explanation of PCA

Week 49: Bootstrap Sampling, Bagging, Boosting

• Bootstrap Sampling
• Ensemble learning, Bagging, Boosting

Week 50: Random Forests and Other Boosted Trees

• Random Forests pt.1
• Random Forests pt.2
• XGBoost — Regression
• XGBoost — Classification
• XGBoost — Mathematical Details
• XGBoost in Python

Week 51: Model Evaluation Metrics

• Evaluation Metrics with Python Code
• Understanding the confusion matrix and how to implement it in Python

 

 

 

 

 

Week 52: 데이터 사이언스 프로젝트 

위 내용들에 충분히 익숙해졌다면, 너는 이제 네 데이터 사이언스 프로젝트를 시작할 때가 된거야! 혹시 몰라서 네가 시작할 영감을 얻을 수 있는 세 가지 아이디어를 줄게. 사용하는건 네 자유야! 

Idea 1: SQL 케이스 스터디 

케이스 바로가기 

이 케이스의 목적은 Yammer라는 소셜 네트워크의 유저 관여도의 원인을 결정하는 거야. 데이터를 보기 전에 Yammer가 뭐하는지 여기서 간략하게 읽어보면 좋을 것 같아. 총 4개의 표를 작업하게 될거야. 

위 링크는 너에게 문제 상황 관련의 디테일, 데이터, 답해야할 질문들을 제공할거야. 

내가 어떻게 접근했는지 궁금하다면 여기를 확인해보렴! 

너는 아래의 스킬들을 발전시키게 될거야. 

• SQL
• 데이터 분석
• (만약 너의 인사이트를 시각화한다면) 데이터 시각화

Idea 2: Trustpilot Webscraper

데이터 웹스크래핑을 하는 법을 배우는 것은 쉽지만 굉장히 유용해. 특히 개인 프로젝트를 위해 데이터를 수집할 때 말이지. 웹페이지에서 고객 리뷰를 스크래핑하는 것은 회사에게 아주 소중해. 왜냐하면 리뷰 트렌드(좋은 쪽이든 나쁜 쪽이든) 를 이해하고 자연어처리를 통해 고객들이 어떻게 보는지 알 수 있기 때문이지. 

먼저 Trustpilot이 어떻게 구성되어있는지 익숙해지자, 그리고 분석하고 싶은 비즈니스를 선택해보자. 그런 다음 Trustpilot 리뷰 스크래핑 하는 법을 보면 좋을 것 같아. 

너는 아래의 스킬들을 발전시키게 될거야. 

• Python Scripts를 짜는 것
• Data Wrangling
• BeautifulSoup/Selenium (webscraping libraries)
• Data 분석
• 자연어 처리를 통해 리뷰에서 인사이트를 도출해낼 수 있음

Idea 3: Titanic Machine Learning Competition

내 생각에, 대회를 통해서 너의 코드를 보여주는건 너가 데이터 사이언스 관련 직업에 준비되었다는 것을 보여줄 가장 좋은 방법이야. Kaggle은 메트릭스 최적화 모델을 구축하는 다양한 대회를 개최하거든. 그 중 하나가 Titanic Machine Learning Competition이야.

만약 영감과 가이드를 좀 얻고 싶다면 this step-by-step walkthrough 에서 솔루션을 찾아보는 것도 좋을듯! 

너는 아래의 스킬들을 발전시키게 될거야. 

• Data Exploration and Cleaning with Pandas
• Feature Engineering
• Machine Learning Modelling

 

읽어줘서 고마워!

도움이 되었으면 좋겠다! 만약 이걸 다 한다면, 너는 통계학, 수학, SQL, 파이썬/판다스 및 여러 머신러닝 알고리즘의 기초에 대해 이해하게 될거야! 나는 이 글이 너에게 꾸준히 공부할 동기를 부여했으면 좋겠어. 아직 네가 공부해야할 것들이 많이 남아있거든! 예를 들면, 좀 더 발전된 모델(eg. CatBoost), 딥러닝,  experimental design, Bayesian modeling, cloud architecture 등등 말이야. 

만약 이 글을 좋아하고, 앞으로 더 많은 콘텐츠를 보고싶다면 Medium에서 나를 팔로우해줘! 언제나, 너의 데이터 사이언스를 향한 열정에 행운을 빌며