Coding/Articles worth reading

[Article] Data Scientist, Data Analyst, Data Engineer ์˜ ์ฐจ์ด๋ฅผ ์•Œ์•„๋ณด์ž(+๋ฏธ๊ตญ ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธ์Šค ์ž๊ฒฉ์ฆ)

๊น€์œ ๋‹ˆ์ฝ˜ 2021. 12. 4. 16:15

 Data Scientist, Data Analyst, Data Engineer ์˜ ์ฐจ์ด๋ฅผ ์•Œ์•„๋ณด์ž 

ํ•ด๋‹น ๊ธ€์€ ๋ฏธ๋””์—„์˜ Know the difference between data scientist, data analyst, data engineer์„ ๋ฒˆ์—ญํ•œ ๊ธ€์ž…๋‹ˆ๋‹ค.


 ๋ฐ์ดํ„ฐ ์กฐ์ž‘์˜ ์˜์—ญ์€ ๋„“๊ณ  ๋‹ค์–‘ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ, ๋ฐ์ดํ„ฐ ์• ๋„๋ฆฌ์ŠคํŠธ, ๋น…๋ฐ์ดํ„ฐ ์ธ์ œ๋‹ˆ์–ด์˜ ์ฃผ์š” ์ฐจ์ด๋ฅผ ์ดํ•ดํ•ด๋ณด๋„๋ก ํ•ฉ๋‹ˆ๋‹ค. 
 
์„ธ์ƒ ๋งŽ์€ ์‚ฌ๋žŒ๋“ค์ด ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธ์Šค์™€ ๋น…๋ฐ์ดํ„ฐ๋ฅผ ์ฃผ ์ปค๋ฆฌ์–ด ์˜ต์…˜์œผ๋กœ ์„ ํƒํ–ˆ์ง€๋งŒ, ์•„์ง ๋” ๋งŽ์€ ์„ ํƒ๊ถŒ์ด ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ๋ชจ๋ฅด๋Š” ์‚ฌ๋žŒ์ด ๋งŽ์€ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๋งŽ์€ ์‚ฌ๋žŒ๋“ค์€ ๋น…๋ฐ์ดํ„ฐ ์• ๋„๋ฆฌ์ŠคํŠธ๊ฐ€ ๋น…๋ฐ์ดํ„ฐ ์ดํ›„ ๋ฒ„๋ ค์งˆ ๊ฒƒ์ด๋ผ๊ณ  ์ฃผ์žฅํ•˜๊ธฐ๋„ ํ•˜๊ณ , ์–ด๋–ค ์‚ฌ๋žŒ๋“ค์€ ๋น…๋ฐ์ดํ„ฐ์™€ ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธ์Šค๊ฐ€ ๋น„์Šทํ•˜๊ฑฐ๋‚˜ ํ•œ ๋ถ€๋ถ„์ด๋ผ๊ณ  ๋งํ•ฉ๋‹ค. 
 
๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธ์Šค๋Š” ์˜ค๋ž˜ ๋˜์—ˆ์ง€๋งŒ, ๋ฐ˜๋ฉด ๋น…๋ฐ์ดํ„ฐ๋Š” ๊ฝค ์ƒˆ๋กœ์šด, ์ด์ „ ๋‹ค์–‘ํ•œ ๊ด€๋ จํ•œ ๋ถ„์•ผ๋กœ๋ถ€ํ„ฐ ๋ณ€ํ˜•์—์„œ ๊ธฐ์ธํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๋ถ„์„์€ ๊ธฐ์ˆ ๊ณผ ๊ด€๋ จํ•˜์—ฌ ์–ด๋Š ์ชฝ์ด๋“  ๊ฐ„์— ๊ธฐ์ˆ  ๋ฐ ์†Œํ”„ํŠธ์›จ์–ด ์‹œ์Šคํ…œ์„ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค. ๊ฐ„ํ˜น ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธ์Šค ์ž๊ฒฉ์ฆ์€ ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธ์Šค ์ „๋ฌธ๊ฐ€์—๊ฒŒ ํ•„์ˆ˜ ์ „์ œ ์กฐ๊ฑด์ด๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค. 
 
์ž ์ด์ œ ๋ฐ์ดํ„ฐ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ, ๋ฐ์ดํ„ฐ ์• ๋„๋ฆฌ์ŠคํŠธ, ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด์˜ ์ฐจ์ด๋ฅผ ์‚ดํŽด๋ณด์•„์š”!
 
  Data Scientist Big Data Anayst Data Engineer 
์ •์˜ ๋ง ๊ทธ๋Œ€๋กœ '๊ณผํ•™์ž'์— ๊ฐ€๊น๋‹ค. 
๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ณ , ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋ฅผ ๋งŒ๋“ค๊ณ  ์œ ์ง€ํ•˜๊ณ , ๋‹ค์–‘ํ•œ ์š”๊ตฌ์— ๋”ฐ๋ผ ๋ฐ์ดํ„ฐ๋ฅผ ์ •์ œํ•˜๊ณ  ๋ถ„๋ฅ˜ํ•œ๋‹ค. ๋ฐ์ดํ„ฐ ์‹œ๊ฐํ™”์™€ ๋ถ„์„๋„ ํ•œ๋‹ค. 
์ž๋™ํ™” ํˆด๊ณผ ํ•จ๊ป˜, ๋ฐ์ดํ„ฐ ์• ๋„๋ฆฌ์ŠคํŠธ๋Š” ๋ถ„๋ฅ˜๋œ ๋ฐ์ดํ„ฐ์™€ ์ธ์‚ฌ์ดํŠธ๋“ค์„ ๋ชจ์€๋‹ค. ๋ฐ์ดํ„ฐ ์…‹, ๊ทธ๋ฆฌ๊ณ  ์‹ฌ๋„๊นŠ์€ ๋ถ„์„์ด ๋น„์ฆˆ๋‹ˆ์Šค์™€ ์ œํ’ˆ ๊ด€๋ จ ์ „๋žต์— ๋„์›€์„ ์ค„ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ๊ฒƒ์„ ์ดํ•ดํ•˜๊ณ  ์žˆ๋‹ค.  ์ง€์†์ ์œผ๋กœ ๋Œ€๋Ÿ‰์˜ ๋ฐ์ดํ„ฐ์™€, ํŒŒ๋ผ๋ฏธํ„ฐ ์ •์˜, ๋ฐ์ดํ„ฐ์…‹ ๋ถ„์„ ๋“ฑ์— ๋Œ€ํ•ด ์ง€์†์ ์œผ๋กœ ๋Œ€์‘ํ•œ๋‹ค. ๋น„์ฆˆ๋‹ˆ์Šค ์ธ์‚ฌ์ดํŠธ๋ฅผ ์œ„ํ•œ ํ”„๋กœ๊ทธ๋žจ ๋ถ„์„ ์‹œ์Šคํ…œ ๋Œ€์‘๋„ ํ•œ๋‹ค.
์Šคํ‚ฌ SAS, R, Python, Hadoop ๋ฐ ์œ ์‚ฌ ํˆด, SQL db, ๋ถ„์„ ์Šคํ‚ฌ, ํ†ต๊ณ„, ์ˆ˜ํ•™, ์ „๋žต์  ์‚ฌ๊ณ , ๋ฐ์ดํ„ฐ ๊ตฌ์กฐํ™”, ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์„ค๊ณ„ ๋ฐ ๊ด€๋ฆฌ  SQL, Excel, Tableau, AI, ํ”„๋กœ๊ทธ๋ž˜๋ฐ, ํ†ต๊ณ„, ์ˆ˜ํ•™, ๋จธ์‹ ๋Ÿฌ๋‹, ๋ฐ์ดํ„ฐ ์‹œ๊ฐํ™”, ๋น„์ฆˆ๋‹ˆ์Šค ์ง€์‹, ์†Œํ†ต๋ ฅ ๋“ฑ SQL. Python, Java, Hadoop, ์ˆ˜ํ•™, ํ”„๋กœ๊ทธ๋ž˜๋ฐ, ์ปดํ“จํ„ฐ ์‚ฌ์ด์–ธ์Šค, ๋ถ„์„ ์Šคํ‚ฌ, ๋น„์ฆˆ๋‹ˆ์Šค ์ „๋žต, ๋น…๋ฐ์ดํ„ฐ
์˜ํ–ฅ ๋ฏธ์น˜๋Š” ๋ถ„์•ผ  ์›น ๊ฐœ๋ฐœ, ๊ฒ€์ƒ‰ ์—”์ง„, ๊ด‘๊ณ , ์ธํ„ฐ๋„ท ๊ฒ€์ƒ‰, ์ด์ปค๋จธ์Šค, ๊ธˆ์œต, ๋””์ง€ํ„ธ ๊ด‘๊ณ , ํ†ต์‹ ์‚ฌ ๋“ฑ  ์—ฌํ–‰ ๋ฐ ๊ตํ†ต, ๊ธˆ์œต ๋ถ„์„, ์œ ํ†ต, ๋ฆฌ์„œ์น˜, ์—๋„ˆ์ง€ ๊ด€๋ฆฌ, ๊ฑด๊ฐ•๊ด€๋ฆฌ, ๋ณดํ—˜, ํ–‰์ •, ๊ฒŒ์ž„, ์ „๋ ฅ ๋“ฑ ์œ ํ†ต, ์€ํ–‰ ๋ฐ ํˆฌ์ž, ์‚ฌ๊ธฐ ๊ฒ€๊ฑฐ ๋ฐ ๋ถ„์„, ์†Œ๋น„์ž ์ค‘์‹ฌ ์„œ๋น„์Šค, ์šด์˜ ๋ถ„์„, ์ด์ปค๋จธ์Šค, ๊ธˆ์œต ์„œ๋น„์Šค, ์ปค๋ฎค๋‹ˆ์ผ€์ด์…˜
 
๋น…๋ฐ์ดํ„ฐ ๋ถ„์„๊ฐ€์˜ ์—ญํ• ์€ ๋น„์ฆˆ๋‹ˆ์Šค ์ƒํ™ฉ์— ๋Œ€ํ•œ ๋ช…ํ™•ํ•˜๊ณ  ์‹ฌ๋„์žˆ๋Š” ์ธ์‚ฌ์ดํŠธ๋ฅผ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์กฐ์ง์˜ ๋ชฉํ‘œ๋ฅผ ์ดํ•ดํ•˜๊ณ  ํšŒ์‚ฌ์˜ ๋ชฉํ‘œ๋ฅผ ๋‹ฌ์„ฑํ•˜๊ธฐ ์œ„ํ•ด ๋ฌด์—‡์„ ํ•ด์•ผ ํ•˜๋Š”์ง€ ๋” ๋‚˜์€ ๋น„์ „์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค. ๋˜, ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ฐ ์ˆ˜์ง‘์„ ์ž๋™ํ™”ํ•˜๊ณ  ์‹ค์‹œ๊ฐ„ ๋ณด๊ณ ์„œ๋ฅผ ์ƒ์„ฑํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋˜๋Š” ๋งŽ์€ ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋ถ„์„์€ ๋น„์ฆˆ๋‹ˆ์Šค ๊ด€๋ จ ํ™œ๋™๊ณผ ์‚ฌ์šฉ์ž ํ–‰๋™์„ ์ธก์ •ํ•˜๊ณ  ์ง€์›ํ•˜๋Š”๋ฐ ํšจ์œจ์ ์ด๋ฏ€๋กœ ํšŒ์‚ฌ์—์„œ๋Š” ์ด๋ฅผ ํ•„์š”๋กœ ํ•œ๋‹ค. ๋ฏธ๊ตญ์—์„œ์˜ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„๊ฐ€์˜ ํ‰๊ท  ์ˆ˜์ž…์€ ์•ฝ $105,253์ž…๋‹ˆ๋‹ค.  
 
๊ธ€๋ž˜์Šค๋„์–ด์— ๋”ฐ๋ฅด๋ฉด, ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธ์Šค๋Š” ๋ฏธ๊ตญ์—์„œ 15๋ฒˆ์งธ๋กœ ์ˆ˜์ž…์ด ๋†’์€ ์ง์—…์ž…๋‹ˆ๋‹ค. ํ‰๊ท  ์—ฐ๋ด‰์€ $91,000 ์ด๋ฉฐ, ์‹ค๋ฆฌ์ฝ˜๋ฐธ๋ฆฌ ๋ถ€๊ทผ์€ ์•ฝ $110,000 ์ž…๋‹ˆ๋‹ค
 

Data Science Council of America (DASCA) ์ž๊ฒฉ์ฆ

 

DASCA ๋Š” ์—ฌ๋Ÿฌ ์‚ฐ์—…์— ํ‘œ์ค€์˜ ๋น…๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ ์ž๊ฒฉ์ฆ ํ”„๋กœ๊ทธ๋žจ์„ ์ œ๊ณตํ•˜๋Š” ์ „๋ฌธ ๊ธฐ๊ด€์ž…๋‹ค. DASCA ์ž๊ฒฉ์ฆ์€ ์ฃผ๋กœ ํŠน์ • ์ง๋ฌด์— ๋งž๋„๋ก ์„ค๊ณ„๋˜์–ด์žˆ์Šต๋‹ˆ๋‹ค. DASCA์—์„œ ์ œ๊ณตํ•˜๋Š” 6๊ฐ€์ง€ ์‹œํ—˜์€ ์•„๋ž˜์™€ ๊ฐ™์Šต๋‹ˆ๋‹ค. : 

1)Associate Big Data Engineer (ABDE™)

2)Senior Big Data Engineer (SBDE™)

3)Associate Big Data Analyst (ABDA™)

4)Senior Big Data Analyst (SBDA™)

5)Senior Data Scientist (SDS™)

6)Principal Data Scientist (PDS™)