[Python] 데이터 시각화

데이터 시각화 목적

• 데이터 탐색을 할 때 가장 많이 사용하는 것이 시각화
• 데이터의 크기를 비교하는 것 
• 수치값을 하나씩 보는 것보다 그림을 보면 데이터에 존재하는 패턴을 쉽게 알아볼 수 있음
• 데이터 분석 결과 뿐만 아니라 정확한 분석을 위해 데이터 탐색 방법으로 활용
• 분석시에 최적화된 데이터 구조로 분석을 요할 경우 금전적인 효과가 창출

 

기존 분석과의 차별점 

• 대용량 데이터를 처리하기 위해 장비빨이 필요

 

데이터 시각화 프로세스 

• 상황을 이해해야 함 
  • 누가 보는 것인지? 무엇을 보는 것인지? 어떻게 보는 것인지? 누구를 대상하는 것인지?
• 적합한 시각화 방법 선택
• 불필요한 요소 제거 (가장 중요)
• 원하는 곳에 집중하도록 유도
• 결과적으로 하나의 스토리가 만들어짐 
• 결론 : 데이터로부터 숨은 이야기를 발견하는 것이 중요 

 

간단한 차트로 데이터 탐색하기 

• 필요성 : 그림의 가장 큰 가치는 우리로 하여금 결코 예상치 못했던 것을 어쩔 수 없이 발견하도록 하는데 있다.(John W. Tukey)  

시각화 기본 원칙 

 

데이터 집산

• 데이터 분석 및 시각화에 관련하여 먼저 전체를 훑어보고 원하는 방에 따라 확대/축소하라 

 

데이터 집산을 위한 예시 

 

 

데이터 구분

• 정형 데이터: 원시 데이터를 가공하여 활용 가능한 형태의 정보로 변환하여 만들어 낸 데이터 
  • eg. 문서 내 포함된 긍정 단어 개수, 웹페이지 방문자 평균 연령, 시간대 웹페이지 사용 방문 비율
• 비정형 데이터 : 이미지, 무의미한 문자를 순서대로 나열한 배열 형식의 텍스트, 웹이지 방문 내역 등을 모아둔 데이터 
• 범주형 데이터 : 가능한 범주 내의 값만 취할수 있음. eg. 목록, 열거, 요인, 명목, 다항형 데이터
• 수치형 데이터 : 데이터를 집산할 수 있는 기준(합산, 평균, 중앙값 등) 

 

데이터 시각화 및 종류 

 목적에 따른 차트 선택 방법 : 

 

산점도(Scatter Plot)

• 데이터를 x축과 y축에 점으로 표현한 데이터 간의 관계 표현에 적합
• 탐색적 데이터 분석을 위한 훌륭한 도구
• 두 변수 사이의 관계(상관관계)를 시각화하는 가장 기본적인 방법
  • 변수 사이에 존재하는 관계를 설명하는데 유용
  • 데이터의 추세 또는 상관관계를 식별하는데 사용
  • 예시. 나이와 소득 (연속 값으로 된 두 변수의 관계를 표현할 때 사용)
• 산포도
  • 데이터가 중심으로부터 얼마나 멀리 퍼져있는지 측정하는 값
    • 중심경향 기초 통계량으로 중심 측정 후 자료가 얼마나 멀리 분포되어있는가 측정
    • 분석, 표준편자, 사분위 편차, 변동 계수 등으로 파악 가능 

 

파이차트 

각 데이터의 상대도수를 시각화

비율 또는 부분 대 부분을 비교하는데 이상적

상대 크기를 표시하는 선호하는 차트

 

막대차트

각 데이터 간의 크고 작음을 비교

막대 길이는 각 그룹이 값에 딸 측정하는 방법을 표현

상대적 크기를 표시하고자 할 경우 및 데이터가 카테고리에 있을때 권장

단점

라벨링과 명확성이 너무 많은 범주가 포함되어 있을때 불편

 

히스토그램

각 데이터 구간별 도수 또는 상대 도수 표현

연속 구간 또는 정의된 기간 동안의 데이터 분포를 높이가 다라ㅡㄴ 막대를 사용하여 데이터를 그래프로 표현

값이 집중되는 위치 및 비정상적인 값이 있는 곳을 식별하는데 도움

 

막대 차트 : 각 데이터 변수에 대한 값을 비교

히스토그램 : 각 데이터의 구간별 도수 및 상대 도수 (eg. 사람 키와 같이 지속적인 데이터 있을때 good)

 

 

 

 

상자그림 (box plot)

상자 및 수염그림은 사분위수를 통한 데이터 시각적 요약을 제공

데이터의 분포를 직사각형 상자 모양으로 표현한 그래프

장점: 데이터의 특이값들을 좀 더 명확하게 보여줌. 분포를 알 수 있기 때문에 평균만 볼 때보다 데이터의 특성을 좀 더 자세히 이해할 수 있음 

 

 

Barplot

범주에 따르실수값의 평균과 편차를 표시하는 막대그래프 

편차는 error bar로 표시 

 

선그래프(Lineplot) 

 

페어플롯(Pair plot)

데이터 프레임을 인수로받아 grid 형태로 각 열의 조합에 대한 산점도 표시 

 

실제 분포를 확인할 수 있는 그래프

violin plot

실제 분포를 확인할 수 있는 그래프 

상자 그림을 보완한 형태.

Swarmplot

 

 

 

 

distplot

부드러운 형태의 분포 곡선을 보여주는 방법

 

 

히트맵

막대나 점대신 색으로 데이터 값 표현

열 지도는 색의 변화를 통해 데이터 차이를 보여줌

상관계수가 높다는 것은? 서로 중복된 정보가 존재한다는 의미

 

 

상관 행렬

추세선

 

 

 

그래프 구성 

• Figure, Axes, Axis로 구성
  • Figure :
    그림이 그려지는 캔버스나 종이
    여러개 그래프 적용 가능
    한 개 이상의 Axes 객체를 포함
  • Axes:
    두 개 이상의 Axis 객체를 포함
    Axis는 가로축이나 세로축:
    
    • Axis
    • x, y label
    • title
    • legend

 

도식화와 시각화 주요API

• matplotlib
• seaborn