1. pandas 소개¶

데이터 분석할 때, 정말 효자 라이브러리입니다.¶

Python을 이용해서 데이터를 분석하는 프로젝트에서 유용하게 사용한 라이브러리입니다.

pandas는 DataFrame 이라는 자료형을 이용하여, 데이터를 저장하고 가공합니다.

import pandas as pd
import numpy as np

matrix = np.matrix([[1,3], [2,5]])
print("numpy.matrix : \n", matrix)

df = pd.DataFrame([[1,3], [2,5]])
print("pandas DataFrame :\n", df)

numpy.matrix : 
 [[1 3]
 [2 5]]
pandas DataFrame :
    0  1
0  1  3
1  2  5

DataFrame은 numpy matrix에서 Matrix 행의 속성 index 와 열의 속성 column 이 적용된 형태를 합니다.

데이터베이스 테이블이나 엑셀같은 표에 데이터를 저장하는 형태와 동일합니다.

numpy.matrix를 사용하면서 불편한 점은 행렬 내부의 원소를 접근할 때 반드시 index 단위로 접근해야 했습니다.

프로그램을 혼자 짤 때는 선택한 이 원소의 의미를 이해할 수 있지만, 함께하는 프로젝트에서는 코드를 이해하는데 어렵습니다.

(거기다 난도가 있는 통계적 알고리즘 구현까지 들어가면 통계베이스 없는 저같은 개발자는 일일히 실행해야 겨우 의미를 알게 되요)

하지만 pandas는 각각의 행과 열을 지정할 수 있어서, 선택하는 데이터가 어떤 속성을 가지는지 쉽게 이해가 가능합니다.

matrix = np.matrix([[1,3], [2,5]])
print("A의 수학 성적 : ", matrix[0,0])

df = pd.DataFrame([[1,3], [2,5]], columns=["math", "computer"], index=["A", "B"])
print("A의 수학 성적 : ", df.loc["A", "math"])

A의 수학 성적 :  1
A의 수학 성적 :  1

또한 DataFrame 클래스안의 메소드 만으로도 프로젝트에서 사용하는 합, 평균, 분산, 표준 편차 등의 단순 통계부터

데이터를 재구성하기 위한 이동 평균, 이동 합, Resample, Groupby와 시각화까지 지원합니다.

이번 시간에는 시각화 기능을 알아 보도록 해요.

2. 시각화¶

DataFrame의 plot을 이용하면 다양한 형태의 그래프를 그릴 수 있습니다.

numpy Matrix를 그래프로 그린다면 matplotlib 라이브러리를 사용해서 설정을 해야한다는 것에 비해면 엄청 간단한 방법으로 그래프를 그릴 수 있어요

DataFrame.plot.bar() : 막대 그래프

DataFrame.plot.line() : 선 그래프

DataFrame.plot.scatter(x, y) : 산포도 그래프

DataFrame.plot.box() : Box 그래프

앞서 사용한 A와 B의 성적표로 막대 그래프와 선 그래프를 그려 봅시다

""" %matplotlib inline : 주피터 노트북 설정 때문에 사용한 거에요, """ 
%matplotlib inline 

df.plot.bar()
df.plot.line()
df.plot.box()

<matplotlib.axes._subplots.AxesSubplot at 0x1e284adb9b0>

데이터 수가 많으면 숫자로 보았을 때 데이터가 어떤 분포를 가지는지 쉽게 알 수 없는데, 간단하게 그래프를 그려서 확인할 수 있어요.

산포도 그래프는 sklearn 라이브러리에 있는 샘플 데이터로 한 번 그려볼게요

sklearn 라이브러리가 없다면 아나콘다 콘솔에 pip install sklearn 명령어로 설치하시고 진행해주세요

데이터 마이닝 수업에서 단골 손님으로 언급되는 Iris 데이터를 이용해서 산포도 그래프를 그려볼게요.

아래의 함수를 실행하여, 데이터를 적재합니다.

from sklearn.datasets import load_iris
iris = load_iris()
data = iris['data']
feature = iris['feature_names']
label = iris['target']

print("data의 타입 : ", type(data))

# numpy.ndarray데이터도 pandas DataFramed의 데이터로 적용이 가능합니다.
iris_df = pd.DataFrame(data, columns=feature)

# label 컬럼을 추가해줍니다.
iris_df.loc[:, "label"] = label
print(iris_df.head())

data의 타입 :  <class 'numpy.ndarray'>
   sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)  \
0                5.1               3.5                1.4               0.2   
1                4.9               3.0                1.4               0.2   
2                4.7               3.2                1.3               0.2   
3                4.6               3.1                1.5               0.2   
4                5.0               3.6                1.4               0.2   

   label  
0      0  
1      0  
2      0  
3      0  
4      0

sklearn 라이브러리는 통계 알고리즘을 담고 있는 라이브러리인데요.

샘플로 데이터를 담고 있어서 데이터를 수집하는데 신경을 덜 쓸 수 있어요.

numpy.ndarray 와 pandas.DataFrame 간의 호환성도 좋아서 여러분이 작성한 알고리즘의 결과가 numpy.ndarray 형태라 하여도,

pandas DataFrame으로 변환하여 사용할 수 있답니다.

이제 scatter 함수로 산포도를 그러볼게요. x축과 y축으로 사용할 컬럼명을 매개변수로 반드시 넣어주셔야 합니다.

iris_df.plot.scatter(x="sepal length (cm)", y="label")

<matplotlib.axes._subplots.AxesSubplot at 0x1e2829fa5c0>

그려 놓고 보니까 각각이 무엇을 의미하는지 해석하기가 힘드네요. 서로 구분할 수 있도록 색을 넣어 줍시다.

label에 따라 색을 적용하기위해 color라는 컬럼을 새로 만들었습니다.

# iris 컬럼의 label은 0과 1, 2로 구성되어 있습니다. 
# label 중에 0, 1, 2 값을 같는 index를 찾아 줍니다.
zero = iris_df[iris_df["label"] == 0].index
one = iris_df[iris_df["label"] == 1].index
two = iris_df[iris_df["label"] == 2].index

# 그리고 각각의 index에 따라서 색깔 데이터를 넣어 줍니다.
iris_df.loc[zero, "color"] = "r"
iris_df.loc[one, "color"] = "g"
iris_df.loc[two, "color"] = "b"

iris_df.plot.scatter(x="sepal length (cm)", y="label", c=iris_df['color'])

<matplotlib.axes._subplots.AxesSubplot at 0x1e286a6f828>

pandas.DataFrame으로 간단하게 데이터 가시화를 해보았습니다.

마지막으로 여러 종류의 그래프를 한 곳에 그리는 방법도 공유해드릴게요.

ax = iris_df["sepal length (cm)"].plot.line(color='green')
ax_2 = iris_df["petal length (cm)"].plot.bar(ax=ax, color='red')

# x축에 사용할 라벨
ax_2.set_xticks(iris_df.index[0::10])
ax_2.set_xticklabels(iris_df.index[0::10], rotation=45)

# y축에 사용할 라벨을 지정합니다.
ax_2.set_ylabel("length(cm)")

ax_2.legend()

<matplotlib.legend.Legend at 0x1e284aa0f28>

plot 메소드들은 Axes라는 좌표축 객체를 반환합니다.

ax.set_xticks() : x축의 간격을 지정합니다.

ax.set_xticklabels() : x축의 간격에 라벨을 지정합니다.

ax.set_ylabel() : y축의 라벨을 지정합니다.

ax.legend() : 범례를 그래프에 넣어줍니다.

긴글 읽어 주셔서 감사합니다.

도움이 되셨으면 공감 버튼 꼭 눌러주세요.

r	빨강	--	점선
b	파랑	o	동그라미
g	초록	^	삼각형
y	노랑	*	별

심심해서 하는 블로그

Optuna 간단 메뉴얼

Optuna : 하이퍼파라미터 최적화 프레임워크

소스 코드

XGBoost 요약 정리

캐글에서 사랑받는 XGBoost

앙상블 기법 : Boosting

XGBoost : Extreme Gradient Boosting

소스코드

GRU(Gated Recurrent Unit)

소소한 근황 소개

Sequence Model

RNN의 구조

GRU : Gated Recurrent Unit

Pytorch 로 적용 해보기

[동대문 맛집] 홍리마라탕

마라탕 첫 느낌

고소한 땅콩향과 알싸한 맛

먹을 땐 괜찮았는데..

[예술의 전당] 존 레논 이매진 전 관람 후기

존 레논의 사망으로 시작

존 레논과 비틀즈의 탄생 그리고 성공

오노 요코와 만남

아빠 존 레논

마치며 : Imagine

참고사항

사진들

[Python] 공공데이터 API 사용기 (feat 미세먼지)

새로운 시리즈 시작!!

미세먼지 데이터 수집

기상 데이터 수집

API 호출 프로그램 작성

미세먼지 데이터 API

기상 데이터 API

데이터 종합

[Ipad App] Tayasui Sketches 리뷰 (무료 그림 그리기 앱 추천)

Tayasui Sketches 리뷰

애플 펜슬도 샀겠다.

장점 1 : 필요한 것만 딱 있다.

장점 2 : 뒤로 가기 제스쳐 기능

장점 3 : 동영상 촬영 기능

단점 1 : 부족한 레이어

단점 2 : 팜 리젝션

총평 : 별 4개

[Python] List 중복제거

리스트 중복 제거

일반적인 경우

원소가 list로 이루어져 있는 경우

타입이 다양하면 str으로 변환 해보자.

[Java] 디자인 패턴 - 싱글톤

싱글톤이란?

대표적인 형태 - Eager initialization

Lazy Initialization

Lock을 걸어버리자

holder에 의한 초기화

아이패드로 티스토리 마크다운 글쓰기 - Tistory with Bear

한 달동안 써본 Bear App 좋은 점

테스트 : 코드 텍스트

문제점 1 : 사진

문제점 2 : 전역 Style

나름의 프로세스를 만들어 보았다.

마치며..

[Python]DBSCAN 클러스터링 (with 카톡 대화)

[대학로 연극] 크리미널 시즌 4 리뷰

[대학로 연극] 기묘여행 리뷰

[Python] Word2Vec으로 관련 키워드 찾기 (with 카톡 대화)

[영화] 도어락 리뷰

[영화] 보헤미안 랩소디 후기

[Python] 워드클라우드 (with 카톡 대화)

[Python] 한글 형태소 분석기 Kkma (with 카톡 대화)

암수살인을 보고 왔습니다 (스포주의)

평양냉면 맛집 - 을밀대 강남점

서가앤쿡 파히타 한상

[수제버거 맛집] 릿잇타미 다녀왔습니다.

경복궁 야간개장 다녀왔습니다!!

이화동 벽화마을 카페 - 라디오 데이즈

남산골 한옥마을에 야시장이 열렸어요

[대학로 연극] 러브 스코어 관람 후기

[평양냉면 맛집] 을지면옥 다녀왔습니다.

[서울 맛집] 마!! 우래옥에서 평양냉면 묵어봤나!!