1. pyplot 시작하기

python에서 데이터 가시화를 위한 라이브러리로 matplotlib.pyplot을 사용한다. 파이썬이 데이터를 처리하는 데에는 일가견이 있는 언어인데 가시화 라이브러리도 있다니.. (R에만 있는 줄 알았는데)

일단 저는 윈도우에서 PyCharm을 설치해서 사용하기 때문에 윈도우에서 설치하는 과정만 소개하겠습니다.

위의 URL에서 사용중인 파이썬의 버전에 맞춰서 다운받은 다음 실행하시면 됩니다.

2. 그래프 그리기 : plot()

첫 번째 그린 그래프가 파란색 선이에요. Y좌표만 입력받았을 경우에는 축의 시작점 부터 1씩 증가하는 꼴로

좌표가 자동으로 매칭되요. plot([1,2,3])의 경우에는, 따라서, (0,1), (1,2), (2,3)을 이은 선이 그려지는 거죠.

두 번째 주황색 그래프는 (X, Y) 좌표를 직접 입력한 경우에요. 앞의 리스트에는 X축의 좌표, 

뒤에는 Y축의 좌표로 사용해요. 따라서 plot([1,2,3],[2,4,6])은 (1,2), (2,4), (3,6)을 이은 선을 그리게 되죠.

axis는 화면에 보여줄 축의 최대 값과 최소 값을 지정하는 함수로 주석에서 보셨듯이, 

이 그래프의 X축은 0~4 까지 Y축은 0 ~ 7까지로  설정된 것을 그래프를 통해서도 확인이 가능할 거에요.

그리고 그래프를 화면에 보여주는 show()함수를 사용하는 것으로 마무리!!!

이쁘게 그리고 싶어요..

plot에는 다양한 옵션들이 있어요. 그래프 색깔을 지정할 수 있는 옵션과 선의 스타일도 지정하는 옵션도 있어요. 저는 그 중에서 몇가지 종류만 사용해 보겠습니다.

이 정도가 제가 알고 있는 스타일과 색상이에요. pyplot의 공식페이지에서 더욱 다양한 옵션들이 있어요.

하나의 창 여러 개 그래프

그래프를 이 때까지는 하나의 축상에서 두 개씩 그리는 것을 연습했어요. 그런데 여러 개의 그래프를 각각의 창으로 표현하는 방법도 있어요. 바로 subplot()을 이용하는 방법이죠.

subplot()에 들어가는 숫자에 대하여 해설을 하자면 221은 전체창을 2 * 2로 나눈 뒤 1번째 그래프를 의미해요. 222는 2 * 2 중 2번째 이런 식으로 말이죠. 분할하고자 하는 화면의 갯수에 따라서 숫자를 다르게 쓰면 됩니다.

그래프를 상세하게 표기하기

여러 개의 그래프를 subplot으로 그리는 경우나 하나의 축에 그래프를 그리는 경우 제목이나 범례가 없으면 어떤 그래프인지 알기 힘들 겁니다. title() 함수와 legend() 함수를 이용해서 그래프의 제목과 범례를 지정할 수 있답니다. 그리고 X축과 Y축의 의미도 있으면 좋겠죠? X축과 Y축에 라벨을 붙여주는 xlabel(), ylabel()함수도 한 번 사용해보겠습니다.

3. Scatter 사용하기

산포도 그래프를 그리고 싶다!

분류기를 사용하여 데이터를 분류하는 경우 산포도 그래프로 데이터를 가시화하는 것을 많이 볼 수 있습니다. 데이터가 어느 쪽에 밀집해 있는지를 확인하기 쉽기 때문인데요. matplotlib.pyplot의 scatter() 함수를 이용하면 산포도 그래프를 손쉽게 그릴 수 있답니다. 예제 코드를 보시죠!

박스와 화살표는 다양한 모양과 속성들이 있습니다. 모든 속성을 블로그에 옮겨 적는데에는 한계가 있어서 api 링크를 납깁니다. 긴 글 읽어주셔서 감사합니다!!

1.  k-NN 알고리즘

가장 가까운 이웃을 찾아라

k-NN 알고리즘은 기존의 데이터들은 각각의 라벨이 붙어 있고, 라벨이 없는 임의의 데이터 X가 과연 어떤 종류에 들어가는지 분류하는 알고리즘이다. 이때 X와 기존의 데이터들의 거리를 모두 구한 후 그중 가장 가까운 k 개의 데이터의 라벨들 중 가장 많은 수의 라벨이 X 데이터의 라벨로 결정하게 하는 알고리즘이다.

일반적으로 k-NN 알고리즘을 적용하기 위해서는 수치형 값을 사용하는 편인데, 임의의 데이터와 기존 데이간의 거리를 계산하기 위해서이다. 특별히 훈련하는 과정도 없는 특징도 바로 모든 기존의 데이터와 거리를 계산하는 특징으로 나타나는 것이다.

2.  NumPy로 구현

1) 파일로부터 데이터 수집

2) 정규화

kNN은 Feature 간의 거리를 계산하는 알고리즘입니다. Data 1 ~ Data 2간의 거리 값에서 가장 큰 비중을

차지하는 것은 Feature 1이 되어 버리겠죠. 왜냐면 Feature를 구성하는 단위의 크기가 어마하게 차이가

나기 때문입니다. 100m 달리기 기록을 아무리 단축하여도 거리에는 큰 영향을 못 준다.

데이터를 분석하는 사람의 판단으로 Feature 1이나 Feature 2나 동일하게 중요하다고 판단을 내리는 경우에

위의 같은 사례는 썩 좋아하는 상황이 아닙니다. 따라서 데이터를 일정 범위로 줄여 버리는 과정인 정규화 과정을 거칩니다.

분모에는 각 Feature의 범위가 들어가고 분자에는 data Set에 저장되어있는 Feature 값과 최소값의 차이값이 들어갑니다. 이 식을 활용해서 파이썬으로 마찬가지로 구현하면 아래와 같습니다.

3) 가시화

짜잔.. 숫자로 봤을 때 보다 훨씬 좋죠?

4) k-NN 알고리즘

3.  마치면서..

k-NN은 단순하지만 데이터를 분류하는데 효과적인 알고리즘입니다. 하지만 데이터를 전부다 순회하면서

거리를 측정해야 하기 때문에 대규모의 데이터에 적용할 때는 시간이 오래걸리는 단점이 있습니다.

앞으로 여러 가지 알고리즘을 공부해서 포스팅 하겠습니다.

정말 긴 글 읽어 주셔서 감사합니다. 밑에 하트 한 번만 눌러주시면 저에게 큰 힘이 됩니다 ㅠㅠ

1. 선형 회귀

대표하는 직선!!  

왼쪽 그림과 같이 데이터가 분포하여 있을 때 X=9일 때 Y 값을 예측을 하고자 한다. 

단순히 왼쪽 그림만으로 Y 값을 예측하기에는 근거가 부족하다. 

우리가 4지 선다형 문제를 찍는 데에도 근거가 있으면 (예를 들면 답이 유독 4가 없다는 등)

묘하게 설득력이 생긴다. 통계학자들은 이런 근거를 만들고자 오른쪽과 같이 직선을 그어보았다.

이 직선 주변으로 데이터를 나타나는 점들이 분포하여 마치 데이터를 대표하는 모델로 역할을 수행한다.

따라서 이제 X=9에서 Y 값을 예측하는 것은 이 직선에서 X=9를 대입하면 끝!! 근거도 있어서 맘도 편하다.

이와 같은 방법으로 데이터를 예측하는 모델을 선형 회귀라고 하고, 이 직선의 방정식을 가설 함수라 한다.

직선 그리는 것도 각양각색

위의 그림에서 직선의 모양, 즉 가설 함수에 따라서 X=9일 때 예측값 Y의 값이 달라짐을 알 수 있다.

따라서 대표하는 직선을 어떤 기준으로 그릴 거냐는 문제가 발생한다.  

위의 그림에서 d는 원래 데이터의 값 y1과 예측값 H(x1)의 거리를 의미한다.

H(X)의 함수식 Θ1, Θ0에 따라서 d값이 달라질 것이며 어떤 점에 대해서는 너무 멀고 

어떤 점에서는 너무 가깝지 않는, 즉 분산이 최소가 되는 값을 구하여야 한다.

이 때 d값의 분산을 Cost Function이라 하고 Cost Function 최소가 되는 Θ1, Θ0를 구하는 것이 목표이다.

산을 타고 내려갑니다.

위의 그래프는 Θ에 따른 cost(Θ)의 변화이다. 앞서 말했듯이 우리가 원하는 것은 

cost(Θ)을 최솟값으로 만드는 Θ값을 구하는 것이다.

이때 사용하는 알고리즘이 Gradient descent이다. 쉽게 말해서 산타고 내려가는 것!! 

Θ를 일정한 양만큼 계속 줄여가면서 바닥으로 내려가는 것인데 만약 바닥이라면 기울기가 0이 되므로

위의 박스친 편미분 부분이 0이 되어 더 이상 감소하지 않는다. 

그리고 위의 식에서 α을 Learning rate라고 한다. α의 값은 개발자가 직접 설정해야 한다.

만약 α값이 너무 크면 바닥까지 내려오지 않을 수도 있고, α값이 너무 작으면 반복하는 횟수가 증가한다.

따라서 α값을 변형하면서 적절한 값을 찾는 것이 중요하다.

2. Tensorflow 구현

소스 코드 

결 과