[Python] 워드클라우드 (with 카톡 대화)

rGithub > https://github.com/ssooni/data_mining_practice

- 자세한 소스코드는 Github에 올렸습니다.

- 데이터 파일도 올려 드리고 싶지만 실제 카카오톡 대화내용이라 일부분만 올렸습니다.

- 소스코드는 짬짬히 업로드할 예정입니다.

이전 시리즈

1. 형태소 분석기 Kkma 적용하기

카카오톡 시리즈의 2번째로 워드클라우드를 만들어 보았습니다.

이전 시간에서 만들었던 명사 추출 결과를 사용하여 워드클라우드를 그릴 것입니다.

 

1. 단어의 빈도 수를 측정  

워드클라우드에서 글자 크기를 정하는 기준을 저는 단어의 빈도수로 결정하였습니다. 

특정 컬럼을 그룹으로 하여 집계하는 방법은 pandas에서 간단하게 구현이 가능합니다.

mwordcloud.py

def draw_wordcloud(kkma_result):
    # List로 되어있는 열을 Row 단위로 분리
    tokens = pd.DataFrame(kkma_result["token"].apply(lambda x: ast.literal_eval(x)).tolist())
 
    tokens["Date"] = kkma_result["Date"]
    tokens["Speaker"] = kkma_result["Speaker"]
    tokens["timetype"] = kkma_result["timetype"]
    tokens["time"] = kkma_result["time"]
    tokens["contents"] = kkma_result["contents"]
    
    tokens = tokens.set_index(["Date", "Speaker", "timetype", "time", "contents"])
    tokens = tokens.T.unstack().dropna().reset_index()
 
    tokens.columns = ["Date", "Person", "time_type", "time", "sntc", "index", "token"]
    print(tokens.head())
 
    # 빈도수 집계
    summary = tokens.groupby(["token"])["index"].count().reset_index()
    summary = summary.sort_values(["index"], ascending=[False]).reset_index(drop=True)
 
    """ 이하 생략 """ 

모든 소스코드는 GitHub를 참조바랍니다.

제가 정의한 draw_wordcloud()는 집계를 하고 빈도수가 많은 순서대로 정렬한 후 워드클라우드를 생성합니다.

line 2-15

시리즈 1의 결과를 보면 token 컬럼 안에 리스트로 토큰들을 저장하도록 구성되어 있습니다. 

이렇게 구성되어 있으면 분석하기 상당히 불편하므로 리스트 안에 있는 원소를 풀어서 새로운 행을 구성하는 것이 line2 - 14 입니다.

만약 시리즈를 이어서 하는 것이 아니라면 line 2-14번은 생략하셔도 됩니다.

line 18 - 19

pandas.DataFrame의 groupby는 특정한 컬럼을 그룹으로 묶어줍니다.

그리고 그룹을 대상으로 min(), max(), count()등의 집계함수를 제공합니다. 

이 경우에는 모든 구간에 대하여 token을 기준으로 발생한 빈도수를 집계하였습니다. 

순위를 측정하기 위해서 집계한 결과를 내림차순으로 정렬까지 완료합니다.

2. 워드클라우드  

데이터과학에서 시각화는 생각보다 큰 비중을 차지하는 분야입니다. 

어떻게 보여줘야 분석에 용이하고 데이터 분석결과를 받아 드리는 사람들이 쉽게 받아 드릴수 있기 때문입니다.

측정한 빈도수를 기반으로 Line나 막대 그래프도 그릴 수 있습니다만, 몇 번 나왔는지에 큰 의미를 두지 않는다면 빈도수는 TMI가 될 수 있습니다.

키워드에만 집중하기 위한 시각화 표현 기법으로 주로 워드클라우드를 사용합니다.

그리고 Python의 WordCloud 모듈은 개발자들에게 쉽고 빠른 방법으로 워드클라우드를 생성하는 것을 도와줍니다.

>> pip install wordcloud

워드클라우드 모듈을 설치가 완료되었다면 이제 사용하는 소스 코드를 작성해 봅시다.

mwordcloud.py

def draw_wordcloud(kkma_result):
 
    """ 상단 생략 """  
 
    wc = WordCloud(font_path='./font/NanumBrush.ttf', background_color='white', width=800, height=600).generate(" ".join(summary["token"]))
    plt.imshow(wc)
    plt.axis("off")
    plt.show()

line 4

WordCloud의 generate() 함수는 공백으로 분리된 문자열 리스트를 받습니다.

그리고 가장 첫 번째의 단어를 가장 크게, 가장 마지막 단어를 가장 작게 표현합니다.

앞서 빈도 수를 기준으로 token을 정렬하였기 때문에 가장 많은 빈도 수가 나오는 문자가 가장 크게 나올 것입니다. 

아래 그림처럼 말이죠.

 

카카오톡은 이모티콘과 사진, 동영상을 전송한 채팅 기록에 대하여는 (이모티콘) 이런 식으로 저장하니까 이모티콘과 사진이 압도적으로 많이 나오는 걸 볼 수 있습니다.

3. 특정 단어를 제외하자  

정말 직업으로 이모티콘을 개발하는 사람끼리 얘기하는 것이라면 이모티콘 단어가 큰 의미로 받아 지겠지만, 그냥 개발자와 그 여자친구간에 얘기에서 이모티콘은 큰 의미가 있는 단어는 아닙니다.

이번 단계에서는 노이즈라고 생각하는 단어들을 제외하는 과정을 진행해서 유효한 단어들만 보여주고 싶습니다.

mwordcloud.py

def get_except_keyword(filename):
    keyword_list = list()
    with open(filename, encoding='utf-8') as f:
        for keyword in f.readlines():
            keyword_list.append(keyword.strip())
    print(keyword_list)
    return keyword_list
 
def draw_wordcloud(kkma_result):
 
    """ 상단 생략 """
    
    # 특정 단어 필터링
    except_keyword = get_except_keyword("./raw_data/except_word.txt")
    summary = summary[summary["token"].apply(lambda x: x not in except_keyword)]
    summary = summary[summary["token"].apply(lambda x: len(x) > 1)]
 
    wc = WordCloud(font_path='./font/NanumBrush.ttf', background_color='white', width=800, height=600).generate(" ".join(summary["token"]))
    plt.imshow(wc)
    plt.axis("off")
    plt.show()
 

./raw_data/except_word.txt 에는 아래와 같이 제외하고자 하는 단어들의 리스트가 저장 되어있습니다.

./raw_data/except_word.txt

line 14 - 16

get_except_word() 함수에서 해당 파일을 읽어서 리스트 형태로 제외 문자열을 가지고 있습니다.

line 15에서 해당 문자열 리스트 안에 token이 포함되어 있으면 제외하는 로직이 적용됩니다.

그리고 추가적으로 line 16에서 token의 글자 수가 1개인 경우도 제외하였습니다.

아까보다는 저한테는 필요한 것이 나오긴 했지만, 좀 더 필터링을 한다면 더 좋을 거 같아요.

근데 사각형 너무 식상하지 않나요?

4. 워드클라우드 Mask 적용

Mask를 적용하면 워드클라우드가 이미지에 따라서 맞춰서 단어를 배열해 줍니다. 

바탕색이 투명한 PNG 파일을 하나 준비합니다.

저는 여자친구가 좋아하는 데덴네 이미지를 하나 준비하였습니다.

mwordcloud.py

from PIL import Image
 
def draw_wordcloud(kkma_result):
 
    """ 상단 생략 """
    
    denne_mask = np.array(Image.open("./font/denne.png"))
 
    wc = WordCloud(font_path='./font/NanumBrush.ttf', background_color='white', width=800, height=600, mask=denne_mask).generate(" ".join(summary["token"]))
    plt.imshow(wc)
    plt.axis("off")
    plt.show()
 

 

line 7

마스크로 사용할 이미지를 읽어서 Numpy.Array로 저장합니다. 

line 9

WordCloud 생성자에 mask 파라미터에 line 7에 만들어 둔 마스크를 넣어 줍니다.

 

실행한 결과입니다. 

원하는 이미지를 사용해서 적용해 보는 것이 좋을 거 같아요.

다음 시리즈는 Word2Vec을 적용해본것을 올려 볼까 합니다.

전체적인 소스코드는 GitHub를 참조하시고, 궁금한 사항이 있으시면 댓글 달아 주시면 최대한 빨리 답변드리겠습니다.

긴 글 읽어주셔서 감사합니다.

공감버튼은 작성자에게 큰 동기부여가 됩니다.