학교에서 간단하게 배운 R로 일상생활에서 무엇을 해 볼 수 있을까? 고민하다가
"그 동안 여자친구랑 했던 카톡들 중에 어떤 말이 가장 많았을까?" 하는 궁금증에 야심차게(?) 수행해보았다.
1. 데이터 수집
컴퓨터 버전 카카오톡에서 [Ctrl + S]를 누르면 이 때까지 상대방과 대화하였던 내용을 .txt파일 형태로
저장시켜준다. 그 후 R의 Working Directory 위치에 이 txt파일을 옮겨준다.
이제 파일을 열어보면....
허.. 완전 추위에 오돌오돌 떨던 시절의 대화부터 저장되어있다.. txt파일이 12.6MB라니...
양이 방대한지라 분석하는데 오래 걸리길래 7월부터 현재까지 대화내용을 분석해 보기로 했다.
2. 데이터 정제
우선 한글과 워드클라우드로 출력하기 위한 라이브러리를 설치한다.
1 2 3 4 5 6 7 8 9 10 | install.packages("KoNLP") install.packages("wordcloud") install.packages("RColorBrewer") install.packages('httr') library(KoNLP) library(wordcloud) library(RColorBrewer) library(stringr) useSejongDic() | cs |
7월부터 현재까지의 대화내용은 kakao1.txt 파일에 저장되어 있다.
특수문자나 숫자, 분석에 필요없는 내용에 대하하여 삭제를 해주는 과정이 필요하다.
data1 <- str_replace_all(data1, "[^[:alpha:]]", "") 에서 이 과정을 처리한다.
각 종 게임 아이템 주고 받을 때마다 나오는 메세지 내용을 삭제하고 ㅋㅋ, ㅎㅎ, ㅠㅠ 등등을
gsub("대체당할 문자", "대체 하고자하는 문자", 변수)를 활용하여 제거해준다.
(우리는 프랜즈팝을 즐겨해서 프랜즈팝이 온데간데 등장한다)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | data1 <- readLines("kakao1.txt") data1 data1 <- gsub("손찬호", "", data1) data1 <- gsub("여보♥", "",data1) data1 <- str_replace_all(data1, "[^[:alpha:]]", "") data1 <- gsub("부끄럽지만.. 내 (하트)받아주면 안될까?(아잉)", "", data1) data1 <- gsub("어디서 났냐고 다들 물어봐~", "", data1) data1 <- gsub("뭘좋아할지몰", "", data1) data1 <- gsub("단준비한선물", "", data1) data1 <- gsub("님의 핫한 (선물)", "", data1) data1 <- gsub("ㅋ", "", data1) data1 <- gsub("ㅠ", "", data1) data1 <- gsub("ㅜ", "", data1) data1 <- gsub("ㅎ", "", data1) data1 <- gsub("오전", "", data1) data1 <- gsub("오후", "", data1) data1 <- gsub("이모티콘", "", data1) data1 <- gsub("월요일", "", data1) data1 <- gsub("화요일", "", data1) data1 <- gsub("수요일", "", data1) data1 <- gsub("목요일", "", data1) data1 <- gsub("금요일", "", data1) data1 <- gsub("토요일", "", data1) data1 <- gsub("일요일", "", data1) data1 <- gsub("년", "", data1) data1 <- gsub("월", "", data1) data1 <- gsub("일", "", data1) write(data1,"kakao_1.txt") # 정제한 결과 저장 | cs |
3. 데이터 분석
어느 정도로 필터링이 완료되면 이제 이것들의 갯수를 새어주는 코드를 작성한다.
이 때 2글자 이상의 단어만 카운트가 되도록 하였다.
1 2 3 4 5 6 | data2 <- readLines("kakao_1.txt") data2 <- sapply(data1, extractNoun, USE.NAMES = F) data3 <- unlist(data2) data3 <- Filter(function(x){nchar(x)>=2}, data3) wordcount <- table(data3) wordcount | cs |
4. 워드클라우드로 표현하기
이제 집계된 결과를 기반으로 워드클라우드를 만들어 본다.
1 2 3 4 5 | a <- head(sort(wordcount, decreasing = T), 30) palete <- brewer.pal(9, "Set2") wordcloud(names(a), freq = wordcount, scale=c(150,0.5), rot.per = 0.25, min.freq = 1, random.order = F, random.color = T, colors = palete) | cs |
5. 결 과
7월 달에 여자친구가 시험때문에 같이 한숨을 많이 쉬었던지라 ㅋㅋㅋ 에휴가 1등이다 ㅋㅋㅋ
그외에도 곡성을 보고나서 뭐시중헌디 뭐시중헌디 거렸던것이 임팩트가 있었나보다..ㅋㅋ
차후에 다른 그래프로도 표현을 해보고 매달마다 자동적으로 분석해주는 프로그램을 만들어보고 싶다.
'Data Mining' 카테고리의 다른 글
| [Python]pyplot으로 데이터 가시화하기 (1) | 2017.04.08 |
|---|---|
| [Data Mining] k-NN 알고리즘 (1) | 2017.04.02 |
| [Tensorflow]선형 회귀(Linear Regression) (0) | 2017.03.07 |
| [R프로그레밍] 카카오톡 워드클라우드 (with 자바, 이클립스) (0) | 2016.10.02 |
| [R프로그래밍] R과 이클립스를 연동해보자 (0) | 2016.10.01 |
