R Console을 이용한 워드 클라우드 (word cloud) / KoNLP 오류 해결

 

Ooops ! (^^ゞ

 

ㅋㅋ 알고보니 이땐 오타였다;;

 

학교 과제로 워드 클라우드를 만들어야 하는데
위처럼 install.packages("KoNLP") 에러가 났다.

✓ extractNoun() 함수도 KoNLP에서 제공하는 함수

알아보니 현재 「KoNLP가 R 서버에서 삭제된 상황이라
직접 수동 설치를 해야만 사용할 수 있다」는 소식 접수 !

여러 사이트를 참고해서 워드 클라우드 일대기를 적어볼 예정
만약 이것저것 구글링 했는데 안 된다면 이것도 한 번 시도해보길⁕

+)

install.packages(패키지명)
: 패키지 설치 명령어

library(패키지명)
: 이미 설치된 패키지 불러오는 명령어

---

• 먼저 jar 파일 경로대로 추가하기

scala-library-2.11.8.jar

5.48MB

⇨ 먼저 해당 파일을  C:\Program Files\R\R-4.3.3\library\KoNLP\java 폴더에 쏙 넣는다.

 

• multilinguer 패키지 설치, 로드

⇨ R에서 다국어 처리를 위한 환경 설정
(특히 한국어 처리를 위한 Java 환경 설정에 유용)

 

• rJava 패키지 설치, 로드

⇨ R과 Java 간 인터페이스 제공
(KoNLP 같은 한국어 처리 패키지는 Java 기반 한국어 처리 엔진을 사용해서 꼭 필요)

 

• jsonlite 패키지 설치, 로드

⇨ JSON 데이터 처리하는 패키지로 R에서 JSON 형식 데이터 읽고 쓰는 기능 제공
(type="source" 옵션 : 패키지를 바이너리가 아닌 소스 코드로부터 직접 컴파일 해 설치하란 의미)

 

바이너리 파일 • 컴퓨터에서 직접 실행 가능한 형태 • 소스 코드를 컴파일 하여 생성된 파일 • 사용자는 해당 파일을 직접 실행해 프로그램 사용 가능 소스 코드 • 프로그램을 구성하는 코드 자체 • 사람이 읽고 이해 가능한 텍스트 형태 • 컴퓨터가 실행하도록 하려면 바이너리 형태로 변환할 컴파일 과정 필수

 

• KoLNP 설치, 로드

한글 자연어 처리

⇨ 한국어 자연어 처리를 위한 패키지

1. 특정 저장소( https://forkonlp.r-universe.dev )로부터 "KoNLP" 패키지 설치
2. KoNLP 패키지와 의존성 패키지까지 함께 설치
3. --no-multiarch : 아키텍처 (예: 32bit vs 64bit) 관계 없이 설치

 

• useSejongDic() / useNIADic()

⇨ useSejongDic() : KoNLP 패키지 내의 함수 (세종 사전 사용을 위함)
≫ 한국어 자연어 처리 시 세종 사전을 기전으로 한국어 분석 가능 !
⇨ useNIADic() : 이 또한 한국어 텍스트 마이닝에서 사용되는 함수

 

✉︀ 기본 세팅 명령어 정리

> install.packages("multilinguer")
> library(multilinguer)

> install.packages("rJava")
> library(rJava)

> install.packages("jsonlite", type ="source")
> library(jsonlite)

> install.packages("KoNLP", repos = "https://forkonlp.r-universe.dev", dependencies = TRUE, INSTALL_opts = c("--no-multiarch"))
> library(KoNLP)

> useSejongDic()
> useNIADic()

 

---

• wordcloud, RColorBrewer 패키지 로드

⇨ RColorBrewer 패키지가 wordcloud를 통해 자동 로드 되었지만, 한 번 더 명시적 로드
⇨ "Accent" 이름의 색상 팔레트에서 8가지 색상을 pal 변수에 할당 (단어 색 표현 시 사용)

 

R Color Brewer's palettes

 

• setwd(), readLines()

setwd() : R의 작업 디렉토리 설정
⇨ 매번 파일 경로 전체를 직접 입력하지 않고 파일에 접근 가능

readLines() : 텍스트 파일 줄 단위로 읽어들이는 함수
⇨ 파일에서 모든 텍스트 줄을 문자열 벡터로 반환

 

• stringr 패키지 설치, 로드

⇨ 난 이미 설치했지만, 앞으로의 함수 사용을 위해 설치, 로드하도록 하자.

 

• str_replace_all() 

stringr 패키지에서 제공되는 함수 (아래 코드블럭에 정리 有)

① 1글자~2글자로 이루어진 모든 단어 공백("")으로 대체

② 중국어 문자 모두 제거

③ 일반 텍스트와 공백을 제외한 모든 특수문자 및 기호 제거

⇨ 알파벳, 숫자, 밑줄 문자(_), 공백 문자 제외 모든 문자 제거

 

• gsub()

R에서 기본적으로 제공되는 함수
str_replace_all 과 비슷한 기능

⇨ 모든 줄바꿈 문자 제거 (텍스트를 한 줄로 만들기 위해 사용)

 

• sapply(), extractNoun()

⇨ data5의 각 요소에 대해 extractNoun 함수로 명사만 추출
⇨ sapply() 함수는 벡터 혹은 리스트 각 요소에 함수 적용 후 결과를 벡터 혹은 리스트로 반환
⇨ USE.NAMES=F는 결과 벡터에 이름을 사용하지 않도록 함

 

•  unlist()

⇨ unlist()는 리스트 모든 요소를 연결해 하나의 벡터로 만듦
⇨ data6에서 생성된 리스트를 단일 벡터로 변환

 

• 문자의 개수가 2개 이상인 요소만 필터링

⇨ nchar(x)는 문자열 x의 길이(문자 개수) 반환

 

• 1글자 또는 2글자로 이루어진 모든 숫자를 제거

⇨ 2017은 상관 없지만 "10" 같은 두 글자 숫자를 제거하고자 한다

그럼 아까 사용했던 str_replace_all()을 사용하면 되지 않을까?

 

어디갔어.. .. .. 

이럴 때는 gsub()을 쓰자!

⇨ "10" 이 사라졌다!

 

• 원하지 않는 키워드 선택 제거

⇨ stopwords 변수에 원하지 않는 키워드를 담아뒀다.

⇨ 좀 많이 없앴다

 

• nzchar()

nzchar 함수는 문자열의 길이가 0이 아닌지 여부를 논리값으로 반환

⇨ data9에서 길이가 0이 아닌(즉, 빈 문자열이 아닌) 요소만을 선택

 

• data를 txt 파일로 저장

 

+) speech.txt 와 speech2.txt 상태 비교

speech

speech2

 

• read.table()로 txt 읽고 공백 제거

 

• 단어별로 count 하기

 

• wordcloud(), 드디어 워드 클라우드 생성 ☁️

 

wordcloud() 함수의 옵션에 대한 설명

• names(wordcount) : 단어 목록

• freq=wordcount : 각 단어의 빈도

• scale=c(5,1) : 단어 크기의 범위를 설정
⇢ 5는 가장 빈도가 높은 단어의 최대 크기, 1은 가장 낮은 빈도의 단어의 최소 크기

• rot.per = 0.1 : 단어를 회전시킬 비율을 설정
⇢ 0.1은 약 10%

• min.freq=1 : 표시할 단어의 최소 빈도를 설정
⇢ 1은 빈도가 1 이상인 단어만 표시됨

• random.order=F : 단어를 무작위 순서로 표시할지 여부를 결정
⇢ F(False의 약어)는 빈도가 높은 단어부터 순서대로 표시됨

• colors=pal : 단어의 색상을 설정
⇢ 초반에 설정해 둔 팔레트

 

✉︀ 워드 클라우드 생성 명령어 모음

> library(wordcloud)
> library(RColorBrewer)
> pal <- brewer.pal(8, "Pastel2")
> pal

> install.packages("stringr")
> library(stringr)

> setwd("c:/uploadFiles")
> data <- readLines("speech.txt")

> data2 <- str_replace_all(data, "\\b\\w{1,2}\\b", "")

> data3 <- str_replace_all(data2, "[\u4e00-\u9fff\u3400-\u4DBF]", "")

> data4 <- str_replace_all(data3, "[^\\w\\s]", "")

> data5 <- gsub("\r\n", "", data4)

> data6 <- sapply(data5, extractNoun, USE.NAMES=F)

> data7 <- unlist(data6)

> data8 <- Filter(function(x) {nchar(x) >= 2}, data7)

> data9 <- gsub("\\b\\d{1,2}\\b", "", data8)

> stopwords <- c("제거하고자 하는 단어1", "단어2" ...)

> for (word in stopwords) {
  data9 <- gsub(paste0("\\b", word, "\\b"), "", data9)
}

> data10 <- data9[nzchar(data9)]

> write(unlist(data10), "speech2.txt")

> wordlist <- read.table("speech2.txt")

> wordcount <- table(wordlist)

> wordcloud(names(wordcount), freq=wordcount, scale=c(5,1),rot.per = 0.1, min.freq=1,random.order=F, colors=pal)

 

♥ 내가 제거한 단어

stopwords <- c("위대", "여러분", "있습니", "첫걸음을내딛습니다", "하지", "갈청", "막중", "들이", "불구", "위해", "심심", "만들기", "젊은이들", "치열", "드립", "각지", "대통령의", "오늘", "바로그", "시작하겠습니", "잘못된", "새로워지겠습니", "소불", "사안", "나누겠습니", "은대", "위의", "일하겠습니", "되겠습니", "동분서주하겠습니", "제가", "한편으로사드", "안보는막강한", "하기", "자주국방", "비롯", "진지", "마련", "토대", "북핵문", "정착시킴으로써한반도", "마련하겠습니", "순간", "진정", "말씀", "소명", "추구", "감내", "구시대", "참모", "진정", "눈높이", "평양", "튼튼", "중국", "통령", "하면", "제", "하겠습니", "등용", "대화를정례화하고", "브리핑", "퇴근", "안팎", "앞장서겠습니", "맡기겠습니", "만나겠습니", "대원칙", "무엇", "역사가", "보답하겠습니", "그것", "사는대통령이", "남겠습니", "불리", "않겠습니", "만들겠습니", "통치하", "만드는역사가", "장치", "모두", "선대", "패자", "계속", "필요", "머리", "전기", "사진", "외면", "결별", "여부", "조성", "종식", "통합", "사는대이", "권력기관", "반칙", "기관", "대토론회", "퇴임", "전국", "질문", "하나", "이득", "잘못", "우리", "좌절", "탄핵", "청산", "여건", "구조", "불행", "빈손", "평범", "평가", "큰소리", "신명", "강력", "소외", "불가능", "군림", "문제", "갈등", "모색")

---

참고 사이트

https://rjcoding.tistory.com/2

R을 이용한 한글 텍스트 마이닝: 자연어처리(KoNLP) + 워드 클라우드(wordcloud)

https://bigdatapy.tistory.com/entry/R-%EC%9B%8C%EB%93%9C-%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9Cword-cloud-%EB%B6%84%EC%84%9D-%EA%B2%B0%EA%B3%BC-%EB%A7%8C%EB%93%A4%EA%B8%B0

R 워드 클라우드(word cloud) 분석 결과 만들기

 

이거 말고도 엄청 많이 찾아봤는데 기억 안 남..
그냥 내가 해결한 방법대로 정리해서 기록해 봄!
어쨌든 다들 행운.. 𓋼𓍊