[ 자연어 처리 ] 해당 자료를 참고하여 재작성하였습니다 wikidocs.net/31766 이번 포스팅은 단어에 정수 인덱스를 부여해주는 [정수 인코딩] 작업을 에 대해 포스팅을 하도록 하겠습니다 단어에 정수를 부여하는 경우는 아래 등과 같은 경우가 있습니다 - 단어의 빈도수를 확인할때 - 단어의 빈도수 순으로 차례로 낮은 숫자부터 부여할때 정제 & 토큰화 우선 작업전 토큰화와 불용어들을 제거를 통해 불필요한 텍스트를 제거 해줍니다. [불용어 리스트는 https://mr-doosun.tistory.com/24 링크에 리스트를 사용하였습니다] from eunjeon import Mecab from nltk.tokenize import word_tokenize mecab = Mecab() # 형태소 분석기 ..

[ 자연어 처리 ] 해당 자료를 참고하여 재작성하였습니다 wikidocs.net/22530 이번 포스팅은 자연어처리를 하다보면 필요없는 단어가 있을겁니다 필요없는 단어를 불용어(Stopword) 라고 합니다 불용어를 제거하는 작업을 진행하겠습니다. 설치 아래와 같은 코드를 입력하여 nltk 불용어 리스트 데이터를 설치합니다. import nltk nltk.download('stopwords') 영어 불용어 리스트 확인 아래와 같은 코드를 입력하여 영어 불용어리스트를 불러올 수 있습니다. from nltk.corpus import stopwords print(stopwords.words('english')) ['i', 'me', 'my', 'myself', 'we', 'our', 'ours', 'ourse..

[ 자연어처리 ] 해당 자료를 참고하여 작성하였습니다 https://wikidocs.net/21698 이번에는 KoNLPy가 아닌 NLTK를 이용하여 토큰화를 해보도록 하겠습니다 우선 NLTK를 사용하기전 설치를 먼저해줍니다 설치 pip를 이용하여 NLTK 를 설치하면 됩니다. pip install nltk 그 후 아래와 같은 코드를 입력하셔서 nltk의 데이터를 설치해주시면됩니다 import nltk nltk.download('treebank') 만약 treebank데이터가 아닌 다른 데이터를 설치하고 싶으실경우 아래와 같은 코드를 입력하시면 데이터를 설치할수있는 NLTK 다운로더가 나타납니다 여기서 원하시는 데이터를 설치해주시면 됩니다 import nltk nltk.download() 토큰화 from..

[ 자연어처리 ] 해당 자료를 참고하여 작성하였습니다 http://konlpy.org/ko/v0.4.3/morph/ KoNLPy패키지에는 Hannanum, Kkma, Komoran, Mecab, Okt(Twitter)등의 클래스들이 있습니다 이번 포스팅은 클래스들간 품사 태그 비교를 하고 각 클래스들간 사용방법을 설명해드리겠습니다 Hannanum Class 해당 클래스는 KAIST SWRC(Semantic Web Research Center)에서 개발하였습니다 from konlpy.tag import Hannanum hannanum = Hannanum() print(hannanum.analyze(u'롯데마트의 흑마늘 양념 치킨이 논란이 되고 있다.')) >>> [[[('롯데마트', 'ncn'), ('의'..

[ 자연어처리 ] 해당 자료를 참고하여 작성하였습니다 http://konlpy.org/ko/v0.4.3/install/ KoNLPy KoNLPy(코엔엘파이)는 한국어 정보처리를 위한 파이썬 패키지입니다 패키지안에는 다양한 API(클래스)들이 존재합니다 각 API에 대한 상세 사용방법과 각 API를 비교한 자료는 따로 포스팅을 하도록하겠습니다. ※ KoNLPy의 Mecab() 클래스는 윈도우에서 지원되지 않습니다 이런분들에게 추천드립니다 NLP(자연어처리)를 하고 싶은데 어떻게 시작해야될지 모르시는분들한테 추천드립니다 우선 KoNLPy 사용하기전 환경세팅을 해줘야합니다 Java 1.7+ 설치 JAVA_HOME 환경변수 설정 JPype1(>=0.5.7) 다운 받은 후 pip를 이용하여 설치 KoNLPy 설치..

[ 팀 프로젝트 ] 제가 고등학교 1학년 2학기 때, 교내에서 진행하는 학생들이 개발한 소프트웨어 발표회가 있었습니다. 그때 선배들이 만든 '스마트 미러'라는 작품을 보았습니다. 생김새는 일반 거울과 같으나, 거울과 AI스피커 기능을 합친 기능을 가지고 있었습니다. 당시에는 신기하기도 하였고 멋져 보여서 꼭 만들 거라는 생각을 가지고 있었습니다. 그리고 때마침 학교 수행평가로 리눅스를 이용한 프로젝트를 제출하라고 하여서 이번 기회에 친구 한 명과 같이 2인 1팀으로 스마트 미러 프로젝트를 진행했습니다. ps. 저는 이 프로젝트를 처음 진행하면서 Python이라는 언어를 이용하며, 지금까지 주요기술 언어로 Python을 이용하고 있습니다. 해당 프로젝트는 라즈베리파이와 학교에 남는 자원인 TV를 이용하여 ..