https://growth-coder.tistory.com/247 [PyTorch] 긍정 리뷰, 부정 리뷰 분류하기 (1) - 개념 리뷰의 내용이 긍정적인 내용인지 부정적인 내용인지 분류를 해보려고 한다. 본격적인 구현에 앞서 이번 포스팅에서는 분류에 필요한 기본적인 용어들과 개념들에 대해서 알아보려고 한다. 토 growth-coder.tistory.com 이전 포스팅에서 기본적인 자연어 처리에 대한 개념을 공부했다. 이번 포스팅에서는 본격적으로 영화 리뷰에 대한 긍정, 부정 평가 학습을 해보자. 라이브러리 from torch.utils.data import Dataset, DataLoader from torchtext.vocab import build_vocab_from_iterator from tor..

리뷰의 내용이 긍정적인 내용인지 부정적인 내용인지 분류를 해보려고 한다. 본격적인 구현에 앞서 이번 포스팅에서는 분류에 필요한 기본적인 용어들과 개념들에 대해서 알아보려고 한다. 토큰화 (Tokenization) 토큰화는 주어진 텍스트를 토큰 단위로 나누는 작업을 뜻한다. 토큰화를 진행할 때 문자, 단어, 형태소와 같은 기준으로 나눌 수가 있고 spaCy, NLTK, mecab 등등을 사용할 수 있다. NLTK를 설치해서 토큰화를 한 후 결과를 출력해보자. import nltk from nltk.tokenize import word_tokenize nltk.download('punkt') text = 'A man is crossing the road' print(word_tokenize(text)) 출력..