navermoviereview

[Classification] Naver Movie Review Sentiment Classification Using Setencepiece

프로젝트 Github: https://github.com/vg-rlo/aiffel-nlp-projects/tree/master/SetencePiece 네이버 영화 리뷰 감정 분류기 네이버 영화 리뷰 데이터를 바탕으로 긍정/부정으로 감정 분류를 하는 프로젝트입니다. 이전에는 단순히 Mecab과 같은 라이브러리를 활용해서 분류모델의 입력 데이터를 위한 토크나이징을 진행했습니다. 이번에는 Setencepiece를 활용해서 품사 태깅 데이터를 기반으로 토크나이저를 학습하고 저희 학습데이터에 부가적인 전처리 없이 분류 모델을 학습시켰습니다. Tokenizer Tokenizer의 종류 공백 기반: split 함수 형태소 기반: Konlpy(Mecab, Okt) 등.. Subword 기반: Sentencepiece ..