tokenizer checkpoint 관련

[joonhyung-lee]

안녕하세요.

저는 emotion classification 관련해서 공부하고 있습니다.
다름이 아니라, 본 repo에서 소개해주신 것과 동일하게 코드를 수행하였으나 에러가 발생하여 문의글 남깁니다.

from transformers import BertModel
from tokenization_kobert import KoBertTokenizer

model = BertModel.from_pretrained('monologg/kobert')
tokenizer = KoBertTokenizer.from_pretrained('monologg/kobert')

The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization. 
The tokenizer class you load from this checkpoint is 'BertTokenizer'. 
The class this function is called from is 'KoBertTokenizer'.

위와 관련해서, 해결할 수 있는 방법을 말씀해주시면 감사하겠습니다.

감사합니다.