10월 20일(수) 멘토링 강의 내용

[InChil2]

자연어처리 와 BERT

자연어

• 정의 : 사람들이 일상적으로 쓰는 언어
  ( 한국어, 영어, 중국어, 프랑스어,,,,)

• 인공 언어
  다양한 프로그래밍 언어 ( Python, C,,,,)

자연어 처리
일상적으로 사용하는 자연어를 해독하고 그 의미를 이해하게 하는 기술
영상 처리와 더불어 인공 지능의 대표적인 연구분야

NLU : 자연어이해
NLG : 자연어생성

자연어의 벡터 표현

원핫 벡터

• 단어 개수에 맞는 벡터 차원 ( 단어가 많아지면 차원, 메모리 부족 등의 문제 발생 )
• 대부분 0
• 벡터 값 자체에 의미가 없다
• Python (원 핫 인코딩과 비슷한 방식)

워드 임베딩

• 단어 개수와 상관 없는 벡터 차원
• 모든 벡터 값이 의미가 있음
• 단어 간의 유사도를 구할 수 있음
• ex) word2vec

BERT

• 자연어 이해(NLU)를 위함
• 문맥을 파악한 Embedding
• 사전학습, 미세조정의 한 단계
• 기존의 word embedding은 주변의 단어들을 파악하지 못했다 (문맥을 파악하지 못함)
• 동일한 단어라도, 그 주위의 문맥에 따라 다른 이해
• 기존 = 동형이의어에 대해서 동일한 embedding
• (bass : 베이스 - bass : 물고기 베스)가 같은 단어로 embedding됨
  Transformer의 transattention을 통해 문맥을 파악
• 같은 bass여도 다른 벡터 값을 가지게 된다

사전학습(pre-training)

• Bert 모델이 대용량 코퍼스를 기반으로 언어 전반에 대해서 이해(학습)하는 과정
  ex) 책을 많이 읽는 과정
• 대용량 코퍼스를 스스로 라벨링하는 self-supervised
  -MLM ( masked language model )
  -NSP ( next sentence prediction )

미세조정(fine-tuning)

• 사전학습된 Bert 모델을 기반으로 수행하고자 하는 목적대로 추가적인 훈련 진행
• 의도분류
• 질의응답
• 슬롯태깅 등
• 사전훈련과는 별개의 훈련 과정, 각 작업에 알맞은 라벨링된 데이터 준비가 필요

라벨링이 key point