10월 22일(금) 멘토링 강의 내용

[InChil2]

미세조정 관련

[seuly1203]

BERT 활용해서 할 수 있는 세 가지 태스크

1. 슬롯태깅

• input: "아이유 노래 듣고 싶어"
• output: 의도 - 가수 이름으로 노래 요청, 슬롯 - {'가수':'아이유'}

2. 의도분류

3. 질의응답

• 질문과 답변이 가능한 컨택스트를 인풋으로 넣어줘야 함
• 질문과 답변을 분리해주는 SEP(seperation) 토큰 필요

• pretraining model

• 텍스트를 (의미를 포함한) 숫자로 바꿔주는 역할 (벡터화)
• 빈칸채우기, 문장 순서 맞히기(CLS 토큰이 문장 전체를 표현할 수 있도록 훈련) 수행하는 분류 모델

• 미세조정

• 토큰 행렬 *슬롯 행렬의 내적을 한 결과값 행렬에 softmax 함수를 적용
• 원하는 답에 가까운 확률이 나올때까지 가중치를 조정해나가는 과정

기획 시 주의사항:

• 데이터 만들때 태깅이 늘어나면 작업해줄 양이 많아지고 모델이 복잡해지기 때문에 멘토분들은 20개 정도를 추천