10월 25일(월) 멘토링 강의 내용

[hharimjung]

기획서 수정 관련

• 기획서 수정 요구되는 사항은 없음
• 휘핑크림이나 온도는 명사형태가 아니기때문에 슬롯으로 활용할 때 ,
  ex)휘핑크림 올려주세요. 를 어떻게 토큰화할것인가
• 휘핑크림, 온도같이 표현이 불명확한 슬롯에 대해서 어떻게 구체적으로 표현하고 반영할 것인지에 대한 해결방안이 있다면 활용 가능할 것.
• 슬롯 종류 추천 : 음료 종류, 온도(핫/아이스), 사이즈, 시럽, 수량

데이터 구축 필요

• 해야 할 일 : 에트리 모델 신청하기. 기획안 수정하기. 데이터를 기획하고 만들기. 기계적인 데이터 증강.

• 데이터 만들 때 주의할 점

1. 데이터의 분포를 고르게 한다.(데이터의 종류별 분량이 일정하도록)
2. 데이터 중 일부는 하나하나 공을 들여 창작하고, 나머지 일부는 코딩을 통해 기계적으로 만들어낸다.
3. 처음부터 Goo et al. 포맷을 맞추려면 어려우니 일단은 중간 단계 형태(data.txt)로 만들고, 나중에 Goo et al. 포맷으로 바꾼다.

• 문장 틀의 종류가 다양한 것도 중요함. 일정한 문장 틀만 생성한다면 갯수가 많아도 무의미할 수 있음.

• 기계적인 데이터 증강

1. 태그(슬롯) 목록을 만든다.
   ex) singer : 아이유, 소녀시대, 박효신, 김광석, …
   title : 좋은날, 소원을 말해 봐, 야생화, ,...
2. 문장 틀을 만든다(문장 틀을 최대한 다양하게 만드는 것이 중요)
   ex) 나는 /singer;{}/ 너무 좋아!
3. 문장 틀에 토큰을 끼워 넣는다.
   ex) 나는 /singer;아이유/ 너무 좋아!
   나는 /singer;소녀시대/ 너무 좋아!
   나는 /singer;박효신/ 너무 좋아!
   나는 /singer;김광석/ 너무 좋아!

토큰화(tokenization)

• 텍스트를 토큰의 기준에 맞추어 쪼개는 과정.
• 여기서 토큰의 단위는 어절, 형태소, 글자 등이 될 수 있음.
  어절이나 글자는 프로그래밍으로 간단히 분류되지만, 형태소는 하나씩 기준을 설정해주어야 함.

• 띄어쓰기도 빈 칸 토큰으로 취급 가능 / 빈 칸과 하나의 단어가 결합된 형태를 토큰으로 인식

• 한국어는 교착어이기 때문에 토큰화 과정이 중요함.
• 이번 프로젝트에서는 ETRI에서 BPE라는 알고리즘을 이용해 만든 토크나이저를 사용할 예정.
• BPE 알고리즘 : 체계적인 알고리즘은 아님. 통계적인 확률로 토크나이저를 수행함. 말이 등장하는 횟수 또는 어느 곳에서 많이 나타났는지를 기반으로 함.

토큰분류 데이터 포맷 / Goo et al.(2018)

• 두 개의 파일이 존재

1. seq.in(시퀀스 인풋) : 한 줄에 한 문장이 써있는 텍스트 파일(문장은 미리 토큰화 되어있어야 함.)
2. seq.out(시퀀스 아웃풋) : seq.in 문장의 각 토큰에 대한 태그가 써있는 파일

• GOO et al. (2018) 포맷으로 가기 전 중간 단계
  : 하나의 파일이 존재(data.txt : 한 줄에 한 문장이 존재하는 텍스트 파일)
  : data.txt = 토큰화를 하지 않은 상태. 중요 슬롯은 "슬래시 태그 세미콜론 토큰 슬래시" 형태로 표시. 해당 파일을 먼저 만들어둔 후에 파이썬 코드를 사용하여 GOO ET AL. 포맷으로 변환.
  ex) /singer;아이유/노래 좋더라.
  /title;눈의꽃/ 듣고 싶다.