[3/30] Text-to-SQL Data Collection Discusion

[nuatmochoi]

1. 프로젝트 현황

• 진행 기간: 1~2주차 데이터 수집 단계
• 대상 데이터셋 : https://huggingface.co/datasets/xlangai/spider

2. 번역 작업 중 발생 이슈

2.1. 번역 프롬프트 최적화

• 초기 프롬프트 이슈:

다음 영어 문장을 한국어로 번역해주세요. 
형식적이지 않고 자연스러운 한국어로 번역해주세요.

→ 여러 개의 선택지와 추가 설명이 포함되는 문제 발생 (ex> "가수가 총 몇 명이야?" 또는 "가수는 전부 몇 명이야?" 이렇게 자연스러운 일상 대화체로 번역할 수 있습니다.)

• 개선된 프롬프트:

다음 영어 텍스트를 한국어로 번역하세요. 자연스러운 한국어 문장 하나만 작성하고 
다른 설명이나 선택지는 제공하지 마세요. 번역 결과에 쌍따옴표를 포함하지 마세요.

→ 개선 후에도 쌍따옴표 포함 문제 있음 → pandas 등으로 후처리 예정

2.2. 기술적 고려사항

• 대용량 파일 처리 시 LFS(Large File Storage) 사용 필요
  • 포인터만 가져오지 않도록 주의

3. 데이터셋 개선 및 확장 방안

논의 결과 : 관사 등으로 인한 중복 내용을 삭제하고, 번역된 것 기반으로 augmentation 수행 예정 / 한영혼용이 들어가는 부분 또한 병렬로 dataset 확보 예정

3.1. 데이터 다양성 확장

• 스타일 다양화: polite(공적), casual(캐주얼), friendly(친근한), googling(구글 검색 말투) 등 다양한 말투/스타일로 확장
• 메타데이터 추가: SQL 난이도, 도메인(db_id에 이미 포함) 등의 정보 추가 기입
• 구조화 검토:
  • 테이블이나 컬럼 정보 추가 필요성 검토
  • 한국어 토큰별 분리 및 일치율 분석 필요성 검토

3.2. 데이터 정확도 개선

• 검증 방안:
  • 소현님이 언급하신 SQL 파일 활용? (실제 SQL 실행 결과 활용?)
  • 인간 검수 프로세스 도입 검토 (자연스러운 표현, 의미 전달 정확성)
• 지역화(Localization):
  • 미국 단위, 이름 등의 한국어화 여부 결정 필요
  • 예시:
    • "4기통 자동차들의 평균 연비(mpg)는 얼마입니까?"
    • "성이 'Smith'인 학생이 소유한 반려동물의 id를 찾으세요."
    • "AMC 호넷 스포트어바웃(SW) 차량의 가속도는 얼마입니까?"
  • 영어 관사(the, a) 등으로 인한 중복 문장 처리 방안 필요

4. 추가 데이터셋 활용 가능성

논의 결과 : Spider 데이터셋을 우선적으로 번역하고 이를 fine tuning에 활용. 이후에 기대하지 못한 성능인 경우, 추가 데이터셋 활용 검토

4.1. Kaggle WikiSQL-Korean - 링크

• 현재 WikiSQL-Korean에는 위와 같은 일부 고려사항이 적용되어 있지 않음
• 데이터 규모:
  • 훈련 데이터: 61,297개 예제
  • 검증 데이터: 9,145개 예제
  • 테스트 데이터: 17,284개 예제

4.2. AI Hub 데이터 - 링크

• 라이선스:
  • AI Hub 데이터로 학습한 모델과 서비스는 자유롭게 배포, 활용 가능
  • 영리적 판매/활용 허용 (AI Hub 데이터 사용 명시 필요)
  • 활용 방안: 데이터는 허깅페이스로 이전하지 않고 모델 훈련에만 사용하는 것이 어떨지?

5. 논의 포인트 - 역할 분담 (데이터셋 수집 과정 기간)

논의 결과 : 검수가 필요한 작업물 식별하고, 오류 개선을 반영하여 최종번역을 수행하는 파이프라인 구성 (역할 1을 먼저 수행)

역할 1: 번역 작업물 결과물 통합 조정

• 3명의 번역 작업물 통합 프로세스 설계
• 번역 일관성 확보를 위한 가이드라인 수립
• 번역 품질 평가 기준 정립
• 통합 결과물의 품질 검증 및 오류 수정
• 인간 검수가 필요한 데이터 선별

역할 2: 데이터 확장 방향성 구체화

• 다양한 말투/스타일 확장 전략 수립 (polite, casual, friendly 등)
• 지역화(localization) 가이드라인 및 적용 범위 결정
• 메타데이터(난이도 등) 추가 방안 설계
• 한국어 특성에 맞는 데이터 구조화 방안 연구
• 데이터 다양성 확보를 위한 확장 실험 수행

역할 3: 추가 데이터셋 활용 전략 수립

• 파인튜닝에 적합한 데이터 정제 파이프라인 설계
• 기존 WikiSQL-Korean 및 AI Hub 데이터 활용 방안 구체화
• AI Hub 데이터 구조 파악
• 데이터셋 포맷 통일 및 모델 학습용 데이터셋 구조 최적화