데이터 생성 및 수집 방법 소개

[jjlee6496]

LLM의 성능은 학습 데이터의 품질과 다양성에 크게 의존합니다. 좋은 데이터셋을 만들기 위해서 고려해야 할 사항에 대해서 알아봅시다.

데이터 라이센스

1. CC(Creative Commons)¹

CC는 디지털 콘텐츠의 공유와 재사용을 위한 국제 표준 라이센스 체계입니다.

• BY (Attribution): "By"는 "~에 의해 만들어진"이라는 의미로, 원작자 표시를 요구합니다.
• NC (NonCommercial): 비영리 목적으로만 사용 가능합니다.
• ND (NoDerivatives): 데이터 변경 금지를 의미합니다.
• SA (ShareAlike): 동일 조건으로 배포해야 합니다. 이는 모델 자체도 동일한 라이센스로 공개해야 한다는 의미를 내포할 수 있습니다.

CC 라이센스 종류

라이센스 종류	특징 및 조건
CC0	가장 자유로운 형태로, 저작권자가 모든 권리를 포기하고 공공 도메인으로 제공함. 제한 없이 자유롭게 사용 가능
CC BY (저작자표시)	원저작자에 대한 출처 표시를 조건으로 상업적 이용, 수정, 재배포 허용
CC BY-SA (저작자표시-동일조건변경허락)	원저작자 출처 표시 및 2차 저작물도 동일한 라이센스로 배포해야 함
CC BY-NC (저작자표시-비상업적이용)	출처 표시 필수이며 상업적 이용 불가
CC BY-ND (저작자표시-변경금지)	출처 표시 필수이며 수정이나 변경 불가
CC BY-NC-SA (저작자표시-비상업적-동일조건변경허락)	출처 표시, 비상업적 이용만 허용하며 2차 저작물도 동일 조건으로 배포해야 함.
CC BY-NC-ND (저작자표시-비상업적-변경금지)	출처 표시 필수, 상업적 이용 및 변경 불가

2. ODC(Open Data Commons)

Open Data Commons는 데이터베이스및 데이터셋에 특화된 오픈 데이터 라이센스입니다.

라이센스 종류	특징 및 조건
ODC-PDDL (Public Domain Dedication and License)	모든 권리를 포기하여 자유롭게 사용 가능함
ODC-BY (Attribution License)	출처 표기를 조건으로 자유로운 사용과 수정 허용
ODC-ODbL (Open Database License)	출처 표기 및 2차 저작물의 동일 조건 배포 의무 있음

3. 기타 주요 오픈소스 라이센스

데이터셋 구축 시에도 참고할 수 있는 대표적인 소프트웨어 라이센스는 다음과 같다.

라이센스 종류	특징 및 조건
MIT License	매우 자유로운 퍼미시브(Permissive) 라이센스로, 출처 표기 이외에 별다른 제약 없이 상업적 이용 가능
BSD License	MIT와 유사하게 자유로운 퍼미시브 라이센스로, 출처 표기 및 책임 보증 부인 등의 조건이 있음
Apache License 2.0	특허 사용을 포함하여 매우 유연한 퍼미시브 라이센스로, 상업적 이용 가능하며 소스 코드 공개 의무 없음
GNU GPL (General Public License)	강력한 카피레프트(Copyleft) 조항을 가진 라이센스로, 소스코드 공개 의무가 있으며 파생 저작물도 동일한 GPL로 배포해야 함

데이터 수집 방법

1. 웹 스크래핑/크롤링

국내 뉴스 포털, 커뮤니티, 블로그 등에서 데이터를 자동으로 추출하는 기술로, 대량의 데이터를 효과적으로 수집할 수 있습니다. 주요 도구는 다음과 같습니다²

• Beautiful Soup
• Selenium
• Scrapy
• GPT-Crawler

활용 예시

• 네이버 뉴스, 다음 뉴스 등의 기사 크롤링을 통해 최신 시사 이슈 데이터셋 구축
• 국내 블로그 및 커뮤니티에서 텍스트 데이터를 수집하여 한국어 자연어 처리 모델 훈
• 온라인 게시판에서 감성 분석 및 트렌드 데이터 구축

유의 사항

• 웹사이트 이용약관 및 robots.txt 준수
• 크롤링 속도 제한 설정으로 서버 부하 방지
• 맞춤법이 틀린 문장, 유해 표현, 가짜 뉴스 등의 필터링 방안 마련
• 국내 사이트 정책에 따른 접근 제한 및 차단 가능성 대비

2. API 활용

SNS 및 기타 서비스에서 제공하는 API를 통해 구조화된 데이터를 가져올 수 있습니다. 국내외에서 활용 가능한 대표적인 API는 다음과 같습니다:

• 소셜 미디어:
  • Twitter API
  • Facebook Graph API
  • 카카오톡 채널 API
• 검색엔진:
  • 네이버 검색 API
  • 구글 검색 API
• 전문 서비스:
  • 네이버 뉴스 API (국내 뉴스 데이터 수집)
  • Mediastack API (다양한 글로벌 뉴스 소스 제공)
  • 법률정보센터 API (국내 판례 및 법령 데이터 제공)

활용 예시

• 트위터 및 카카오톡 데이터를 활용한 한국어 감성 분석 모델 개발
• 네이버 검색 API를 이용한 트렌드 및 키워드 분석
• 국내 뉴스 데이터를 활용한 최신 시사 정보 기반 요약 모델 구축
• 한국 법률 데이터를 활용하여 법률 문서 요약 및 분석 모델 개발

유의 사항

• API 사용량 제한 및 비용 고려
• OAuth 등 인증 방식 이해 필요
• 국내 개인정보 보호법 및 데이터 사용 정책 준수

3. 공개 데이터셋 활용

이미 구축되어 공개된 데이터셋을 활용하면 시간과 비용을 절약할 수 있습니다. 국내 및 국제적인 주요 플랫폼은 다음과 같습니다.

• AI Hub: 한국어 데이터셋 포함 다양한 AI 학습용 데이터 제공
• Kaggle: 다양한 도메인의 데이터셋 제공
• Hugging Face Datasets: 다양한 모델 학습을 위한 데이터셋 모음
• Google Dataset Search: 다양한 공개 데이터셋 검색 가능
• Common Crawl: 웹 전체에서 수집한 방대한 텍스트 데이터 제공

활용 예시

• AI Hub에서 제공하는 한국어 데이터셋을 활용한 언어 모델 훈련
• Kaggle에서 제공하는 리뷰 데이터를 활용한 감성 분석 모델 학습
• Common Crawl 데이터를 사용하여 대규모 한국어 언어 모델 개선

유의 사항

• 데이터셋의 라이선스 및 사용 조건 확인
• 데이터 정제 및 전처리 필요
• 최신 데이터 유지 및 지속적인 업데이트 고려

Synthetic Data Generation

딥러닝 분야에서 데이터의 양과 품질은 항상 중요한 문제로 대두되어 왔습니다. 대규모 언어 모델(LLM)의 발전으로 실제 데이터(real-world data)의 부족 문제를 해결하기 위한 데이터 중심적 접근법으로 합성 데이터 생성(synthetic data generation)이 주목받고 있습니다. TinyStories와 Phi 시리즈에서 양질의 데이터의 중요성을 강조하며 합성 데이터셋의 가능성을 보여왔고, HuggingFace에 2025년 3월 현재 기준 합성 데이터셋 태그에 1,528개의 데이터셋이 등록되어 있습니다.

새로운 데이터셋을 밑바닥 부터 만드는 것 보다, 라벨링 되어 있지 않거나 또는 적은 수의 seed 샘플인 $\mathcal D_{sup}$ 을 활용한 데이터 증강을 수행합니다. 합성 데이터 생성 과정을 다음과 같이 표현 가능합니다:

$$\mathcal D_{gen} \leftarrow \mathcal M_p (\mathcal T, \mathcal D_{sup})$$

• $\mathcal D_{gen}$ : 최종 생성된 데이터셋
• $\mathcal M_p$ : 프롬프팅 된 LLM 모델
• $\mathcal T$ : 생성 태스크(rewriting, question answering, annotation 등)

합성 데이터는 인간이 직접 생성한 데이터의 한계(비용, 시간, 개인정보 문제 등)를 극복하면서도 모델 학습에 필요한 다양성과 품질을 제공할 수 있습니다.

데이터 생성 프로세스

LLM기반 합성 데이터 생성 프로세스는 다음 세 단계로 구분 할 수 있습니다.³

1. 생성(Generation): LLM을 활용하여 특정 도메인이나 태스크에 맞는 데이터를 생성하는 단계로, 프롬프트 엔지니어링, 다단계 생성등이 있습니다.
2. 큐레이션(Curation): 생성된 데이터의 품질을 확보하기 위한 필터링, 정제, 검증 과정으로, 인간 평가자의 개입이나 자동화된 품질 평가 메커니즘을 활용합니다.
3. 평가(Evaluation): 합성 데이터셋의 효용성과 실제 데이터와의 유사성을 측정하는 단계로, 다양한 메트릭과 벤치마크를 통해 검증합니다.

핵심 요구사항

합성 데이터를 만드는 이유는 평가지표와 align된 데이터 생성하는 것이고 고품질 데이터가 되려면 다음 요구사항을 만족해야 합니다:

• 신뢰성(Faithfulness): 생성 데이터의 논리적・문법적 일관성을 의미하며, LLM의 환각 현상이나 지식 편향으로 인한 오류를 최소화해야 합니다.
• 다양성(Diversity): 텍스트 길이, 주제, 스타일 등의 변화를 반영해 실제 데이터의 특성을 모방함으로써 과적합과 편향을 방지합니다.

이 두 요소는 현재 합성 데이터 연구의 주요 과제이며, 다양한 방법론을 통해 해결책을 모색하고 있습니다.

Generation

Prompt Engineering

LLM은 instruction-following 능력이 뛰어나기 때문에 합성 데이터를 만들기에 이점이 많습니다. 신뢰성과 다양성을 갖춘 데이터를 만들기 위해서 효과적인 프롬프트는 경험적으로 세가지 요소를 보통 포함하고 있습니다.

$$p(\mathcal{T}, \mathcal{D}) \leftarrow E(e_{task}, e_{condition}, e_{demo})$$

작업 명세(Task Specification)

LLM이 할 일을 명확하게 알 수 있도록 데이터 생성 맥락과 작업 목적을 명확히 설명합니다.

• 작업 목적, 데이터 설명, 배경 지식 등 필요한 맥락 제공
• 롤플레이, 형식 명확화, 지식 강화 등 포함 가능
• 특히 전문 용어의 복잡성과 같은 도메인 전문성이 필요한 경우 중요

프롬프트 예시:

당신은 감정 분석 데이터셋 생성을 위한 전문가입니다. 다음 형식에 맞춰 온라인 쇼핑 리뷰를 생성해주세요:
[상품 카테고리]: 전자제품/의류/가구 중 하나
[리뷰 내용]: 2-3문장의 리뷰
[감정 레이블]: 긍정/부정/중립 중 하나

조건부 프롬프팅(Conditional Prompting)

다양한 속성 조합을 통해 생성 데이터의 다양성을 확보합니다.

• 일련의 조건-값 쌍을 통해 원하는 데이터 특성을 명확히 정의
• 다양한 속성 조합으로 인공적 다양성 확보
• 생성된 데이터의 범위를 좁혀 기대에 더 부합하는 결과 도출

크게 두 부분에 집중합니다:

1. 조건 범위: 데이터 특성화에 사용되는 차원 정의

   • 초기 연구: 분류 작업의 레이블을 조건 변수로 활용
   • 최근 연구: 주제, 길이, 스타일 등 더 세분화된 속성 활용
   • 무작위 단어 포함 등 "창의적 무작위성" 도입으로 다양성 향상

2. 조건 값: 각 조건에 구체적 값 할당

   • 알려진 클래스에서 샘플링
   • 외부 지식 그래프에서 조건 인스턴스 검색
   • LLM을 활용하여 다양한 조건 값 생성
   • 개념 트리 구축으로 다양한 하위 주제 탐색
   • 프롬프트 템플릿 자체를 특별한 조건으로 활용

프롬프트 예시:

다음 조건에 맞는 뉴스 헤드라인을 10개 생성해주세요:
[주제]: 기후변화
[감정 톤]: 우려/희망/중립 중 하나를 선택
[길이]: 10-15단어
[관점]: 경제적/사회적/과학적 영향 중 하나를 선택

각 헤드라인이 서로 다른 조건 조합을 가지도록 해주세요.

맥락 내 학습(In-Context Learning)

프롬프트에 제공된 예시를 통해 LLM이 패턴을 인식하고 더 나은 데이터를 생성하도록 유도합니다. Few-shot 프롬프트가 이에 속하며, 주어진 몇개의 예시를 통해 사전 학습 단계에서 보지 못한 새로운 데이터 생성 함수를 학습 할 수 있습니다.

프롬프트 예시:

다음은 고객 서비스 대화 예시입니다:

고객: 제가 주문한 물건이 아직 도착하지 않았어요.
상담원: 불편을 드려 죄송합니다. 주문번호를 알려주시면 배송상태를 확인해드리겠습니다.

고객: 환불은 얼마나 걸리나요?
상담원: 환불 승인 후 3-5영업일 내에 처리됩니다. 결제 방법에 따라 시간이 다를 수 있습니다.

위 예시와 유사한 형식으로 다양한 고객 서비스 대화 시나리오를 10개 더 생성해주세요. 각각 다른 문제 상황을 다루도록 해주세요.

다단계 생성(Multi-step Generations)

복잡한 구조나 의미를 가진 데이터셋을 한 번에 생성하기 어렵습니다. CoT(Chain-of-Thought) 프롬프팅과 같은 방법이 있지만 아직 추론 기반 작업 분해에 대한 연구가 부족합니다. 다단계 생성 방식으로 전체 데이터 생성 과정을 더 간단한 하위 작업들로 분해하여, 각 단계에서 오류를 줄이고 더 높은 품질의 합성 데이터를 얻을 수 있습니다.

샘플 단위 분해(Sample-Wise Decomposition)

긴 텍스트나 복합 논리적 추론이 필요한 텍스트 데이터 생성에 효과적입니다.

프롬프트 예시:

다음은 고객 상담 대화의 첫 부분입니다:

고객: 구매한 제품에 문제가 있어서 연락드립니다.

이제 상담원의 응답을 생성해주세요. 공감을 표현하고 구체적인 문제를 물어보는 내용이어야 합니다.

다음 단계:

지금까지의 대화입니다:
고객: 구매한 제품에 문제가 있어서 연락드립니다.
상담원: 불편을 드려 죄송합니다. 어떤 제품을 구매하셨고, 어떤 문제가 발생했는지 자세히 알려주시겠어요?

이제 고객의 다음 응답을 생성해주세요. 제품 정보와 구체적인 문제를 설명하는 내용이어야 합니다.

$$\mathcal{D}_{gen} = (\mathcal{D}_1, \mathcal{D}_2, \ldots, \mathcal{D}_k)$$

• $D_{1:k}$ 까지 모든 데이터가 최종 생성된 데이터에 포함되지 않을 수 있습니다.

데이터셋 단위 분해(Dataset-Wise Decomposition)

데이터셋 단위 분해는 특정 속성을 가진 개별 데이터 생성을 넘어, 전체 데이터셋의 다양성과 도메인 커버리지를 확보하기 위한 장기적 스케줄링 방법입니다. 이는 다단계 생성의 각 단계에서 사용되는 조건들을 동적으로 조정하여 전체 데이터셋이 올바른 방향으로 성장하도록 합니다.

• 이전에 생성된 데이터로 훈련된 모델 성능에 기반하여 가장 자주 오분류되는 카테고리를 각 반복에서 타겟팅하는 접근법
• '생성 후 확장' 패러다임을 활용하여 전체 데이터셋의 다양성을 향상하는 방법
• 일부 방법은 데이터 생성 경로를 모델링하기 위해 특정 데이터 구조를 활용
• 도메인 공간을 트리 구조로 모델링하고, 트리 순회와 함께 생성된 데이터를 지속적으로 개선하여 생성된 데이터의 전문화와 도메인 커버리지를 모두 촉진하는 접근법

프롬프트 예시:

요약

• 다양한 생성 전략의 조합을 통해 더욱 고품질의 데이터를 얻을 수 있습니다

참고하기 좋은 HF Dataset / Space

Hugging Face Korean Dataset⁴

ID	설명	라이센스	크기	태스크
maywell/korean_textbooks	한국어 교과서 텍스트 데이터셋	apache-2.0	1M<n<10M	none
beomi/KoAlpaca-v1.1a	한국어 지시 기반 텍스트 생성 데이터셋	none	10K<n<100K	text-generation
sean0042/KorMedMCQA	한국어 의학 분야 객관식 질의응답 데이터셋	cc-by-nc-2.0	1K<n<10K	question-answering
MarkrAI/KOpen-HQ-Hermes-2.5-60K	한국어 고품질 지시 기반 텍스트 생성 데이터셋	mit	10K<n<100K	text-generation
KorQuAD/squad_kor_v1	한국어 위키백과 기반 질의응답 데이터셋	cc-by-nd-4.0	10K<n<100K	question-answering
MarkrAI/KoCommercial-Dataset	한국어 상업적 용도의 텍스트 데이터셋	mit	100K<n<1M	none
CarrotAI/ko-instruction-dataset	한국어 지시 기반 텍스트 생성 데이터셋	apache-2.0	1K<n<10K	text-generation
taeminlee/Ko-StrategyQA	전략적 추론을 요구하는 한국어 질의응답 데이터셋	none	10K<n<100K	text-retrieval
maywell/ko_wikidata_QA	위키데이터 기반의 한국어 질의응답 데이터셋	none	100K<n<1M	none
LDCC/korag	한국어 텍스트 생성용 데이터셋	none	10K<n<100K	text-generation
KETI-AIR/korquad	한국어 질의응답 데이터셋 (KorQuAD 유사)	none	none	none
smilegate-ai/kor_unsmile	혐오 표현 탐지를 위한 한국어 데이터셋	none	10K<n<100K	none
sionic/ko-dpo-mix-7k-trl-style	강화학습 기반의 한국어 선호도 학습 데이터셋	none	1K<n<10K	none
kakaobrain/kor_nli	자연어 추론(NLI)을 위한 한국어 데이터셋	cc-by-sa-4.0	100K<n<1M	multi-input-text-classification
nlpai-lab/ko-triplet-v1.0	문장 임베딩 학습을 위한 한국어 트리플렛 데이터셋	none	100K<n<1M	none
ChuGyouk/AI-MO-NuminaMath-CoT-Ko	수학 문제 풀이를 위한 한국어 Chain-of-Thought(CoT) 데이터셋	cc-by-nc-4.0	100K<n<1M	text-generation
allganize/RAG-Evaluation-Dataset-KO	검색 증강 생성(RAG) 평가를 위한 한국어 데이터셋	mit	n<1K	none
maywell/koVast	다양한 주제의 대규모 한국어 텍스트 데이터셋	other	100K<n<1M	none
squarelike/OpenOrca-gugugo-ko	대규모 다중 작업용(text-to-text) 한국어 지시 기반 생성 데이터셋	mit	1M<n<10M	text2text-generation
msarmi9/korean-english-multitarget-ted-talks-task	TED 강연을 활용한 다국어(한국어-영어) 병렬 코퍼스 데이터셋	cc-by-nc-nd-4.0	100K<n<1M	none
kresnik/zeroth_korean	음성 인식을 위한 한국어 오디오 및 텍스트 데이터셋(Zeroth 프로젝트)	none	none	none
jojo0217/korean_rlhf_dataset	강화학습(Human Feedback) 기반의 한국어 텍스트 생성 학습용 데이터셋	apache-2.0	100K<n<1M	text-generation
dkoterwa/kor-sts	문장 유사도(STS)를 위한 소규모 한국어 데이터셋	cc-by-sa-4.0	1K<n<10K	none
open-llm-leaderboard-old/details_yanolja__EEVE-Korean-Instruct-2.8B-v1.0	지시 기반 생성 모델 평가를 위한 상세 정보(한국어)	none	none	none
FreedomIntelligence/alpaca-gpt4-korean	GPT-4를 활용해 구축된 알파카 스타일의 한국어 지시 기반 생성 데이터셋	none	10K<n<100K	none
100suping/korean_unlabeled_web_text	웹에서 수집된 대규모 비라벨링 한국어 텍스트 코퍼스	none	1M<n<10M	none
unoooo/alpaca-korean	알파카 스타일의 대규모 한국어 지시 기반 생성 데이터셋	none	100K<n<1M	none
SpellOnYou/kor_sarcasm	풍자 탐지를 위한 소규모 한국어 분류용 데이터셋	mit	1K<n<10K	text-classification
lcw99/wikipedia-korean-20240501	위키피디아에서 추출한 최신 대규모 한국어 텍스트 코퍼스(2024년 기준)	apache-2.0	100K<n<1M	none
HAERAE-HUB/KOREAN-SyntheticText-1.5B	합성된 대규모(약15억 토큰 규모) 한국어 텍스트 코퍼스	none	1M<n<10M	none
inmoonlight/kor_hate	혐오 표현 탐지를 위한 소규모 한국어 분류용 데이터셋	cc-by-sa-4.0	1K<n<10K	text-classification
jeanlee/kmhas_korean_hate_speech	혐오 발언 탐지를 위한 대규모 한국어 분류용 데이터셋	cc-by-sa-4.0	100K<n<1M	text-classification
lcw99/wikipedia-korean-20221001	위키피디아에서 추출한 이전 버전(2022년 기준)의 대규모 한국어 텍스트 코퍼스	apache-2.0	100K<n<1M	none

HF Space

Synthetic Data Generator

• Dataset description을 작성하면 알아서 라벨과 데이터셋 자동 생성
• 한국어는 데이터셋 생성에서 오류 발생
• 지원 태스크: text-classification, Chat, RAG
• 만든 후 push까지 한번에 가능
• https://huggingface.co/spaces/argilla/synthetic-data-generator
  

Dataset-viewer

• 허깅페이스 데이터셋 레포 이름을 넣어주면 데이터 구조를 예쁘게 볼 수 있음
• https://huggingface.co/spaces/Omnibus/dataset-viewer

Footnotes

1. https://libanswers.ucalgary.ca/faq/200582 ↩

2. https://huggingface.co/blog/JessyTsu1/data-collect ↩

3. https://arxiv.org/abs/2406.15126?utm_source=pytorchkr&ref=pytorchkr ↩

4. https://github.com/songys/huggingface_KoreanDataset ↩

[gabrielwithappy]

좋은 자료 너무 감사합니다