LLM 모델 평가 방법론

[suil0109]

LLM 모델 평가 방법론

목차

• LLM 모델 평가의 중요성
• LLM vs ML 모델 평가 차이
• 주요 LLM 평가 벤치 마크
• LLM 성능 평가 지표
• LLM 모델 평가 시 고려 사항
• 오픈 소스 리더 보드

---

LLM 모델 평가의 중요성

핵심 포인트

LLM 모델 평가가 중요한 이유?

→ LLM 평가는 적합한 모델 선택부터 안전성 확보, UX 향상까지 모든 운영의 기준이 됩니다

평가 중요성 목록

• 적합한 모델 선정을 위한 객관적 기준 제공
• 신뢰성·안전성 점검
• Fine-tuning 필요성 판단 + 방향 설정
• 사용자 만족도 & 서비스 품질 향상

내용

1. 적합한 모델 선정을 위한 객관적 기준 제공

• LLM은 태스크별 성능 차이가 큽니다.
• 목적에 맞는 모델 선택을 위해 정량적 비교가 필수입니다.
• 예시:
  • A 모델은 요약은 우수, 번역은 미흡
  • 서비스 목적(예: Chatbot, QA, 요약, 코딩)에 따라 맞춤형 선택 필요

2. 신뢰성·안전성 점검

• LLM은 환각(hallucination), 편향, 유해 콘텐츠 생성 우려 존재
• 성능뿐 아니라 “안전하게 작동하는가?” 를 확인해야 함
• 예시:
  • “이 약 먹어도 돼?” → 잘못된 정보 응답 시 심각한 리스크
• OpenAI o3 모델은 o1 대비 더 많은 주장을 하는 경향이 있으며, 이로 인해 정확한 주장과 부정확한 주장이 모두 늘어나는 경향이 있습니다.
  • reference: https://cdn.openai.com/pdf/2221c875-02dc-4789-800b-e7758f3722c1/o3-and-o4-mini-system-card.pdf

3. Fine-tuning 필요성 판단 + 방향 설정

• 평가를 통해 Fine-tuning이 필요한 영역 파악 가능
• 예시 :
  • 문장 요약은 정확하나 표현이 부자연스러움 → 스타일 튜닝 필요

4. 사용자 만족도 & 서비스 품질 향상

• 대부분의 LLM은 사용자와 직접 인터랙션
• 결국, 모델 평가 결과는 UX (사용자 경험)에 직결
• 예시:
  • “사람처럼 말하는가?” 보다 → 정확하고, 유익하며, 안전하게 말하는가가 중요

---

LLM vs ML 모델 평가 차이

핵심 포인트

LLM 평가가 기존 ML 모델 평가와 다른 점

→ LLM 평가는 기존 ML보다 더 사람 중심이고, 다양한 기준과 윤리성까지 함께 고려해야 합니다.

LLM vs ML 평가 비교 요약

• LLM의 평가가 주관적이다.
• LLM의 평가는 윤리성도 고려 해야한다.
• LLM은 사용자 경험 평가도 고려 해야한다.

내용

1. 다양성과 주관적 평가

항목	기존 ML 모델	LLM 모델
정답 기준	명확한 정답 존재 (예: 0 또는 1)	정답이 모호하거나 다양함 (예: 요약, 번역, 생성 문장 등)
사용 지표	Accuracy, Precision, Recall, RMSE 등	Human Evaluation, 주관 평가 등

요약: LLM은 정답이 하나가 아니며, 품질 평가는 주관적일 수 있어 평가가 복잡합니다.

---

2. 환각, 편향, 유해성 등 특수 항목 평가

항목	기존 ML 모델	LLM 모델
환각 평가	필요 없음	중요한 평가 항목 (사실 왜곡 여부 검토)
편향/유해성	드물게 고려됨	사회적 책임 및 윤리적 판단 필수

요약: LLM은 정확성뿐 아니라 윤리성, 책임성 등 고차원적 평가 요소가 요구됩니다.

---

3. 사용자 경험(UX) 중심의 평가

항목	기존 ML 모델	LLM 모델
UX 관련 평가	드물게 고려	실제 사용자 만족도 및 자연스러운 상호작용이 핵심 평가 항목

요약: LLM 평가는 단순 정답률을 넘어서, 얼마나 유용하고 실제로 쓸모 있는가를 중심으로 해야 합니다.

---

주요 LLM 평가 벤치 마크

LLM 벤치마크

• LLM의 성능을 평가 하기 위해 대외적으로 사용됨.

분야 + 난이도별

분야	쉬운 벤치마크	어려운 벤치마크
General Knowledge	MMLU	GPQA
Math	GSM8K	MATH (AIME 포함)
Code	HumanEval	SWE-bench

1. 지식 (General Knowledge)

MMLU (Massive Multitask Language Understanding)

• 목적: LLM이 다양한 학문적 지식(57과목)을 얼마나 잘 이해하는지 평가
• 형식: 객관식 약 15,900문항 (영어)
• 난이도: 초등학생부터 대학원 수준까지 폭넓음
• 평가 방식: Zero-shot, Few-shot 설정에서 정답률 측정
• 활용: GPT-4, Claude 등 범용 LLM의 ‘지식 범위’ 비교
• 🔗 논문 / Dataset

GPQA (Graduate-level Professional QA)

• 목적: 박사급 전문가도 어려워하는 고난이도 문제로 LLM 성능 검증
• 형식: 총 448문항 (생물, 물리, 화학 중심)
• 난이도: 전문가 정답률 65%, 일반인 평균 34%
• 특징: Google-proof 설계 (검색으로 해결 어려움)
• 활용: 인간 감독 없이 AI 성능 검증 가능한지 실험
• 🔗 Dataset

2. 수학 (Mathematical Reasoning)

GSM8K (Grade School Math 8K)

• 목적: 초등학생 수준 연산 문제를 Chain-of-Thought 방식으로 해결 가능한지 평가
• 형식: 약 8,500문항
• 난이도: 쉬운 계산 문제 (덧셈, 뺄셈 등)
• 평가 포인트: 정답뿐 아니라 **풀이 과정(CoT)**의 자연스러움
• 🔗 논문 / Dataset

MATH (Mathematics Dataset)

• 목적: 고등학생~대학생 수준의 논리적 수학 문제 해결
• 형식: 약 12,500문항, AIME/AMC 스타일 포함
• 특징: 각 문항에 단계별 풀이 포함
• 활용: 수학 CoT 튜닝, 고난도 추론 능력 학습
• 🔗 논문

3. 코딩 (Code Generation)

HumanEval

• 목적: 함수 정의와 입출력 예시 기반으로 정확한 Python 함수 생성 여부 평가
• 형식: 164문항 (알고리즘 포함)
• 평가 방식: 생성한 코드가 테스트 케이스를 통과하면 정답
• 활용: GPT 계열의 코드 생성 정확도 비교
• 🔗 논문 / Dataset

SWE-bench

• 목적: 실제 GitHub 이슈를 LLM이 해결할 수 있는지 평가
• 형식: 2,294개 이슈-PR 쌍
• 특징: 실제 코드베이스에서 작동 가능한 수준 요구
• 평가 방식: 코드 수정 후 테스트 통과 여부
• 활용: 현실적인 SW 개발 지원 능력 측정
• 🔗 Dataset

예시

DeepSeek R1

• https://arxiv.org/pdf/2501.12948

Llama 3

• https://arxiv.org/pdf/2407.21783

Kanana

• https://arxiv.org/abs/2502.18934

KMMLU 데이터셋

• 🔗 Dataset

---

LLM 성능 평가 지표

핵심 포인트

LLM의 평가 지표

• Classification (정답 매칭)
  • Exact Match (EM)
• NLP Generation (문장 생성)
  • BLEU / Rouge / BERTScore
• 코드 생성 (Coding)
  • Pass@k
• Reasoning (추론)
  • Chain-of-Thought
• Dialogue (대화 품질)
  • Human Preference
• LLM as a Judge (LLM이 직접 평가)
  • GPT-4, Claude 등

내용

1. Classification (정답 매칭)

정답이 명확하게 존재하는 문제에서, 모델이 정확히 맞췄는지를 평가합니다.

• 대표 지표: EM (Exact Match)
• 설명: 정답과 100% 동일한 응답을 했는지 확인
• 예시 벤치마크: MMLU, DROP

2. NLP Generation (문장 생성)

요약, 번역처럼 다양한 표현이 가능한 과제에서 정답과의 유사도를 평가합니다.

• 대표 지표: BLEU, ROUGE, BERTScore
• 설명:
  • BLEU/ROUGE: 단어, 구문 수준의 일치도
  • BERTScore: 문장 의미 수준의 유사도 평가
• 예시 벤치마크: 요약, 번역 시스템 평가

3. Coding (코드 생성)

작성된 코드가 실제로 작동하는지를 평가합니다.

• 대표 지표: Pass@k
• 설명: 모델이 k번 안에 테스트를 통과하는 코드를 생성했는지 확인
• 예시 벤치마크: HumanEval, LiveCodeBench

4. Reasoning (추론 평가)

정답뿐 아니라 사고 과정이 논리적으로 타당한지를 평가합니다.

• 대표 지표: Chain-of-Thought 평가
• 설명: 모델이 단계적으로 생각하며 문제를 해결했는지 판단
• 예시 벤치마크: GSM8K, MATH

5. Dialogue (대화 품질)

사용자와의 상호작용에서 응답의 자연스러움, 유익함을 평가합니다.

• 대표 지표: Human Preference, GPTScore
• 설명:
  • Human Preference: 사람이 더 나은 응답을 선택
  • GPTScore: LLM이 다른 LLM의 응답을 평가
• 예시 벤치마크: LMSYS Arena

6. LLM as a Judge (LLM이 직접 평가)

사람 대신 상위 LLM이 응답을 평가하는 방식입니다.

• 대표 지표: LLM 평가 점수

• 설명: GPT-4 등 고성능 모델이 비교 응답을 분석하고 판단

• 활용 사례: OpenAI, Anthropic의 모델 튜닝 및 대규모 검증 환경

• 예시

  • DeepSeek R1

---

LLM 모델 평가 시 고려 사항

핵심 포인트

LLM 모델 평가 시 고려사항

• 환각 현상
• 편향성
• 유해 콘텐츠
• 효율성

내용

1. 환각 현상 (Hallucination)

• 정의: LLM이 사실이 아닌 정보를 그럴듯하게 생성하는 현상
• 예시: 존재하지 않는 논문, 틀린 수치, 가짜 인용 등을 생성
• 문제점:
  • 실제 서비스에 사용될 경우 신뢰성 저하
  • 검색/문서 생성/교육 등 활용 시 오정보 확산 위험
• 해결 방향:
  • 사실성 평가 (TruthfulQA, FEVER 등) 벤치마크 활용
  • 외부 데이터베이스 연동 (Retrieval-Augmented Generation)

2. 편향성 (Bias)

• 정의: 성별, 인종, 문화 등에 대한 고정관념이나 차별적 표현이 포함되는 현상
• 예시: 특정 성별만 직업군과 연관짓는 응답
• 문제점:
  • 사회적 논란 발생 가능
  • 공정한 모델 사용 환경 저해
• 평가 지표:
  • Bias Benchmark (e.g., BBQ) 사용
  • Toxicity/Unfairness 테스트 활용

3. 유해 콘텐츠 대응 (Toxicity & Safety)

• 정의: 욕설, 폭력, 성적인 내용, 혐오 표현 등의 유해하거나 위험한 콘텐츠에 대한 반응 평가
• 문제점:
  • 오용 가능성 (예: 챗봇 악용, 가짜뉴스 등)
  • 사용자 보호 및 기업 서비스에 대한 신뢰성 이슈
• 평가 도구:
  • ToxiGen, RealToxicityPrompts 등 사용
  • OpenAI’s Moderation API 등 사후 필터링도 중요

4. 효율성 (Efficiency)

• 정의: 모델이 얼마나 빠르고 경제적으로 동작하는지를 나타내는 지표
• 포인트:
  • 응답 속도 (Latency)
  • 메모리 사용량 (Memory Footprint)
  • 연산량 (FLOPs, GPU 사용량 등)
• 중요 이유:
  • 엣지 디바이스/모바일 환경에서는 특히 중요
  • 실제 서비스 환경에서는 비용 최적화와 직결됨

---

LLM 오픈소스 리더 보드

LLM 오픈소스 리더보드 예시

1. Open Ko-LLM Leaderboard

• 운영 주체: 업스테이지(Upstage) & 한국지능정보사회진흥원(NIA)
• 핵심 특징:
  • 한국어 LLM 성능을 종합적으로 평가하는 공개형 리더보드
  • 시즌2부터는 9개의 최신 벤치마크로 구성되어, 추론, 감성 이해, 안전성 등 다양한 능력 평가
• 🔗 https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard

2. LMSYS Chatbot Arena

• 운영 주체: UC Berkeley LMSYS 팀 (Vicuna 개발팀)
• 핵심 특징:
  • 실사용자 투표 기반으로 LLM 대화 품질을 평가
  • 모델들이 동일한 질문에 대해 대답 → 사용자가 더 나은 답변을 직접 선택
  • GPT-4, Claude 3, Gemini 등 최신 모델들 모두 참여
  • 정량 점수(X), 정성적 평가 위주
• 🔗 Arena 바로가기

3. Stanford HELM (Holistic Evaluation of Language Models)

• 운영 주체: Stanford CRFM (Center for Research on Foundation Models)
• 핵심 특징:
  • 모델의 정확도뿐 아니라 편향성, 독성, 계산 비용 등 다양한 관점에서 평가
  • 특정 한 분야가 아닌, 다양한 시나리오를 통합하여 "현실적인 AI 활용성" 평가
• 🔗 HELM 리포트 보기