[RDB] 8팀-벤치마킹 테스트

[mingoo36]

테스트 목적

MySQL을 프로젝트에 도입한 결정이 성능 면에서 가장 적절했는지를, MariaDB와 PostgreSQL과의 비교를 통해 검증

평가지표

• cpu 사용량 (avg) : 그라파나(node exporter)
• tps → (jmeter)
• 평균처리속도 → (jmeter)
• 단일 쿼리 실행 시간 → 그라파나(DB exporter)

테스트 데이터셋

• 실제 서비스와 동일한 환경 구성
• 테이블별 1000건씩
  | 테이블 | 주요 컬럼 | 설명 |
  |:---|:---|:---|
  | store | id, store_name, store_img | 가게 정보 테이블 |
  | users | id, nickname | 사용자 정보 테이블 |
  | reservation | id, user_id, store_id, quantity, total_price, status, created_at | 예약 정보 테이블 (users와 store를 연결) |

---

비교군

• MySQL: 8.0.41-0ubuntu0.24.04.1

  (for Linux on x86_64, Ubuntu 패키지)

• MariaDB: 10.11.11 (Distrib 15.1)

  (for debian-linux-gnu on x86_64, EditLine wrapper 사용)

• PostgreSQL: 16.8

  (Ubuntu 16.8-0ubuntu0.24.04.1, x86_64-pc-linux-gnu)

환경세팅

• Mysql, MariaDB
  • 쿼리캐시 off
  • innodb_buffer_pool_size=2GB
• PostgreSQL (postgresql.conf)
  • shared_buffers = 2GB

JMeter 설정

1. setUp Thread Group

• OS Process Sampler 사용
• 테스트 전에 OS 캐시를 비우고 PostgreSQL 재시작

🔹 설정 내용

항목	값
Command	/bin/sh
Parameters	`-c "sync && echo 3

---

2. Ultimate Thread Group

• 부하를 점진적으로 증가시키는 구조
• 총 7단계 부하로 구성 (100 → 115 → ... → 230)

🔹 Thread 설정

Start Threads Count	Initial Delay (s)	Startup Time (s)	Hold Load For (s)	Shutdown Time (s)
100	0	30	30	10
115	60	30	30	10
132	120	30	30	10
152	180	30	30	10
174	240	30	30	10
200	300	30	30	10
230	360	30	30	10

• 총 테스트 시간 약 8분
• 점진적 + 반복적 부하 패턴을 통해 CPU 임계치/병목 구간 확인 가능

---

단일 쿼리 실행 시간 측정을 위한 프로메테우스 커스텀

• MySQL, MariaDB, PostgreSQL에서 실행된 쿼리들의 호출 수, 총 실행 시간, 평균 실행 시간을 수집하여,
• Prometheus를 통해 단일 쿼리 성능 분석을 할 수 있도록 커스텀 구성합니다.

단일 쿼리 테스트

쿼리 선정이유

• 무한스크롤 시나리오에 현실적으로 맞춘 형태
• Full Table Scan(풀스캔) 회피 → Index Range Scan 유도

---

SELECT id, store_name, store_img
  FROM store
 WHERE id BETWEEN 1   AND 10;

---

조인 쿼리 테스트(결과가 일관성이 없어서 못쓸거같음)

SELECT
    u.nickname,
    s.store_name,
    r.created_at
FROM
    reservation r
JOIN users u ON r.user_id = u.id
JOIN store s ON r.store_id = s.id
WHERE
    r.status = 'CONFIRMED'

---

자세한 테스트 결과는 노션에 정리되어있습니다.

• https://www.notion.so/adapterz/1d1394a4806180a78ceedd1a9cea4bc5

결과

지표	MySQL	MariaDB	PostgreSQL
CPU 사용량 평균	22.3 %	21.3 %	26.7 %
Throughput (TPS)	1 815.3 req/s	1 841.2 req/s	1 740.3 req/s
평균 응답 시간 (Avg Latency)	76.3 ms	75.0 ms	79.0 ms
90% 라인 (P90)	94.7 ms	89.7 ms	98.7 ms
99% 라인 (P99)	251.0 ms	319.7 ms	240.0 ms
최소/최대 응답 시간	32 / 7 265 ms	30.7 / 1 422 ms	8.7 / 2 331.7 ms
단일 쿼리 실행 시간 (평균)	1.59 ms	1.263 ms	2.4 ms

---

결론

• MariaDB가 평균·중간 응답성과 처리량, 쿼리 실행 속도, CPU 효율 모두 소폭 우위 이므로 RDB변경 예정

[ej31]

결과에 나와있는 TPS, 최소/최대 응답시간 값에 공백이 있어서 "1,815.3 req/s" 인지 "815.3 req/s" 인데 "1" 값이 잘못 들어온건지 확실히 모르겠습니다. 확인 한번만 해주세용

[ej31]

노션 문서 들어가서 보니까 1,815 인거 같네용

[ej31]

노션 문서 안에 1,2,3차 테스트 문서에 보면

이런 이미지가 있는데 이거 Y축 단위가 밀리 세컨일까요?

[ej31]

음.. aggregate report 를 봐도 유추가 안되서......... 🫨

[ej31]

결론 보니까 ms 인거 같네용. 확인 완료~

[ej31]

Query Execution time vs Response Time 사이에 시간 차이가 아주 큰 상태인데 이거 한번 왜 그런지 확인해보세용