스프링 배치(Spring Batch) 사용법과 예제

[daumi125]

스프링 배치(Spring Batch)

• *스프링 배치(Spring Batch)**는 대용량 데이터의 일괄 처리(배치 처리)를 쉽고 효율적으로 개발할 수 있도록 도와주는 오픈소스 프레임워크
• 스프링 프레임워크 기반으로 만들어졌으며, 반복적이고 대량의 데이터를 처리하는 작업(예: 정산, 데이터 마이그레이션, 대량 파일 처리 등)에 최적화되어 있음

스프링 배치의 주요 특징

• 대용량 데이터 처리: 수십만~수억 건의 데이터를 효율적으로 처리할 수 있음
• 트랜잭션 관리: 실패 시 롤백, 재시도, 스킵 등 다양한 오류 처리 기능 제공
• 다양한 입력/출력 지원: 데이터베이스, 파일(CSV, XML 등), 큐 등 다양한 소스와 연동 가능
• 스케줄링: 정해진 시간에 자동 실행 가능(Quartz, Spring Scheduler 등과 연동)
• 모듈화: 작업(Job), 단계(Step) 등으로 나누어 재사용성 및 유지보수성 향상

스프링 배치의 기본 구조

용어	설명
Job	하나의 배치 작업 단위(예: "월말 정산 처리")
Step	Job을 구성하는 세부 단계(예: "파일 읽기", "DB 저장" 등)
ItemReader	데이터 입력(읽기) 담당(예: 파일, DB 등에서 데이터 가져오기)
ItemProcessor	데이터 가공(처리) 담당(예: 데이터 변환, 필터링 등)
ItemWriter	데이터 출력(쓰기) 담당(예: DB 저장, 파일 쓰기 등)

스프링 배치의 동작 방식

1. Job 실행

   배치 작업(Job)이 시작되면 여러 Step이 순차적으로 실행된다.

2. Step 처리

   각 Step은 ItemReader → ItemProcessor → ItemWriter 순서로 동작

3. Chunk 기반 처리

   데이터를 일정 단위(Chunk)로 나누어 반복적으로 읽고, 처리하고, 저장합니다. 예를 들어, 100건씩 읽어서 처리 후 한 번에 저장.

4. 오류/예외 처리

   데이터 처리 중 오류가 발생하면 롤백, 재시도, 건너뛰기 등 다양한 전략을 설정할 수 있다.

   API로 데이터 읽어 MySQL DB에 저장하는 스프링 배치

   외부 API에서 데이터를 읽어와 MySQL DB에 저장하는 스프링 배치 예제 구조

   주요 구성 요소

   용어	설명
   ItemReader	외부 API에서 데이터 읽기 (RestTemplate 등 활용)
   ItemProcessor	데이터 가공/필터링 (필요 시)
   ItemWriter	MySQL DB에 데이터 저장 (JPA, JdbcTemplate 등 활용)

   예시 코드

   package com.example.kakaotest;
   
   import lombok.RequiredArgsConstructor;
   import org.springframework.batch.core.Job;
   import org.springframework.batch.core.Step;
   import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
   import org.springframework.batch.core.repository.JobRepository;
   import org.springframework.batch.core.job.builder.JobBuilder;
   import org.springframework.batch.core.step.builder.StepBuilder;
   import org.springframework.batch.item.ItemProcessor;
   import org.springframework.batch.item.ItemReader;
   import org.springframework.batch.item.ItemWriter;
   import org.springframework.batch.item.support.ListItemReader;
   import org.springframework.batch.repeat.RepeatStatus;
   import org.springframework.batch.repeat.policy.SimpleCompletionPolicy;
   import org.springframework.context.annotation.Bean;
   import org.springframework.context.annotation.Configuration;
   import org.springframework.transaction.PlatformTransactionManager;
   
   import java.util.List;
   
   @Configuration
   @RequiredArgsConstructor
   @EnableBatchProcessing
   public class BatchConfig {
   
       @Bean
       public Job newsDataSaveJob(JobRepository jobRepository, Step newsDataSaveStep) {
           return new JobBuilder("newsDataSaveJob", jobRepository)
                   .start(newsDataSaveStep)
                   .build();
       }
   
       @Bean
       public Step newsDataSaveStep(JobRepository jobRepository,
                                    PlatformTransactionManager transactionManager,
                                    ItemReader<NewsItemDTO> apiReader,
                                    ItemProcessor<NewsItemDTO, News> newsProcessor,
                                    ItemWriter<News> newsWriter) {
   
           return new StepBuilder("newsDataSaveStep", jobRepository)
                   .<NewsItemDTO, News>chunk(10, transactionManager)  // 10개씩 처리
                   .reader(apiReader)
                   .processor(newsProcessor)
                   .writer(newsWriter)
                   .build();
       }
   
       @Bean
       public ItemReader<NewsItemDTO> apiReader() {
           // API에서 데이터를 모두 불러와서 ListItemReader로 반환
           // ListItemReader가 이 데이터를 하나씩 읽어서 다음 단계로 전달
           List<NewsItemDTO> newsList = newsService.fetchNews();
           return new ListItemReader<>(newsList);
       }
   
       @Bean
       public ItemProcessor<NewsItemDTO, News> newsProcessor() {
           // 받아온 DTO를 엔티티로 변환하는 과정 (하나씩 처리)
           return dto -> new News(dto.getTitle(), dto.getUrl());
       }
   
       @Bean
       public ItemWriter<News> newsWriter() {
           // Chunk 단위로 모아진 News 엔티티들을 한번에 DB에 저장
           return items -> newsRepository.saveAll(items);
       }
   }