SKN13-FINAL-3TEAM

최종 프로젝트: JJACKLETTE - 현대자동차에 특화된 디자인 프로토타입 생성 플랫폼

개발기간: 2025.07.23 ~ 2025.09.15

🐥 팀 소개

팀명: 밥심 🍚

기원준🥚	전진혁🐣	강지윤🐥	최호연🐓	우민규🍗

---

🐥 목차

1. 프로젝트 개요
2. 주요 기능
3. 기술 스택
4. R&R
5. 파이프라인, 시스템 아키텍처, ERD
6. 폴더 구조 / 주요 폴더 설명
7. 모델 학습 결과서
8. 프로토타입
9. 기대 효과
10. 한 줄 회고

---

🐥 1. 프로젝트 개요

1.1 개발 동기 및 목적

• 사용자 경험(UX) 중심의 디자인 혁신
  기존 자동차 디자인 프로세스는 복잡한 수정/피드백, 반복적인 3D 작업 등으로 시간과 비용이 많이 소요됨.
  JJACKLETTE는 현대자동차의 데이터와 트렌드, 기업 고유의 디자인 아이덴티티를 반영해,
  디자이너들이 빠르고 창의적으로 아이디어를 구체화할 수 있도록 지원하는 sLLM 기반 생성형 AI 플랫폼을 목표로 한다.

• 기업 특화 sLLM 챗봇의 필요성
  기업 내부 데이터를 안전하게 처리하면서, 실질적인 업무 효율을 높일 수 있는 맞춤형 챗봇 및 이미지 생성 시스템 개발.

• 비전

  • 고객의 목소리와 트렌드를 반영하여 사용자 중심 설계 강화
  • 브랜드 일관성(디자인 아이덴티티) 유지
  • Agile·창의적인 디자인 프로토타이핑 환경 구축

---

1.2 🛠️ 개발 목표

• 현대자동차 디자인 실무에 맞는, 통합형 AI 프로토타입 생성 플랫폼 개발
• 내부 규정/트렌드/피드백 등 기업 맥락을 반영한 텍스트·이미지 생성
• 프롬프트만으로 다양한 디자인 시안/시각화/3D·4D 모델 생성 지원
• 유연한 수정, 아카이빙, 프로젝트 관리 등 협업 효율화 기능 제공
• 모든 백엔드, 프론트엔드, 데이터베이스, 모델 서버를 Docker 기반 컨테이너로 운영
• docker-compose로 전체 서비스 통합 구동 및 재현 가능성 확보

---

🐥 2. 주요 기능

• 1) 텍스트·이미지·3D·비디오 프로토타입 생성
  • LLM 기반 자동차 디자인 관련 질의응답/아이디어 요약/트렌드 분석
  • 기업 맞춤형 디자인 프롬프트 입력 → 이미지, 3D 모델, 주행 영상까지 생성 가능
• 2) 기업 내부 지식 반영
  • 내부 규정·가이드라인·기술 문서 연동(RAG)
  • 과거 프로젝트·고객 피드백 반영
• 3) 실시간 협업 지원
  • 생성된 시안 아카이빙, 버전 관리, 코멘트, 프로토타입 부분 수정 기능
• 4) 실사급 시각화/시뮬레이션
  • Stable Diffusion 기반 렌더링, Trellis 기반 3D 변환, Stable-video-diffusion 기반 시뮬레이션 영상
• 5) 엔터프라이즈 수준 보안/확장성
  • 데이터 암호화, 권한관리

---

🐥 3. 기술 스택

분야	기술 및 라이브러리
🖥️ 프로그래밍 언어/환경
🐳 컨테이너/배포
🖼️ 사용한 LLM/멀티모달 모델
🗂️ 데이터 저장/검색
🖼️ 프론트엔드
⚙️ 백엔드
☁️ 인프라/클라우드
🛠️ 기타

---

🐥 4. R&R (Roles & Responsibilities)

이름	역할	주요 담당
기원준	PM / AI모델링(Exaone) / DevOps / DBA / 백엔드	파인튜닝, 배포, 백엔드
전진혁	AI모델링(Trellis) / AI/ML 엔지니어링 / 디자인 / 프론트	3D 변환, 프론트 UI, 디자인
강지윤	AI모델링(InternVL3) / AI/ML 엔지니어링 / 디자인 / 파이프라인	이미지 특징추출, 전체 파이프라인, DB설계
최호연	AI모델링(stable-video-diffusion-img2vid) / AI/ML 엔지니어링 / 백엔드	영상 생성, 백엔드 API
우민규	AI모델링(Stable-Diffusion) / AI/ML 엔지니어링	이미지 생성, AI연동

※ 상세:

• DevOps: 인프라, 배포, CI/CD
• DBA: DB 스키마, 운영
• AI/ML: 임베딩·RAG·모델 연동
• 디자인: Figma UI/UX
• 백엔드: Django
• 챗봇: 모델 활용 Q&A 시스템

---

🐥 5. 파이프라인, 시스템 아키텍처, ERD

🔧파이프라인

🔧시스템 아키텍처
>

🔧ERD

---

🐥 6. 폴더 구조 / 주요 폴더 설명

(구체적 폴더 구조와 각 디렉터리별 기능 및 예시 설명. 추후 작성)

📦ProjectRoot
┣ 📜README.md
┣ 📂babsim
┃ ┣ 📜.DS_Store
┃ ┣ 📜.gitignore
┃ ┣ 📜docker-compose.yml
┃ ┣ 📜Dockerfile
┃ ┣ 📜manage.py
┃ ┣ 📜nginx.conf
┃ ┣ 📜package-lock.json
┃ ┣ 📜requirements.txt
┃ ┣ 📜test_model.py
┃ ┣ 📂.vscode
┃ ┃ ┗ 📜settings.json
┃ ┣ 📂config
┃ ┃ ┣ 📜asgi.py
┃ ┃ ┣ 📜settings.py
┃ ┃ ┣ 📜urls.py
┃ ┃ ┣ 📜views.py
┃ ┃ ┣ 📜wsgi.py
┃ ┃ ┣ 📜__init__.py
┃ ┃ ┗ 📂__pycache__
┃ ┃ ┣ 📜settings.cpython-310.pyc
┃ ┃ ┣ ...
┃ ┣ 📂data
┃ ┃ ┗ 📜.DS_Store
┃ ┣ 📂frontend
┃ ┃ ┣ 📜.DS_Store
┃ ┃ ┗ 📂build
┃ ┃ ┣ 📜.DS_Store
┃ ┃ ┣ 📜.gitignore
┃ ┃ ┣ 📜index.html
┃ ┃ ┣ 📜vite.svg
┃ ┃ ┗ 📂assets
┃ ┃ ┣ 📜index-BjJceZ3H.js
┃ ┃ ┣ 📜index-tUhWM6ky.css
┃ ┃ ┗ 📜ioniq5-1E-ln0eX.png
┃ ┣ 📂JJACKLETTE
┃ ┃ ┣ 📜admin.py
┃ ┃ ┣ 📜apps.py
┃ ┃ ┣ 📜llm.py
┃ ┃ ┣ 📜llm_interface.py
┃ ┃ ┣ 📜models.py
┃ ┃ ┣ 📜serializers.py
┃ ┃ ┣ 📜services.py
┃ ┃ ┣ 📜tests.py
┃ ┃ ┣ 📜urls.py
┃ ┃ ┣ 📜views.py
┃ ┃ ┣ 📜__init__.py
┃ ┃ ┣ 📂management
┃ ┃ ┃ ┗ 📂commands
┃ ┃ ┃ ┣ 📜import_data.py
┃ ┃ ┃ ┗ 📂__pycache__
┃ ┃ ┣ 📂migrations
┃ ┃ ┃ ┣ 📜0001_initial.py
┃ ┃ ┃ ┣ 📜__init__.py
┃ ┃ ┃ ┗ 📂__pycache__
┃ ┃ ┣ 📂__pycache__
┃ ┃ ┃ ┣ 📜admin.cpython-310.pyc
┃ ┃ ┃ ┣ ...
┃ ┣ 📂models
┃ ┃ ┗ 📜.DS_Store
┃ ┣ 📂node_modules
┃ ┃ ┗ 📜.package-lock.json
┃ ┣ 📂scripts
┃ ┃ ┣ 📜embedding.py
┃ ┃ ┗ 📜preprocess.py
┃ ┣ 📂templates
┃ ┃ ┗ 📜home.html
┃ ┗ 📂text_data
┃ ┣ 📜.DS_Store
┃ ┗ 📂DB
┃ ┣ 📜hyundai_car_reviews.json
┃ ┗ 📂car_specs
┃ ┣ 📜Electrified G80.csv
┃ ┣ 📜Electrified GV70.csv
┃ ┣ 📜G70.csv
┃ ┣ ...
┣ 📂document
┃ ┣ 📜API_SPEC.md
┃ ┣ 📜chat_pipeline_5.png
┃ ┣ 📜jjacklette_ERD.png
┃ ┗ 📜System Architecture.pdf
┣ 📂evaluation
┃ ┣ 📜baseline_performance_report.md
┃ ┣ 📜base_model_evaluation_results.md
┃ ┣ 📜finetuned_evaluation_results.md
┃ ┗ 📜md.ipynb
┣ 📂image_data
┃ ┣ 📂hyundai_concept_car_nogb_cropped_1024
┃ ┃ ┣ 📜Hyundai-45_EV_Concept-2019-thb.jpg
┃ ┃ ┣ ...
┃ ┗ 📂hyundai_images_nobg_cropped_1024
┃ ┣ 📜Large-36014-2021Sonata.jpg
┃ ┣ ...
┣ 📂react
┃ ┣ 📜.gitignore
┃ ┣ 📜eslint.config.js
┃ ┣ 📜index.html
┃ ┣ 📜package-lock.json
┃ ┣ 📜package.json
┃ ┣ 📜postcss.config.js
┃ ┣ 📜README.md
┃ ┣ 📜tai

🐥 7. 모델 학습 결과서

(파인튜닝/모델 실험 결과, 주요 지표, 예시 Q&A 등. 추후 작성)

📊 SD-3.5-medium 파인튜닝 결과 요약

모델: stabilityai/stable-diffusion-3.5-medium (LoRA 방식, SimpleTuner 사용, 시드값 42 고정)
데이터셋: 이미지-캡션 쌍 100개 (학습·테스트 동일)
목표: 베이스 vs 파인튜닝 모델 이미지 생성 품질 비교
평가 지표: CLIP Score, FID

실험	학습 조건	CLIP Score 변화	FID 변화	분석
1차	2 epoch, 1000 steps	+1.1 ↑	10.59 → 4.03	품질 큰 폭 향상
2차	5 epoch, 3000 steps	+0.4 ↑	10.59 → 8.63	개선 폭 감소, 과적합 가능성

결론: 적절한 학습 스텝(1000~2000)에서 가장 효과적이며, 과도한 학습 시 품질 저하 우려, 총 이미지 데이터셋이 개수 걸맞게 에폭을 주면 될 것으로 예상.

📊 Exaone-4.0-1.2B 파인튜닝 결과 요약

모델: LGAI-EXAONE/EXAONE-4.0-1.2B (LoRA 적용 (peft 사용), 시드값 42 고정) 데이터셋: 자동차 디자인 QA 쌍

• 학습 데이터: 266건
• 검증 데이터: 50건
• 테스트 데이터: 40건
  목표: 베이스 모델 대비 파인튜닝 모델의 응답 품질 향상
  평가 지표: BERTScore (Precision, Recall, F1)

실험	학습 조건	BERTScore-F1 변화	분석
1차	5 epoch, batch size 4, LoRA 적용	0.398 → 0.578 (+0.18 ↑)	응답 품질 대폭 향상, 전문성·일관성 개선

결론

• 적절한 에폭 수(3~5)와 LoRA 설정으로 큰 품질 향상 가능
• 과도한 학습은 성능 정체 또는 미세한 저하 유발
• 베이스 모델 대비 파인튜닝 모델은 전문성, 응답 일관성, 문맥 이해에서 우수함

📦 모델 저장 및 활용

• 저장 형식: LoRA 어댑터 (llm_finetuned_model), PyTorch 기반
• 추론 속도: 평균 0.3초/건 (GPU 기준)
• 활용 방안:
  • 자동차 디자인 챗봇
  • 브랜드 철학 설명 AI
  • 디자인 문서 요약 및 질의응답

---

🐥 8. 프로토타입

Home

**Asset Library**
 📄**세부 사항**   자료 내부
  

**Insight & Trends**

 📄**세부 사항**   제원
     리뷰 분석
     트렌드
  

**Prototype Lab**

---

🐥 9. 기대 효과

• 자동차 산업, 디자인 실무에 실제로 투입 가능한 수준의 AI 도구 제공
• 디자인 프로세스 가속화: 반복적 렌더링/수정 작업을 단축, 실시간 시각화로 업무 효율 증대
• 아이디어 다양화 및 창의성 촉진: 생성형 AI를 통한 새로운 디자인 시안/트렌드 발굴
• 통합 정보 제공: 내부 규정·기술 문서·고객 피드백 등의 정보를 LLM 기반으로 통합/즉시 제공
• 비용 절감: 물리적 시제품 제작, 고비용 3D/시뮬레이션 공정 감소
• 기업 데이터 보안: 권한 관리, NDA 기반 데이터 거버넌스 체계 강화

---

🐥 10. 한 줄 회고

(추후 작성)