📊 DataScope - 고급 데이터 분석 및 시각화 도구

DataScope는 Streamlit 기반의 웹 애플리케이션으로, 사용자가 데이터 파일을 업로드하여 다양한 시각화 차트를 인터랙티브하게 확인할 수 있는 고급 데이터 분석 도구입니다.

• mcp-shrimp-task-manager를 이용해 100% VibeCoding으로 작성되었습니다.

🌟 주요 기능

📈 데이터 시각화

• 다양한 차트 타입: Scatter Plot, Box Plot, Histogram, Bar Chart, Correlation Heatmap, Parallel Coordinates, Line Chart, Sub Plots
• 자동 차트 선택: 데이터 특성에 따른 최적 차트 타입 자동 선택
• 인터랙티브 차트: Plotly 기반 확대/축소, 호버 정보, 범례 조작

📊 고급 분석 기능

• 통계 분석: 기본 통계, 상관관계 분석, 이상치 탐지, 분포 분석
• 다변량 분석: PCA, 클러스터링, 차원 축소
• 시계열 분석: 트렌드 분석, 계절성 탐지, 이동평균
• 데이터 인사이트: 자동 인사이트 생성 및 권장사항

⚡ 성능 최적화

• 캐싱 시스템: 반복 작업 성능 향상 (70-80% 속도 개선)
• 메모리 최적화: DataFrame 자동 최적화 (30-50% 메모리 절약)
• 대용량 파일 지원: 최대 100MB 파일 처리
• 진행률 표시: 실시간 작업 진행 상황 모니터링

🎨 사용자 경험

• 반응형 디자인: 모바일/데스크톱 최적화
• 사용자 설정: 테마, 차트 높이, 자동 새로고침 설정
• 직관적 인터페이스: 코딩 지식 없이도 쉽게 사용
• 성능 모니터링: 로딩 시간, 분석 시간 추적

🚀 빠른 시작

1. 설치

# 저장소 클론
git clone https://github.com/innerpyg/DataScope.git
cd DataScope

# 가상환경 생성 (권장)
python -m venv venv
source venv/bin/activate  # Linux/Mac

# 의존성 설치
pip install -r requirements.txt

2. 실행

# Streamlit 애플리케이션 실행
streamlit run app.py

# 또는 특정 포트로 실행
streamlit run app.py --server.port 8501

# 헤드리스 모드로 실행 (서버 배포용)
streamlit run app.py --server.headless true --server.port 8501

3. 사용법

1. 파일 업로드: 웹 브라우저에서 http://localhost:8501 접속 후 데이터 파일 업로드
2. 데이터 확인: '데이터 미리보기' 탭에서 업로드된 데이터 확인
3. 시각화: '시각화' 탭에서 다양한 차트 생성 및 탐색
4. 분석: '통계 분석' 탭에서 고급 분석 수행

📁 지원 파일 형식

형식	확장자	설명
CSV	.csv	쉼표로 구분된 값 파일
TXT	.txt	탭으로 구분된 값 파일
Excel	.xlsx, .xls	Microsoft Excel 파일

📊 지원 차트 타입

차트 타입	설명	최적 데이터
Scatter Plot	두 변수 간의 관계	수치형 데이터 2개
Box Plot	데이터 분포 및 이상치	수치형 + 범주형
Histogram	단일 변수의 분포	수치형 데이터 1개
Bar Chart	범주형 데이터 빈도	범주형 데이터
Correlation Heatmap	변수 간 상관관계	수치형 데이터 다수
Parallel Coordinates	다차원 데이터 시각화	수치형 데이터 다수
Line Chart	시계열 데이터	시간 + 수치형
Sub Plots	복합 차트	다양한 데이터 타입

📦 의존성 패키지

streamlit>=1.28.0      # 웹 애플리케이션 프레임워크
pandas>=2.0.0          # 데이터 처리 및 분석
numpy>=1.24.0          # 수치 계산
plotly>=5.15.0         # 인터랙티브 시각화
scipy>=1.10.0          # 과학 계산
seaborn>=0.12.0        # 통계 시각화
openpyxl>=3.1.0        # Excel 파일 처리
xlrd>=2.0.0            # Excel 파일 읽기
scikit-learn>=1.3.0    # 머신러닝 알고리즘
psutil>=5.9.0          # 시스템 모니터링

🏗️ 프로젝트 구조

DataScope/
├── app.py                 # 메인 Streamlit 애플리케이션
├── requirements.txt       # Python 의존성
├── README.md             # 프로젝트 문서
├── .gitignore            # Git 무시 파일
├── utils/                # 유틸리티 모듈
│   ├── __init__.py       # 모듈 초기화
│   ├── data_processor.py # 데이터 처리 및 검증
│   ├── visualizer.py     # 데이터 시각화
│   └── analyzer.py       # 고급 분석 기능
├── data/                 # 샘플 데이터
│   ├── sample_data.csv   # 기본 샘플 데이터
│   └── complex_sample_data.csv # 복합 샘플 데이터
├── docs/                 # 문서
│   ├── user_manual.md    # 사용자 매뉴얼
│   ├── developer_guide.md # 개발자 가이드
│   └── deployment_guide.md # 배포 가이드
└── tests/                # 테스트 파일
    ├── test_data_processor.py
    ├── test_visualizer.py
    └── test_analyzer.py

🔧 고급 설정

환경 변수 설정

# 개발 환경
export STREAMLIT_SERVER_PORT=8501
export STREAMLIT_SERVER_HEADLESS=true
export STREAMLIT_SERVER_MAX_UPLOAD_SIZE=100

# 프로덕션 환경
export STREAMLIT_SERVER_PORT=8501
export STREAMLIT_SERVER_HEADLESS=true
export STREAMLIT_SERVER_MAX_UPLOAD_SIZE=100
export STREAMLIT_SERVER_ENABLE_CORS=false
export STREAMLIT_SERVER_ENABLE_XSRF_PROTECTION=true

🚀 배포 가이드

로컬 배포

1. 위의 "빠른 시작" 섹션 참조
2. streamlit run app.py 명령으로 실행

서버 배포 (Linux)

# 시스템 서비스로 등록
sudo cp datascope.service /etc/systemd/system/ # 수정 필요
sudo systemctl enable datascope
sudo systemctl start datascope

🐛 트러블슈팅

일반적인 문제

1. "streamlit: command not found" 오류

# 해결방법: pip로 streamlit 재설치
pip install streamlit
# 또는
python -m pip install streamlit

2. 메모리 부족 오류

# 해결방법: 메모리 최적화 실행
# 애플리케이션에서 '고급 기능' → '성능 최적화' 탭 사용

3. 차트가 표시되지 않음

# 해결방법: 브라우저 캐시 클리어
# 또는 다른 브라우저로 테스트

로그 확인

# Streamlit 로그 확인
streamlit run app.py --logger.level=debug

# 시스템 로그 확인 (Linux)
journalctl -u datascope -f

📄 라이선스

이 프로젝트는 MIT 라이선스 하에 배포됩니다. 자세한 내용은 LICENSE 파일을 참조하세요.

🙏 감사의 말

• Streamlit - 웹 애플리케이션 프레임워크
• Plotly - 인터랙티브 시각화
• Pandas - 데이터 분석
• Scikit-learn - 머신러닝
• mcp-shrimp-task-manager - MCP shrimp task manager

---

DataScope

• 데이터 분석을 더욱 직관적이고 강력하게 만들어주는 도구입니다! 🚀
• 100% VibeCoding으로 작성되었습니다.
• 본 repository에 LICENSE 등 기타 문제가 있는 경우 언제든 issue 작성 부탁드립니다.