🚀 Гагарин Hack, 2🥈 место

🙋🏻‍♂️ Решение команды МИСИС Либа Справа 2 Этаж

🪐 Кейс Юпитер. Сервис для анализа видеопотока на наличие аномалий

О сервисе

Сервис позволяет загрузить данные в произвольном формате, получить визуализированную статистику по задетектированным аномалиям и выгрузить отчет об аномалиях в csv-файл.

Ссылка на сервис

Демонстрация работы

Архитектура ML

Анализ байтового потока:
Видео в .mp4 ➡️ перевод в байты ➡️ feature engineering ➡️ CatBoostClassifier ➡️ вероятность каждой аномалии

Анализ в формате RGB:
Видео в .mp4 ➡️ Кадры в RGB ➡️ ResNet18 ➡️ вероятность каждой аномалии

Архитектура сервиса

How to use guide:

1. Выберите режим
   • анализ байтового потока (время обработки 1 кадра - 10мс, accuracy - 87,1%)
   • анализ в формате RGB (время обработки 1 кадра - 31мс, accuracy - 97,7%)
2. Загрузите .mp4 файл, или zip-архив с файлами .mp4, или ссылку на rtsp поток
3. В случае загрузки zip-архива выберите файлы для построения графиков и отчета (или укажите все) и дождитесь окончания обработки
4. В случае загрузки ссылки на rtsp поток выберите момент остановки чтения потока. Отчет составится на основании промежутка с начала чтения потока до завершения
5. Скачайте отчёт (формат - .csv)
6. Структура отчета:
   • Секунда, на которой произошла аномалия
   • Тип аномалии (Размытие, Свет, Перекрытие, Движение)
   • Ссылка на соответствующий кадр

Запуск

Для запуска сервиса на локальной машине необходимо установить утилиты docker-compose и make.

1. Создать файлы .env в директориях ml и responser (примеры в .env.example)
2. Создать файл config.yaml в backend/config/ (пример в config.example.yaml)
3. Запустить сервис командой make run
4. Применить миграции командой make migrate_up
5. Фронтенд доступен на http://localhost:3000