Цифрвовой прорыв: сезон ИИ

Кейс: Распознавание дефектов дорожного покрытия

Состав команды "нейрON"
Чиженко Леон (https://github.com/Leon200211) - Fullstack-разработчик
Сергей Куликов (https://github.com/MrMarvel) - Backend-разработчик
Карпов Даниил (https://github.com/Free4ky) - ML-engineer
Валуева Анастасия (https://github.com/VoLuIcHiK) - ML-engineer/Designer
Козлов Михаил (https://github.com/Borntowarn) - ML-engineer

Оглавление

1. Задание
2. Решение
3. Результат разработки
4. Уникальность нашего решения
5. Стек
6. Запуск
7. Ссылки

Задание

На основе данных видеопотока, данных с лидаров, с акселерометров распознавать трещины, ямы, «заплатки» на асфальтовом покрытии, а также взаимосвязывать найденные дефекты с данными геолокации - в виде отрисованной карты дефектов территории с обозначением типов дефектов. Для отрисовки возможно использование как симуляционной среды, представленной участникам компанией «Меркатор Холдинг», так и самостоятельной реализации на любом удобном для команды фреймворке.

Решение

Ниже представлен алгоритм работы ML-части нашего приложения:

Схема базы данных:

Изображение в наборе данных:

Обнаруженные на нем ямы:

Результат разработки

В ходе решения поставленной задачи нам удалось разработать веб-сервис со следующими возможностями:

1. Фильтрация дефектов по классам и дате обнаружения;
2. Анализ результатов обработки файла (отображение графиков);
3. Возможность выбора типа карты;
4. Загрузка данных на сайте в формате .db3 (в разработке).

Также была реализована программы для детекции ям с помощью данных лидара, база данных для хранения информации (класс дефекта, его координаты и дата обнаружения/обновления), программа для распознавания дефектов дорожного покрытия (выбоина, аллигаторная трещина, поперечная трещина, продольная трещина) на основе видеопотока.

Уникальность нашего решения

• Распознавание ям происходит с помощью данных лидара;
• Отсуствия тяжелых нейронных сетей для распознавания ям (использование математических операций и алгоритма кластеризации DBSCAN);
• Кросс-платформенный сервис;
• Подходит любая ОС, которая поддерживает docker (упаковали решение в docker-контейнеры)
• Дополнительно: наличии нейронной сети для распознавания ям по видеопотоку (веса для YOLOv8 лежат на гугл-диске).

Стек

           

Запуск

Первый запуск может занимать 10 минут и более.

Для запуска сервиса загрузки:

1. Склонировать репозиторий git clone
2. В папке проекта выполнить команду docker-compose up
3. Зайти на 127.0.0.1:7860.
4. Загрузить .db3 файл.
5. Нажать обработать

Для просмотра результата можно зайти на сайт:

1. Зайти на сайт "Дорожный контроль";
2. Посмотреть результат работы программы, отображенный на карте.

Ссылки

• Ссылка на наш сайт "Дорожный контроль"
• Гугл диск с материалами