Решение задачи финала НТО по профилю "Технологии компьютерного зрения"

Презентация доступна по ссылке.

Dockerized

Using docker-compose

There is a prepared docker-compose configuration, so that you can just run

docker compose up --build

Tweak port mapping and environment variables if necessary

Диaграмма Гантта

gantt
    dateFormat  YYYY-MM-DD
    title       План-график хакатона

    section Евгений
    Спецификация REST API    :done,    des1, 2024-04-09,1d
    Mock API и Docker        :done,    des2, 2024-04-09,1d
    Взаимодействие с БД      :active,  des3, 2024-04-10,1d
    Построение маршрутов     :         des4, 2024-04-10, 2d

    section Виталий
    Дизайн интерфейсов       :done,    des5, 2024-04-09,1d
    Заготовка главной страницы:done,   des6, 2024-04-09, 1d
    Страница с картой        :active,  des7, 2024-04-10,1d
    Галерея фотографий       :         des8, 2024-04-10, 1d

    section Тимолай
    Векторная БД Milvus      :done,    des9, 2024-04-09,1d
    Получение эмбеддингов    :done,    des10, 2024-04-09, 1d
    Обучение адаптеров       :active,  des11, 2024-04-10,2d
    Набор категорий          :         des12, 2024-04-10, 1d

    section Общее
    Решение проблем с DNS и GitLab:done,des13, 2024-04-09,1d

Loading

Отчет по первому дню

Разработка REST API и бэкенд-часть:

• Участник: Евгений
• Выполненные задачи:
  • Продумана спецификация REST API для поиска по картинке и тексту.
  • Реализована моковая версия API.
  • Бэкенд развернут в контейнере для удобства работы над фронтендом.
• Планы на следующий день:
  • Выстраивание взаимодействия с БД.
  • Начало работы над задачей по построению маршрутов.

Разработка фронтенда:

• Участник: Виталий
• Выполненные задачи:
  • Продуманы интерфейсы и нарисованы макеты.
  • Разработана заготовка главной страницы сайта с возможностью поиска достопримечательностей.
  • Фронтенд обернут в Docker, проверено взаимодействие с бэкендом.
• Планы на следующий день:
  • Создание полноценной страницы с картой, информацией о достопримечательностях и галереей фотографий.

Работа с данными и архитектура нейросетей:

• Участник: Тимолай
• Выполненные задачи:
  • Выбрана векторная БД Milvus для поиска похожих достопримечательностей.
  • Развернута БД в контейнере.
  • Проработана архитектура нейросетей для получения эмбеддингов картинок и текста.
  • Получены эмбеддинги картинок для всех достопримечательностей.
• Планы на следующий день:
  • Начало обучения адаптеров для максимизации похожести между эмбеддингами текстов и картинок.
  • Продумывание набора категорий для достопримечательностей и методов их предсказания.

Отчет по второму дню

Разработка REST API и бэкенд-часть:

• Участник: Евгений
• Выполненные задачи:
  • Успешное выстраивание взаимодействия бэкенда с базой данных.
  • Реализация скрипта для импорта начальных данных в базу.
  • Разработка логики взаимодействия с моделью.
• Планы на следующий день:
  • Тестирование и отладка взаимодействия между всеми компонентами системы.

Разработка фронтенда:

• Участник: Виталий
• Выполненные задачи:
  • Завершена разработка всех страниц фронтенда, включая страницу с картой и галереей фотографий.
  • Реализация функционала поиска оптимального маршрута между достопримечательностями.
• Планы на следующий день:
  • Выгрузка дополнительных наборов данных

Работа с данными и архитектура нейросетей:

• Участник: Тимолай
• Выполненные задачи:
  • Эксперименты с различными моделями для обучения адаптеров img2vec и text2vec.
  • Успешное создание адаптеров и начало их обучения.
  • Решение проблемы с отваливающейся видеокартой, что позволило продолжить тренировку моделей без перебоев.
• Планы на следующий день:
  • Завершение обучения адаптеров и начало их интеграции с системой поиска похожих достопримечательностей.
  • Разработка системы категоризации достопримечательностей на основе полученных эмбеддингов.