Программа для автоматического анализа и оценивания видеозаписи выступления фигуриста с помощью нейронных сетей на основе статьи Score Figure Skating Sport Videos.
Архитектура модели:
Модель состоит из четырёх частей:
- Получение признаков действий C3D из видеозаписи
- S-LSTM, использующий механизм self-attention и позволяющий получить более компактное представление признаков, по которым делается предсказание
- M-LSTM, использующий 3 уровня свёрточных сетей, к выходным данным которых применяется LSTM с пропуском состояний, что позволяет получить 3 предсказания
- Объединение 4-х предсказаний, на основе которых последний полносвязный слой выдаёт финальное предсказание оценок TES и PCS
Датасет видеозаписей выступления фигуристов, представленный уже в виде признаков C3D можно загрузить по этой ссылке
Для самостоятельного извлечения признаков понадобятся веса и оригинальный датасет
Результаты корреляции Спирмена:
| Модель | TES | PCS |
|---|---|---|
| LSTM | 0,58 | 0,73 |
| Двунапр. LSTM | 0,54 | 0,70 |
| S-LSTM | 0,65 | 0,73 |
| M-LSTM | 0,62 | 0,74 |
| S-LSTM+M-LSTM | 0,62 | 0,74 |