Использование готовых библиотек для оптимизации на Python

Условие

Основные задания

1. Изучить использование SGD (torch.optim) из PyTorch. Исследовать эффективность и сравнить с собственными реализациями из 2-ой работы.
2. Изучить использование готовых методов оптимизации из SciPy (scipy.optimize.minimize, scipy.optimize.least_squares):
   • исследовать эффективность и сравнить с собственными реализациями из 3-ей работы;
   • реализовать использование PyTorch для вычисления градиента и сравнить с другими подходами;
   • исследовать как задание границ, изменения параметров влияет на работу методов из SciPy.

Дополнительное задание

Исследовать использование линейных и нелинейных ограничений при использовании scipy.optimize.minimize из SciPy (scipy.optimize.LinearConstraint и scipy.optimize.NonlinearConstraint). Рассмотреть случаи когда минимум находится на границе заданной области и когда он расположен внутри.

Структура проекта

Каталоги проекта

• Sources/ — директория с исходным кодом лабораторной работы.
• Image/ — директория с картинками для отчета. Названия соответствуют следующему шаблону: Ta_Fc_*.png или же Ta_Pb_Fc_*.png, где a - номер задания, b - номер пункта, * - дополнительная информация.

Файлы в корневом каталоге

• Report.tex — исходный файл отчета.
• Report.pdf — собранный в формате PDF файл отчета.
• .gitignore — все игнорируемые git файлы.
• README.md — этот файл.