Skip to content

brain-lab-research/OPTIMIZATION-METHODS-COURSE

Repository files navigation

Методы оптимизации

МФТИ ПМИ | Осенний семестр 2024


Лекционные материалы

Неделя Тема Материалы
1 Вводная лекция Слайды
2 Выпуклость и гладкость. Градиентный спуск Слайды | Видео
3 Гладкость. Градиентный спуск Слайды | Видео
4 Моментум и ускорение. Оптимальный метод Слайды | Видео
5 Метод сопряжённых градиентов Слайды | Видео
6 Метод Ньютона. Квазиньютоновские методы. Матрица предобработки Слайды | Видео
7 Оптимизация на "простых" множествах. Метод проекции градиента Слайды | Видео
8 Негладкая оптимизация. Проксимальный метод Слайды | Видео
9 Метод штрафов. ADMM Слайды | Видео
10 Метод внутренней точки. Самосогласованные барьеры Слайды | Видео
11 Лагранжиан. Седловая задача. Метод экстраградиента Слайды | Видео
12 Метод зеркального спуска Слайды | Видео
13 Стохастическая оптимизация. SGD Слайды | Видео
14 Стохастическая оптимизация (продолжение). Координатный спуск Слайды | Видео
15 Распределённая оптимизация Слайды

Семинарские занятия

Номер Тема
1 Пререквизиты из линейной алгебры
2 Матрично-векторное дифференцирование. Теория
3 Матрично-векторное дифференцирование. Практика
4 Выпуклые множества
5 Выпуклые функции
6 Субградиент и субдифференциал
7 Сопряжённые множества и сопряжённые функции
8 Стратегии выбора шага в методах оптимизации
9 Двойственность по Лагранжу
10 Условия оптимальности Каруша-Куна-Такера
11 Стандартные классы задач выпуклой оптимизации
12 CVXPY и SciPy

Составители курса

ФИ Роль
Александр Безносиков Академический руководитель
Александр Богданов Технический руководитель
Фанис Хафизов Материал лекций в пособии
Дмитрий Былинкин Материал семинаров в пособии
Наиль Баширов Практические домашние задания
Борис Прохоров Теоретические домашние задания
Алексей Ребриков Оформление пособия
Григорий Давыденко Ассистент
Дарья Солодова Ассистент

About

Методы оптимизации в ML

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 2

  •  
  •  

Languages