Учебники

Ю.Е. Нестеров. Введение в выпуклую оптимизацию.

А.В. Гасников. Современные численные методы оптимизации.

Темы лекций

1. Введение в выпуклый анализ. Принцип множителей Лагранжа. Принцип Ферма.
2. Задачи выпуклой и невыпуклой оптимизации. Робастная оптимизация на примере линейного программирования с box-неопределенностью.
3. Двойственная задача. Примеры.
4. Методы центров тяжести, эллипсоидов. Полиномиальность линейного программирования в битовой сложности. Современные методы (Lee-Sidford-Wang).
5. Градиентный спуск, субградиентный спуск, быстрый градиентный спуск.
6. Метод сопряженных градиентов, быстрые градиентные методы со вспомогательной маломерной оптимизацией. Точность оценок скорости сходимости по Driori-Teboulle-Taylor'у.
7. Рестарты и регуляризация. Двойственное сглаживание. Прямо-двойственные методы.
8. Распределенная оптимизация.
9. Стохастическая оптимизация и рандомизированные методы. Универсальные (адаптивные) стохастические (быстрые) градиентные спуски.