Jensen不等式、共轭函数、Fenchel不等式 - fountainhead-gq/MachineLearning GitHub Wiki

Jensen不等式

过一个凸函数上任意两点所作割线一定在这两点间的函数图象的上方. f(E(x)) ≤ E(f(x))

共轭函数

• 定义式中的f(x)不一定是凸函数。
• 共轭函数一定是凸函数。
• 凸函数的共轭函数的共轭函数是其本身。

Fenchel不等式

根据共轭函数的定义，f*(x)是对yTx- f(x)求上确界，于是一定有f*(x)≥yTx - f(x)，把f(x)移到左边于是就有了式子： f(x) + f*(y)≥xTy