最適化理論の難しさ

非線形最適化では制約想定を仮定したうえで収束とかの議論を行うことがあるが、制約想定のうちの一つのMangasarian-Fromovitz制約想定を扱ったものについては、間違った結果や証明を行っているものも少なくないようだ。

https://arxiv.org/pdf/1803.11304.pdf

個人的には、Newton 法の２次収束についての証明における「最適解に十分近いところからスタートすれば」というのが、ちょっと変だなぁ、と感じることもある。終了判定に使う閾値をεとしたときに「最適解からε未満の距離にある点からスタートすれば」当然ながら最初の終了判定でアルゴリズムは終了するので、２次収束よりも圧倒的に高速である。このあたりに最適化理論の解析の困難さが付きまとっているように感じている。