Convex optimization(https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf)の1~4章の内容を紹介した. 主に扱ったトピックは凸集合, 凸関数, 凸最適化の定義や例で内容は初心者向け. 気になった人は是非原著に当たって欲しい.

1. Convex Optimization
Presenter: @raitefu_ml
Place: DeepCoreKernel
Date: 2018/1/26

2. 書誌情報
❏ https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf
❏ 同著者 スライド 引用数が 40000超
❏ 例や図が豊富で具体的なイメージがつきやすい
❏ 理論-応用-アルゴリズム 3章からなる
❏ 理論パート 凸最適化 定式化
ex) convex set, convex function etc.
❏ 応用 凸最適化が使われる主要な場面 紹介
ex) Statistical Estimation etc.
❏ アルゴリズムパート 具体的な解き方
ex) 勾配降下 etc.
❏ 今日やる 理論パート (2~4章)

3. 今日やること 〜凸〇〇 定義から問題定式化まで〜
1. Introduction
Notation + 凸最適化問題 標準形
2. Convex Set
凸集合 定義
3. Convex Function
凸関数 定義
4. Convex Optimization
凸最適化問題 定式化

4. Notation

5. 凸最適化問題で解きたいも
❏ 凸最適化といえ こ 形を思い出せ よい
❏ 凸最適化 かなり研究が進んでおり , 効率的な解き方が存在する . で式変形をして凸最適化問題 形
に落とし込め 効率的に解ける (今回 解き方まで やらない )(やれない)

6. 今日やること 〜凸〇〇 定義から問題定式化まで〜
1. Introduction
Notation + 凸最適化問題 標準形
2. Convex Set
凸集合 定義
3. Convex Function
凸関数 定義
4. Convex Optimization
凸最適化問題 定式化

7. 凸集合(convex set) 定義
凸 凸でない 凸でない

8. 凸集合 凸関数 実質的な定義域を形成する
❏ 凸関数 凸集合上で定義される で関数 定義域として凸集合を定義しておく必要がある
❏ 凸最適化において 凸関数 定義域だけで なく , 実行可能集合(feasible set)も凸集合で指定される
(凸集合 intersection 凸集合な で, 凸関数 実行可能集合上でも矛盾なく定義できる )
❏ 不等式を拡張した一般化不等式に凸錐 (凸集合 一つ)が使われる(後述).
半空間
線形な不等式で指定される領域
多面体(polyhedron)
半空間 intersectionとして指定される領域

9. 凸集合 例: 凸錐
グレー 領域が凸錐をなす.

10. 凸錐 例: 半正定値対称行列
❏ 半正定値対称行列 凸錐をなす . なぜなら ,
上記 計算により半正定値対称行列 錐結合 (conic combination) 再び半正定値対称行列となること
がわかる.

11. 錐 ベクトル 大小関係を規定するためにも使われる
❏ 最適化問題において目的関数 戻り値がベクトル 時 , ベクトル 良さを比較する必要 がある
❏ ベクトル間 大小関係 非自明
ex) [3, 3, 3]と[1, 1, 1]なら前者が大きそうだが , [1, 3, 4]と[2, 1, 4] …？
❏ 凸錐 概念 一般化不等式に直接使われる . 厳密に 凸錐より強い 真錐(proper cone)を使う
一般化不等式を使って大小関係を比較する

12. 一般化不等式(generalized inequality)
❏ 次 条件を満たす凸錐 Kを真錐と呼ぶ
❏ K 閉集合である
❏ K 空でない内部を持つ
❏ K 直線を含まない
❏ 真錐Kが与えられた元で一般化不等式を以下 ように定義する
❏ 上記定義 スカラー 場合 不等式やベクトル 場合 不等式 拡張になっている
ex) Kを非負象限にとってやれ , R上で通常 不等式に , R^n上でelement-wiseな不等式になる
❏ スカラー 場合と違って 任意 2元に対して必ずしも不等式 成立しないことに注意

13. 一般化不等式に成り立つ性質

14. 一般化不等式を導入すると多次元 場合でも極小, 最小が定義できる
❏ xが集合S 中で最小(minimum)であると , 任意 S 要素yに対して一般化不等式が成り立ち , xが
小さいことを言う. 最小値 一意である .
❏ xが集合S 中で極小(minimal)であると , 一般化不等式が成り立つような任意 S 要素yに対して, x
自身を除いて小さいことを言う . 極小値 複数存在しうる .
最小 極小

15. 今日やること 〜凸〇〇 定義から問題定式化まで〜
1. Introduction
Notation + 凸最適化問題 標準形
2. Convex Set
凸集合 定義
3. Convex Function
凸関数 定義
4. Convex Optimization
凸最適化問題 定式化

16. 凸関数(convex function) 定義
2点を結んだ線分が常にグラフ 上側に来る と言い換
えることもできる. また凸関数 上側 領域
(epigraph) 常に凸集合になる . 凸関数 最適性条
件(微分0)が最適解 必要十分条件であるという良い
性質を持っている. つまり局所的な情報(微分)から大
域的な情報(最小)を導出できる.

17. 一階微分可能な関数 凸性チェック
左図 ように任意 接線が常に
関数全体より下側に来るような関
数 凸関数である. こ 条件 必
要十分である.

18. 二階微分可能な関数 凸性チェック
❏ 二階微分可能だと凸性チェックがとても簡単
❏ 十分条件ぽく書いたが , 実際 必要十分条件である
❏ 例) 二次関数fが凸であるため 必要十分条件 , 二次項 係数行列が半正定値である . すなわち,
という関数fを考えた時, Pが半正定値であれ 凸である .

19. 色々な凸関数たち1/2

20. 色々な凸関数たち2/2

21. 準凸関数(quasiconvex function)
❏ 凸関数 定義を緩めたクラスとして準凸関数が存在 する
❏ 扱える関数が凸関数より広い で , より広範な最適化問題に適用可能 (凸最適化より効率 悪い )

22. 準凸関数 概形
❏ 上記関数 ど ような αを持って来ても, sublevel setが区間になる で準凸関数である

23. 準凸関数で 凸っぽくない形 関数も扱える
❏ 準凸 概念 凹関数や不連続関数にも適応可能
❏ 平坦な部分を含んだ凸っぽい関数 (前出)や, 単調関数 sublevel setが区間になる で準凸関数
である
❏ 凸っぽくないが準凸である関数 例

24. 準凸関数 厳密な必要十分条件
❏ 単調関数であるか, ある一点で単調増加と単調減少が切り替わっているような形状をしていることが準凸
関数 必要十分条件である
❏ でやっ り凸性や連続性など 性質 満たす必要がない
❏ 関数 微分可能性を仮定すると , 凸関数 時 ように微分をみて準凸関数 チェックができる
(今回 割愛)

25. 今日やること 〜凸〇〇 定義から問題定式化まで〜
1. Introduction
Notation + 凸最適化問題 標準形
2. Convex Set
凸集合 定義
3. Convex Function
凸関数 定義
4. Convex Optimization
凸最適化問題 定式化

26. 凸最適化問題で解きたいも (再掲)
❏ 凸最適化といえ こ 形を思い出せ よい
❏ 凸最適化 かなり研究が進んでおり , 効率的な解き方が存在する . で式変形をして凸最適化問題 形
に落とし込め 効率的に解ける (今回 解き方まで やらない )(やれない)

27. 凸最適化問題 定式化
❏ 凸最適化と ,
❏ 凸関数によって指定される凸な領域 (実行可能集合)上で
❏ 凸関数f(x) 値を最小化(最大化)するxを見つける問題
❏ 関数f(x) 最大化問題 , f(x) 符号反転を考えれ 良い で , 今後最適化といえ 最小化を意味する
ことと約束する
❏ 目的関数が最小をとる時 xを変えない(もちろん実行可能集合も変えない )ような変換 自由に施して良
い(どちらを解いても元 問題を解いたことになる )

28. 凸最適化問題 幾何的解釈
❏ 実行可能集合をXとした時, そ 上に目的関数
f_0が定義されている(左図 全域でf_0が定義さ
れてる)
❏ X 中に最小値が存在すれ , すなわち微分0
点が存在すれ それが最適解
❏ こ 時全て 制約が有効で ない (not
active)という
❏ 最適解が実行可能集合 中にない時 , 解 必ず
境界上にある. こ 時目的関数 勾配ベクトルと
実行可能集合 支持超平面 (supporting
hyperplace)が直交する

29. 最適解が境界に存在すること ざっくり証明
❏ 最適解が境界上に存在すること 背理法で示せ
る
❏ 最適解xが内部にあると仮定すると , 目的関数が
可微分 時勾配が取れるが , 勾配降下した方に
より小さい目的関数を与える点が存在するため ,
xが最適解である仮定に矛盾する

30. 凸最適化問題 解 十分条件
❏ 凸最適化問題 最適解 必要十分条件が存在する (4.21)
❏ 幾何的に 最適解xにおいて勾配ベクトルと 内積が最小になることが必要十分条件

31. お気持ちスライド

32. 等価な最適化問題
❏ 最適化問題 解を変えないように , 最適化式あるい 最適化変数に変換を施した問題を , 等価な最適化
問題という
❏ 等価な最適化問題に 次 ようなも がある
❏ 最適化変数 全単射な入れ替え
❏ 目的関数を単調増加関数と合成＋制約領域を変えないように式を変換 (目的と制約 変換)
❏ スラック変数を導入(不等式から等式へ 変換 )
❏ 等式制約 削除
❏ etc.

33. 目的関数と制約式 変換
❏ 最終的に求めたいこと , 最適化変数がどこにあれ 目的関数が最小になるかな で , 目的関数 値そ
も に 興味がない
❏ 制約式 範囲 変えて いけない . 消したり増やした範囲に最適解があると解が変わってしまう
単調増加関数と合成できる (目的関数 勾配が急 orなだらかになるだけ )
制約式を変えないような関数となら合成しても良い
(意味があるか 知らない )

34. 目的関数 変換 例: ノルム最小化
❏ 元々 問題 ユークリッドノルム最小化だが , 目的関数 変換後 ノルム二乗を最小化する問題になっ
ている
❏ ノルム 正 値しかとらない で二乗関数 単調
❏ 変換後 目的関数 簡単に解ける形になっていてうれしい

35. スラック変数 導入
❏ SVM 導出でも出てくる有名なやつ
❏ 制約式が増える代わりに , 不等式条件を等式条件に変換することができる
❏ 本質的に 何も変わっていない だが都合いい場合がある

36. 準凸最適化問題 定式化
❏ 準凸最適化問題 凸最適化問題 目的関数を準凸関数で置き換えたも
❏ 制約式 条件 凸最適化と同じ . すなわち
❏ 不等式条件 関数f_i 凸関数
❏ 等式制約 線形
❏ 準凸に 平坦な領域がありうる で , 凸最適化と最適性条件が変わる

37. 準凸最適化問題 解 十分条件
❏ 凸最適化問題 十分条件と似ているが以下 2点で異なる
❏ 凸最適化問題 十分条件 必要条件でもあったが , こちら 十分条件だけ
❏ 不等号がイコール 場合に成立しない
❏ 特に勾配が0である場合に十分条件にならない . これ 平坦領域がありうることに由来

38. 線形計画(Linear Program)
❏ 線形計画 目的関数および制約式が全て線形な凸最適化問題
❏ 不等式条件 超平面で囲まれた多面体を形成
❏ 等式条件 解 存在する部分空間を指定
❏ 以上 制約 元で線形な関数 最小化を行う

39. 線形計画 幾何学的解釈
❏ 等式条件を満たす多面体 P 中でもっとも目的関数
が大きくなる点を探す
❏ 目的関数 線形な で , 空間 中で等高線が超平面
を描く. 超平面 法線ベクトル -cで形成される
❏ 線形計画 解 幾何的に 超平面と接する点で最
小値を与えるも を探す問題である

40. 二次最適化問題(Quadratic Optimization Problem)
❏ 二次最適化問題 目的関数が最適化変数に関する二次式 , 制約条件が全て線形 凸最適化問題
❏ 制約式が線形計画と同じな で , 等式条件を満たすアフィン部分空間上 多面体 中で最適な点を探す
問題

41. 二次最適化問題 幾何学的解釈
❏ 実行可能集合 線形計画と同様 . 目的関数が二次な で等
高線 楕円を形成
❏ 幾何学的に 目的関数 等高線に接する最小値を与える点
を求める問題
❏ 最小二乗法 二次最適化 一種 (機械学習でよく見る制約条
件 線形で なくノルムボール . な で実行可能集合が多面
体で なく球だったり超立方体だったりする )

42. 単項式と多項式
❏ (4.41) 形を単項式(monomial), (4.42) 形を多項式(posynomial)という. 単項式を足し合わせると多
項式になる.
❏ 単項式や多項式を用いた凸最適化問題を扱いたい (気持ち)

43. 幾何計画(Geometric Program)
❏ 幾何計画 目的関数と不等式条件が多項式 , 等式条件が単項式であるような凸最適化問題
❏ 一見して凸性が自明でないが変形すると凸最適化問題に変換できる

44. 幾何計画 例

45. オワり