「しっかり学ぶ数理最適化」輪読会 2.3 双対問題

1. K-Lab UTokyo
III/GSII
東京⼤学⼤学院学際情報学府 三股猛
しっかり学ぶ数理最適化
2.3-2.3.1 緩和問題と双対定理
越塚研究室・数理最適化勉強会 – 第２回
2021年04⽉22⽇（⽊）
ダイワユビキタス学術研究館

2. K-Lab UTokyo
Agenda
2.3 緩和問題と双対定理
2.3.1 双対問題
2.3.2 緩和問題
2.3.3 双対定理
2.3.4 感度分析
2.3.5 双対単体法
2

3. K-Lab UTokyo
3 緩和問題と双対定理
3
復習
頂点を辿ることで最適解を探していくのが単体法だった
Thanks to Prof.Umetani, Univ. Osaka[1]

4. K-Lab UTokyo
3 緩和問題と双対定理
4
この章の⽬的
⽬的︓最適解を求めるのが困難な問題に対して、最適値の範囲を絞ってあげる
だけど…
どんな線形計画問題でも線形計画法
で最適解が求まるか︖
=> No. 困難な問題もある
数理最適化の⽬的
最適解を求めること
本章の⽬的

5. K-Lab UTokyo
Agenda
2.3 緩和問題と双対定理
2.3.1 双対問題
2.3.2 緩和問題
2.3.3 双対定理
2.3.4 感度分析
2.3.5 双対単体法
5

6. K-Lab UTokyo
2.3.1 双対問題
6
具体例を⾒てみよう
例）線形計画問題
20𝑥! + 10𝑥"
𝑥! + 𝑥" ≤ 6,
3𝑥! + 𝑥" ≤ 12,
𝑥! + 2𝑥" ≤ 10,
𝑥!, 𝑥" ≥ 0
条件
最⼤化
->①
->②
->③
この問題を解くのではなく、⽬的関数の最
適値𝑧∗の取りうる範囲を考えよう
下界を考える
（条件を眺めてみて）実⾏可能解として、(3, 3)が
あるなぁ
𝑧 3, 3 = 20×3 + 10×3 = 90
->𝑧
∵ 𝑧∗ ≥ 90
上界を考える
制約条件をゴニョゴニョしてzを表現する
②x6+③x2を考えると…
新たな不等式が得られる. 最適値𝑥!
∗
, 𝑥#
∗
は当然こ
の不等式を常に満たすので𝑧∗
≤ 92が得られる．
同様に①x5+②x5は以下のようになる．
新たなより良い上界𝑧∗
≤ 90が得られる．
最適値に関する上界と下界が⼀致しているので、
最適値が90であることがわかる（おぉ〜〜〜）
⼀般化しよう！

7. K-Lab UTokyo
2.3.1 双対問題
7
⼿続きの⼀般化
例）線形計画問題
20𝑥! + 10𝑥"
𝑥! + 𝑥" ≤ 6,
3𝑥! + 𝑥" ≤ 12,
𝑥! + 2𝑥" ≤ 10,
𝑥!, 𝑥" ≥ 0
条件
最⼤化
->①
->②
->③
->𝑧
制約条件①，②，③をそれぞれ𝑦!, 𝑦# , 𝑦$倍して⾜
し合わせると
𝑦" + 3𝑦# + 𝑦$ 𝑥" + 𝑦" + 𝑦# + 2𝑦$ 𝑥#
≤ 6𝑦" + 12𝑦# + 10𝑦$
新たな不等式が得られる．ただし𝑦!, 𝑦# , 𝑦$は正で
なければならない（不等式がおかしくなる）
最適解では𝑥!
∗
, 𝑥#
∗
は⾮負であるから
20𝑥!
∗
+ 10𝑥#
∗
≤ 𝑦! + 3𝑦# + 𝑦$ 𝑥!
∗
+ 𝑦! + 𝑦# + 2𝑦$ 𝑥#
∗
≤ 6𝑦! + 12𝑦# + 10𝑦$
より最適値𝑧∗
の上界が求められる．
これらをまとめると新たな線形計画問題が導かれ
る．
双対問題
6𝑦! + 12𝑦" + 10𝑦#
𝑦! + 3𝑦" + 𝑦# ≥ 20,
𝑦! + 𝑦" + 2𝑦# ≥ 10,
𝑦!, 𝑦" , 𝑦# ≥ 0
条件
最⼩化
ある最適化問題の最適値のより良い上界(※)を求める問題を双対問題と呼ぶ
元の問題を主問題と呼ぶ
※最⼤化問題であれば上界，最⼩化問題であれば下界

8. K-Lab UTokyo 8
2.3.1 双対問題 更なる⼀般化へ
主問題(primal problem)
1
%&"
'
𝑐% 𝑥%
条件
最⼤化
1
%&"
'
𝑎(% 𝑥% ≤ 𝑏(, 𝑖 = 1, … , 𝑚
𝑗 = 1, … , 𝑛.
𝑥% ≥ 0,
双対問題(dual problem)
1
(&"
)
𝑏( 𝑦(
条件
最⼩化
まず，各制約条件に⾮負の係数𝑦𝑖を掛けて⾜し合わ
せると
1
(&"
)
𝑦( 1
%&"
'
𝑎(% 𝑥% ≤ 1
(&"
)
𝑦( 𝑏(
新たな不等式が得られた．左辺を𝑥&についてまとめ
る
1
%&"
'
𝑥% 1
(&"
)
𝑎(% 𝑦( ≤ 1
(&"
)
𝑦( 𝑏(
𝑥& ≥ 0であるため， 𝑥&の係数が𝑐&以上である関係性
から
1
%&"
'
𝑐% 𝑥% ≤ 1
%&"
'
𝑥% 1
(&"
)
𝑎(% 𝑦( ≤ 1
(&"
)
𝑦( 𝑏(
まとめると….
1
(&"
)
𝑎(% 𝑦( ≥ 𝑐%, 𝑗 = 1, … , 𝑛.
𝑦( ≥ 0, 𝑖 = 1, … , 𝑚

9. K-Lab UTokyo 9
2.3.1 双対問題 ⾮負制約がない場合の⼀般化
主問題(primal problem)
1
%&"
'
𝑐% 𝑥%
条件
最⼤化
1
%&"
'
𝑎(% 𝑥% ≤ 𝑏(, 𝑖 = 1, … , 𝑚
双対問題(dual problem)
1
(&"
)
𝑏( 𝑦(
条件
最⼩化
まず，各制約条件に⾮負の係数𝑦𝑖を掛けて⾜し合わ
せ，先ほどと同様𝑥&についてまとめる
おんなじ形になるんじゃが…
𝑥&の係数の条件に関しての不等式が𝑥&が負になると
成り⽴たなくなる.
1
%&"
'
𝑥% 1
(&"
)
𝑎(% 𝑦( ≤ 1
(&"
)
𝑦( 𝑏(
従って等号にしてあげる
1
%&"
'
𝑐% 𝑥% = 1
%&"
'
𝑥% 1
(&"
)
𝑎(% 𝑦( ≤ 1
(&"
)
𝑦( 𝑏(
まとめると….
1
(&"
)
𝑎(% 𝑦( = 𝑐%, 𝑗 = 1, … , 𝑛.
𝑦( ≥ 0, 𝑖 = 1, … , 𝑚
1
%&"
'
𝑐% 𝑥% ≤ 1
%&"
'
𝑥% 1
(&"
)
𝑎(% 𝑦(

10. K-Lab UTokyo 10
2.3.1 双対問題 等式制約の場合の⼀般化
主問題(primal problem)
1
%&"
'
𝑐% 𝑥%
条件
最⼤化
1
%&"
'
𝑎(% 𝑥% = 𝑏(, 𝑖 = 1, … , 𝑚
𝑗 = 1, … , 𝑛.
𝑥% ≥ 0,
双対問題(dual problem)
1
(&"
)
𝑏( 𝑦(
条件
最⼩化
1
%&"
'
𝑥% 1
(&"
)
𝑎(% 𝑦( = 1
(&"
)
𝑦( 𝑏(
𝑥& ≥ 0であるため， 𝑥&の係数が𝑐&以上である関係性
から
1
%&"
'
𝑐% 𝑥% ≤ 1
%&"
'
𝑥% 1
(&"
)
𝑎(% 𝑦( = 1
(&"
)
𝑦( 𝑏(
まとめると….
1
(&"
)
𝑎(% 𝑦( ≥ 𝑐%, 𝑗 = 1, … , 𝑛.
まず，各制約条件に⾮負の係数𝑦𝑖を掛けて⾜し合わ
せ，先ほどと同様𝑥&についてまとめる

11. K-Lab UTokyo 11
Appendix - 参考⽂献
[1] https://speakerdeck.com/umepon/an-introduction-to-linear-programming?slide=45 より