凸関数(前半)
2016年7月8日
山嵜 涼雅
1 距離空間
(a) 距離と距離空間
ある集合を E(≠ ∅)とするとき、以下の4点をすべて満たしている d を距離、E と d の組
(E, d)を距離空間と呼ぶ。
Ⅰ 任意の𝑥,y∈Eに対して、d(𝑥,y) ≥ 0
Ⅱ 任意の𝑥,y∈Eに対して、d(𝑥,y) = 0 ↔ 𝑥 = 𝑦
Ⅲ 任意の𝑥,y∈Eに対して、d(𝑥,y) = d(y,𝑥)
Ⅳ 任意の𝑥,y∈E に対して、d(𝑥,y)+d(y,z) ≥ d(𝑥, z)
ここで、Ⅳを三角不等式と呼ぶ。
例えば、任意の𝑥(𝑥1,𝑥2,⋯, 𝑥 𝑛)、y(𝑦1, 𝑦2, ⋯, 𝑦 𝑛 )∈E に対して、
d(𝑥,y) = √(𝑥1 − 𝑦1)2 + (𝑥2 − 𝑦2)2 + ⋯+ (𝑥 𝑛 − 𝑦 𝑛 )2
と定義された d(𝑥,y)は距離となる。
これで定義された距離のことをユークリッド距離と言う。
ユークリッド距離とは普段使う距離のことである。
他にも距離の定義は様々存在する。
d(𝑥,y) =| 𝑥 − 𝑦|
d(𝑥,y) =max{| 𝑥1 − 𝑦1|, | 𝑥2 − 𝑦2|, ⋯, | 𝑥 𝑛 − 𝑦 𝑛 |}
も上の4点を満たしているので、距離といえる。
 3,1
 5,3
(b) 凸集合と区間
「集合Sは𝑅上の凸集合である」とは、集合Sに含まれる任意の2点を含む線分が、必ず集
合Sに含まれるということ。つまり、任意の2点を𝑥1, 𝑥2とすると、
𝑥 = 𝜆𝑥1 + (1 − 𝜆)𝑥2 (0 ≤ λ ≤ 1)
と定義された𝑥が、必ず集合Sに含まれることが𝑅上の凸集合であるための条件である。
ここで𝑅とは、実数全体を意味する(つまり虚数は含まない)。
𝑅上の区間は、以下の4つのみである。
① 閉区間 ある𝑥が a 以上 b 以下の区間にあるとき
② 開区間 ある𝑥が a を超過し、b 未満の区間にあるとき
③ 半開区間 ある𝑥が a を超過し、b 以下の区間にあるとき
ある𝑥が a 以上、b 未満の区間にあるとき
④ 無限区間 ある𝑥が a を超過(以上)の区間にあるとき つまりいくらでも大きくできる
ある𝑥が b 未満(以下)の区間にあるとき つまりいくらでも小さくできる
ある𝑥が実数全体(R)の区間にあるとき
また𝑅2
は座標平面を表すが、点 P の座標を(𝑥,y)、点 O を原点とすると
OP 成分も(𝑥,y)である。
bxa  )1(
bxa  )2(
bxa  )3(
bxa  )4(
xa  )5(
bx  )7(
xa  )6(
bx  )8(
)9(
・近傍と球と球面
点𝑝と𝑟 (𝑟 > 0)とすると、
中心𝑝、半径𝑟の近傍 U( 𝑝, 𝑟) = {( 𝑥|d(𝑝,𝑥) < 𝑟}
中心𝑝、半径𝑟の球 B( 𝑝,𝑟) = {( 𝑥|d(𝑝, 𝑥) ≤ 𝑟}
中心𝑝、半径𝑟の球面 S( 𝑝, 𝑟) = {( 𝑥|d(𝑝, 𝑥) = 𝑟}
(例) のとき(つまりユークリッド距離のとき)
上図は中心 p 半径 r の円であるが,近傍,球,球面の定義から
近傍 ⇒ 上図の円の内部(境界線は含まない)
球 ⇒ 上図の円の内部(境界線は含む)
球面 ⇒ 上図の円そのもの
となる。
平面上の点集合 M が与えられたとき、
U( 𝑝, 𝑟) ⊂ M
となる𝑟が存在するならば、𝑝を M の内点という。また、M の内点を全て集めたものをInt M
で表し、M の内部という。さらに、M と M の補集合が交わる点を境界点といい、境界点を
全て集めたものをBd(M)で表し、境界という。このとき、Int M ∩ Bd(M) = ∅であり、
Int M ∪ Bd(M) = M̅ で表し、M の閉包という。また、A には属していて B には属していない
点を全て集めたものを A\B で表すのだが、Bd(M) = M̅ \Int Mである。
kyk
p
r
     2
22
2
21, yxxxyxd 
内点
境界
(c) 上限と下限
実数の集合をS(≠ ∅)とすると、
すべての𝑥 ∈ Sに対して𝑥 ≤ αとなるαが存在するとき、S は上に有界であるといい、αを S
の上界という。上界の中で最小のものを sup S で表し、S の上限という。
すべての𝑥 ∈ Sに対して𝑥 ≥ βとなるβが存在するとき、S は下に有界であるといい、βを S
の下界という。下界の中で最大のものを inf S で表し、S の下限という。
infmin 
sup S=max S inf S=min S とは限らないが、上に有界ならば sup S、下に有界ならば inf S
が必ず存在する。これを実数の連続性という。
supmax 
infmin  supmax 
2 凸関数
ある区間に属する任意の 2 点𝑥1, 𝑥2と𝜆1 + 𝜆2 = 1,( 𝜆1 ≥ 0, 𝜆2 ≥ 0)について、
𝑓( 𝜆1 𝑥1 + 𝜆2 𝑥2) ≤ 𝜆1 𝑓( 𝑥1) + 𝜆2 𝑓( 𝑥2) ・・・ ①
𝑓( 𝜆1 𝑥1 + 𝜆2 𝑥2) < 𝜆1 𝑓( 𝑥1) + 𝜆2 𝑓( 𝑥2) (𝑥1 ≠ 𝑥2,𝜆1 𝜆2 ≠ 0) ・・・ ②
𝑓( 𝜆1 𝑥1 + 𝜆2 𝑥2) ≥ 𝜆1 𝑓( 𝑥1) + 𝜆2 𝑓( 𝑥2) ・・・ ③
𝑓( 𝜆1 𝑥1 + 𝜆2 𝑥2) > 𝜆1 𝑓( 𝑥1) + 𝜆2 𝑓( 𝑥2) (𝑥1 ≠ 𝑥2,𝜆1 𝜆2 ≠ 0) ・・・ ④
① 凸関数
② 狭義の凸関数
③ 凹関数
④ 狭義の凹関数
と定義される。
また、①、②の両辺を-1倍すると③、④の式になるので𝑓が凸関数ならば、-𝑓は
凹関数になり、𝑓が凹関数ならば、-𝑓は凸関数になる。
1x
2x
2211 xx λλ 
)( 2211 xxf λλ 
)()( 2211 xfxf λλ 
)( 2211 xxf λλ 
)()( 2211 xfxf λλ 


内藤ゼミ 凸関数 レジュメ

  • 1.
    凸関数(前半) 2016年7月8日 山嵜 涼雅 1 距離空間 (a)距離と距離空間 ある集合を E(≠ ∅)とするとき、以下の4点をすべて満たしている d を距離、E と d の組 (E, d)を距離空間と呼ぶ。 Ⅰ 任意の𝑥,y∈Eに対して、d(𝑥,y) ≥ 0 Ⅱ 任意の𝑥,y∈Eに対して、d(𝑥,y) = 0 ↔ 𝑥 = 𝑦 Ⅲ 任意の𝑥,y∈Eに対して、d(𝑥,y) = d(y,𝑥) Ⅳ 任意の𝑥,y∈E に対して、d(𝑥,y)+d(y,z) ≥ d(𝑥, z) ここで、Ⅳを三角不等式と呼ぶ。 例えば、任意の𝑥(𝑥1,𝑥2,⋯, 𝑥 𝑛)、y(𝑦1, 𝑦2, ⋯, 𝑦 𝑛 )∈E に対して、 d(𝑥,y) = √(𝑥1 − 𝑦1)2 + (𝑥2 − 𝑦2)2 + ⋯+ (𝑥 𝑛 − 𝑦 𝑛 )2 と定義された d(𝑥,y)は距離となる。 これで定義された距離のことをユークリッド距離と言う。 ユークリッド距離とは普段使う距離のことである。 他にも距離の定義は様々存在する。 d(𝑥,y) =| 𝑥 − 𝑦| d(𝑥,y) =max{| 𝑥1 − 𝑦1|, | 𝑥2 − 𝑦2|, ⋯, | 𝑥 𝑛 − 𝑦 𝑛 |} も上の4点を満たしているので、距離といえる。  3,1  5,3
  • 2.
    (b) 凸集合と区間 「集合Sは𝑅上の凸集合である」とは、集合Sに含まれる任意の2点を含む線分が、必ず集 合Sに含まれるということ。つまり、任意の2点を𝑥1, 𝑥2とすると、 𝑥= 𝜆𝑥1 + (1 − 𝜆)𝑥2 (0 ≤ λ ≤ 1) と定義された𝑥が、必ず集合Sに含まれることが𝑅上の凸集合であるための条件である。 ここで𝑅とは、実数全体を意味する(つまり虚数は含まない)。 𝑅上の区間は、以下の4つのみである。 ① 閉区間 ある𝑥が a 以上 b 以下の区間にあるとき ② 開区間 ある𝑥が a を超過し、b 未満の区間にあるとき ③ 半開区間 ある𝑥が a を超過し、b 以下の区間にあるとき ある𝑥が a 以上、b 未満の区間にあるとき ④ 無限区間 ある𝑥が a を超過(以上)の区間にあるとき つまりいくらでも大きくできる ある𝑥が b 未満(以下)の区間にあるとき つまりいくらでも小さくできる ある𝑥が実数全体(R)の区間にあるとき また𝑅2 は座標平面を表すが、点 P の座標を(𝑥,y)、点 O を原点とすると OP 成分も(𝑥,y)である。 bxa  )1( bxa  )2( bxa  )3( bxa  )4( xa  )5( bx  )7( xa  )6( bx  )8( )9(
  • 3.
    ・近傍と球と球面 点𝑝と𝑟 (𝑟 >0)とすると、 中心𝑝、半径𝑟の近傍 U( 𝑝, 𝑟) = {( 𝑥|d(𝑝,𝑥) < 𝑟} 中心𝑝、半径𝑟の球 B( 𝑝,𝑟) = {( 𝑥|d(𝑝, 𝑥) ≤ 𝑟} 中心𝑝、半径𝑟の球面 S( 𝑝, 𝑟) = {( 𝑥|d(𝑝, 𝑥) = 𝑟} (例) のとき(つまりユークリッド距離のとき) 上図は中心 p 半径 r の円であるが,近傍,球,球面の定義から 近傍 ⇒ 上図の円の内部(境界線は含まない) 球 ⇒ 上図の円の内部(境界線は含む) 球面 ⇒ 上図の円そのもの となる。 平面上の点集合 M が与えられたとき、 U( 𝑝, 𝑟) ⊂ M となる𝑟が存在するならば、𝑝を M の内点という。また、M の内点を全て集めたものをInt M で表し、M の内部という。さらに、M と M の補集合が交わる点を境界点といい、境界点を 全て集めたものをBd(M)で表し、境界という。このとき、Int M ∩ Bd(M) = ∅であり、 Int M ∪ Bd(M) = M̅ で表し、M の閉包という。また、A には属していて B には属していない 点を全て集めたものを A\B で表すのだが、Bd(M) = M̅ \Int Mである。 kyk p r      2 22 2 21, yxxxyxd  内点 境界
  • 4.
    (c) 上限と下限 実数の集合をS(≠ ∅)とすると、 すべての𝑥∈ Sに対して𝑥 ≤ αとなるαが存在するとき、S は上に有界であるといい、αを S の上界という。上界の中で最小のものを sup S で表し、S の上限という。 すべての𝑥 ∈ Sに対して𝑥 ≥ βとなるβが存在するとき、S は下に有界であるといい、βを S の下界という。下界の中で最大のものを inf S で表し、S の下限という。 infmin  sup S=max S inf S=min S とは限らないが、上に有界ならば sup S、下に有界ならば inf S が必ず存在する。これを実数の連続性という。 supmax  infmin  supmax 
  • 5.
    2 凸関数 ある区間に属する任意の 2点𝑥1, 𝑥2と𝜆1 + 𝜆2 = 1,( 𝜆1 ≥ 0, 𝜆2 ≥ 0)について、 𝑓( 𝜆1 𝑥1 + 𝜆2 𝑥2) ≤ 𝜆1 𝑓( 𝑥1) + 𝜆2 𝑓( 𝑥2) ・・・ ① 𝑓( 𝜆1 𝑥1 + 𝜆2 𝑥2) < 𝜆1 𝑓( 𝑥1) + 𝜆2 𝑓( 𝑥2) (𝑥1 ≠ 𝑥2,𝜆1 𝜆2 ≠ 0) ・・・ ② 𝑓( 𝜆1 𝑥1 + 𝜆2 𝑥2) ≥ 𝜆1 𝑓( 𝑥1) + 𝜆2 𝑓( 𝑥2) ・・・ ③ 𝑓( 𝜆1 𝑥1 + 𝜆2 𝑥2) > 𝜆1 𝑓( 𝑥1) + 𝜆2 𝑓( 𝑥2) (𝑥1 ≠ 𝑥2,𝜆1 𝜆2 ≠ 0) ・・・ ④ ① 凸関数 ② 狭義の凸関数 ③ 凹関数 ④ 狭義の凹関数 と定義される。 また、①、②の両辺を-1倍すると③、④の式になるので𝑓が凸関数ならば、-𝑓は 凹関数になり、𝑓が凹関数ならば、-𝑓は凸関数になる。 1x 2x 2211 xx λλ  )( 2211 xxf λλ  )()( 2211 xfxf λλ  )( 2211 xxf λλ  )()( 2211 xfxf λλ  