量子アニーリングを用いたクラスタ分析

Shu Tanaka
Shu TanakaScientist at 早稲田大学 | Waseda University
量量⼦子アニーリングを⽤用いた
クラスタ分析
Kenichi Kurihara, Shu Tanaka, and Seiji Miyashita
“Quantum Annealing for Clustering”, UAI2009
QuantumAnnealing
Simulated annealing
Hybrid annealing
本研究の概要
量量⼦子アニーリングを、クラスタ分析に適⽤用した。
✔  量量⼦子アニーリングをモンテカルロ法により実装した。
✔  量量⼦子アニーリングの効率率率が、シミュレーテッドアニーリングの  
    効率率率よりも良良いことを、具体的な問題を通じて観測した。
シミュレーテッドアニーリング  
  組合せ最適化問題の最適解を得る⼿手法。熱揺らぎを徐々に弱める  
  (温度度を徐々に下げる)ことにより、最適解を⽣生成する。
量量⼦子アニーリング  
  シミュレーテッドアニーリングの量量⼦子版。量量⼦子揺らぎを徐々に  
  弱めることにより、最適解を⽣生成する。
クラスタ分析  
  データ列列をグループ分けする⽅方法。  
  様々な分野における応⽤用がある。
物理理学の知⾒見見を活かした
組合せ最適化問題解法
組合せ最適化問題
多数の選択肢から、ベストな解を選ぶ問題
巡回セールスマン問題  
    ✔  各点を⼀一度度だけ通過  
    ✔  全ての点を回る  
    ✔  コストを最⼩小にする条件
全ての選択肢を試す?  
    点が少ない:簡単  
    点が多い  :困難  
    選択肢の数:N!  
    (10点:106  
通り、20点:1018
通り)
組合せ最適化問題
都市数 巡回経路路数 計算時間(京を利利⽤用として)
5 12 10-‐‑‒15
秒
10 2x105
2x10-‐‑‒11
秒
15 4x108
4x10-‐‑‒8
秒
20 6x1016
6秒
25 3x1023
359⽇日
30 4x1030
1401万年年
多変数実関数の最⼩小値(最⼤大値)を取る条件を求める問題
x = argminxf(x)
x = (x1, · · · , xN )
多数の選択肢から、ベストな解を選ぶ問題
巡回セールスマン問題を総当り戦で調べた場合
組合せ最適化問題
問題の
サイズ
解の候補
指数関数的増⼤大
多変数実関数の最⼩小値(最⼤大値)を取る条件を求める問題
x = argminxf(x)
x = (x1, · · · , xN )
多数の選択肢から、ベストな解を選ぶ問題
組合せ最適化問題とイジング模型
磁性体の物理理と、情報科学のビット表現は等価
00010110
スピン
ビット
ピクセル
Ising  モデル
H =
i,j
Jij
z
i
z
j
z
i = ±1
強磁性相互作⽤用
基底状態が簡単に分かる
強磁性 反強磁性
基底状態が簡単に分からない
ランダムスピン系
反強磁性相互作⽤用
並進対称性  
フーリエ変換:基底状態の解析
最適化問題の汎⽤用的解法  
シミュレーテッドアニーリング  
交換法
相互作⽤用による協調または競合を
最も端的に表現する理理論論模型
シミュレーテッドアニーリング
シミュレーテッドアニーリング  
温度度を徐々に下げる
z
i = ±1
つながっている  
スピン(ビット)間の
相互作⽤用
スピン(ビット)に  
働く強制⼒力力  
(磁場)
Hopt. =
i,j
Jij
z
i
z
j
i
hi
z
i
✔  モンテカルロ法  
✔  変分ベイズ法
絶対ゼロ度度
S.  Kirkpatrick,  C.  D.  Gelatt,  and  M.  P.  Vecchi,  Science,  Vol.  220,  671  (1983)
温度度  
(熱ゆらぎ効果)
量量⼦子アニーリング
温度度  
(熱ゆらぎ効果)
シミュレーテッドアニーリング  
温度度を徐々に下げる
量量⼦子ゆらぎ効果
z
i = ±1
つながっている  
スピン(ビット)間の
相互作⽤用
Hopt. =
i,j
Jij
z
i
z
j
i
hi
z
i
量量⼦子アニーリング  
量量⼦子効果を徐々に弱める
✔  モンテカルロ法  
✔  変分ベイズ法  
✔  シュレディンガー⽅方程式  
✔  実験
スピン(ビット)に  
働く強制⼒力力  
(磁場)
絶対ゼロ度度
S.  Kirkpatrick,  C.  D.  Gelatt,  and  M.  P.  Vecchi,  Science,  Vol.  220,  671  (1983)
T.  Kadowaki  and  H.  Nishimori,  
Phys.  Rev.  E  Vol.  58,  5355  (1998).
量量⼦子アニーリング
Hopt. =
i,j
Jij
z
i
z
j
i
hi
z
i
最適化問題のハミルトニアン  (⾏行行列列を使って表現)
z
i = ±1
Hopt. =
i,j
Jij ˆz
i ˆz
j
i
hiˆz
i ˆz
i =
1 0
0 1
ˆz
i | = + | , ˆz
i | = |
ˆz
i | =
1 0
0 1
1
0
=
1
0
= + |
2N
x2N
の対⾓角⾏行行列列
量量⼦子アニーリング
量量⼦子ゆらぎ効果の導⼊入  (⾮非対⾓角項の導⼊入)
Hq =
i
ˆx
i ˆx
i =
0 1
1 0
ˆx
i | = | , ˆx
i | = |
スピンを反転  
(ビット反転)
ˆx
i の固有状態:
| =
1
2
(| + | ) , | =
1
2
(| | )
重ね合わせ状態の実現
量量⼦子⼒力力学的遷移
量量⼦子アニーリング
量量⼦子ゆらぎ効果の導⼊入  (⾮非対⾓角項の導⼊入)
Hq =
i
ˆx
i ˆx
i =
0 1
1 0
ˆx
i | = | , ˆx
i | = |
スピンを反転  
(ビット反転)
量量⼦子⼒力力学的遷移
Hq の基底状態: | · · ·
| =
1
2
(| + | + | + | )
全てのビット表現が、等確率率率で重ね合わさった状態
量量⼦子アニーリング
量量⼦子ゆらぎ効果の導⼊入  (⾮非対⾓角項の導⼊入)
Hq =
i
ˆx
i ˆx
i =
0 1
1 0
ˆx
i | = | , ˆx
i | = |
スピンを反転  
(ビット反転)
量量⼦子⼒力力学的遷移
最適化問題のハミルトニアン  (⾏行行列列を使って表現)
Hopt. =
i,j
Jij ˆz
i ˆz
j
i
hiˆz
i ˆz
i =
1 0
0 1
量量⼦子アニーリング
H(t) = A(t)Hopt. + B(t)Hq
最適化問題の  
ハミルトニアン
量量⼦子ゆらぎ効果
A(t)
B(t)
時刻  t
1
0
0
最適化問題のハミルトニアン量量⼦子ゆらぎ効果
クラスタ分析
クラスタ分析
与えられたデータ全集合を、部分集合に分割する問題
・新聞記事のカテゴリー分類  
・グループの検出  
・スペクトルの分離離
given:  N個の⽂文書・K個のトピック  
・⽂文書  i  において、vi  個の単語  
・⽂文書  i  中の単語  j  (wij)  はトピック  k  に属する  
・各⽂文書は  K  個のトピックの混合分布  θi  
・トピック  k  は対応する単語分布  φk  (wij を⽣生成)
ure 2: Illustrative explanation of QA. The left figure
ws m independent SAs, and the right one is QA algo-
hm derived with the Suzuki-Trotter (ST) expansion. σ
notes a clustering assignment.
he
me
nt
ta
ts.
o-
ed
er
cluster 1; cluster 2; cluster 3; cluster 4;
σ1 (local optimum) σ2 (local optimum)
ure 2: Illustrative explanation of QA. The left figure
ws m independent SAs, and the right one is QA algo-
m derived with the Suzuki-Trotter (ST) expansion. σ
otes a clustering assignment.
e
e
t
a
s.
-
d
r
cluster 1; cluster 2; cluster 3; cluster 4;
σ1 (local optimum) σ2 (local optimum)
adds another dimension to simulated
annealing (SA) to control a model.
QA iteratively decreases T and Γ
whereas SA decreases just T.
Figure 2: Illustrative explanation of QA.
shows m independent SAs, and the right o
rithm derived with the Suzuki-Trotter (ST
denotes a clustering assignment.
globally optimal solutions like σ1 and σ2, where the
majority of data points are well-clustered, but some
of them are not. Thus, a better clustering assignment
can be constructed by picking up well-clustered data
points from many sub-optimal clustering assignments.
Note an assignment constructed in such a way is lo-
cated between the sub-optimal ones by the proposed
quantum effect Hq so that QA-ST can find a better
assignment between sub-optimal ones.
2 Preliminaries
First of all, we introduce the notation used in this
paper. We assume we have n data points, and they
are assigned to k clusters. The assignment of the i-
th data point is denoted by binary indicator vector
˜σi. For example, when k is equal to two, we denote
the i-th data point assigned to the first and the sec-
ond cluster by ˜σi = (1, 0)T
and ˜σi = (0, 1)T
, re-
cluster 1; cluster 2; clu
σ1 (local optimum) σ2
σ∗
(global optimum)
量量⼦子アニーリング
モンテカルロ法
古典ハミルトニアン(KN x  KN ⾏行行列列)
Hc = diag E( (1)
), · · · , E( (KN
)
)
状態更更新確率率率
pSA(˜i| ˜i) =
e E( )
˜i
e E( )
˜i = {˜j|j = i}
確率率率分布関数
pSA( ; ) =
|e Hc
|
|e Hc |
|e Hc
| = e E( )
Hc が対⾓角⾏行行列列だから
シミュレーテッドアニーリング+モンテカルロ  
逆温度度  β  を増加させる
量量⼦子アニーリング+モンテカルロ法
H = Hc + Hq
量量⼦子ハミルトニアン(KN x  KN ⾏行行列列)
Hq =
N
i=1
x
i
x
= (EK 1K) EK
1K
:KxK の単位⾏行行列列
:全要素が1の  
  KxK ⾏行行列列
x
=
0
0 x
=
0
0
0
x
=
0
0
0
0
K=2 K=3 K=4
Ising模型における
横磁場と等価 ⾮非対⾓角項導⼊入=量量⼦子効果の導⼊入
Hc = diag E( (1)
), · · · , E( (KN
)
)
量量⼦子アニーリング+モンテカルロ法
H = Hc + Hq
量量⼦子ハミルトニアン(KN x  KN ⾏行行列列)
Hq =
N
i=1
x
i
x
= (EK 1K) EK
1K
:KxK の単位⾏行行列列
:全要素が1の  
  KxK ⾏行行列列
Hc = diag E( (1)
), · · · , E( (KN
)
)
確率率率分布関数
pQA( ; , ) =
|e H
|
|e H|
H  が⾮非対⾓角⾏行行列列であるため  
計算が困難
Suzuki-‐‑‒Trotter  分解
量量⼦子アニーリング+モンテカルロ法
Suzuki-‐‑‒Trotter分解:  d  次元量量⼦子系を  d+1  次元古典系に
m:Trotter数
pQA( 1; , ) =
2
· · ·
m
pQA ST( 1, 2, · · · , m; , ) + O
1
m
pQA ST( 1, 2, · · · , m; , ) =
1
Z
m
j=1
pSA( j; /m)es( j , j+1)f( , )
s( j, j+1) =
1
N
N
i=1
(˜j,i, ˜j+1,i) f( , ) = log
a + b
b
a = e m
b =
1
K
a(a K
1)
˜j,i:j  番⽬目のレイヤーの  i  番⽬目の  
      要素のクラス状態
量量⼦子アニーリング+モンテカルロ法
ter
(6)
(8)
(9)
σ1 = σ′
2 σ2
Figure 4: σ1 and σ2 give the same clustering but have
different cluster labels. Thus, s(σ1, σ2) = 0. After
cluster label permutation from σ2 to σ′
2, s(σ1, σ′
2) = 1.
The purity, ˜s, gives ˜s(σ1, σ2) = 1 as well.
カテゴリー分割のみを考えている          左右の状態は同じ
状態(⾊色)の置換を⾏行行い、ドメインウォールを防ぐ。  
各ステップでこの操作を⾏行行う。
類似⽅方法との⽐比較
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
時間
シミュレーテッドアニーリング
S.  Kirkpatrick,  C.  D.  Gelatt,  and  M.  P.  Vecchi,  Science,  Vol.  220,  671  (1983)
熱揺らぎの効果を⽤用いて、安定状態を得る⽅方法。  
温度度を徐々に下げる。
類似⽅方法との⽐比較
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
MCS
交換法
熱揺らぎの効果を⽤用いて、安定状態を得る⽅方法。  
互いに異異なる独⽴立立なm個のレプリカを⽤用意し、  
レプリカ間の状態を交換する。
K.  Hukushima  and  K.  Nemoto,  J.  Phys.  Soc.  Jpn.  Vol.  65,  1604  (1996).
類似⽅方法との⽐比較
MCS
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
量量⼦子揺らぎの効果を⽤用いて、安定状態を得る⽅方法。  
モンテカルロ法を⽤用いた場合:  
並列列度度mの擬並列列化をすることに相当。
量量⼦子アニーリング
K.  Kurihara,  S.  Tanaka,  and  S.  Miyashita,  UAI2009  (2009年年出版)  
K.  K.  Pudenz  et  al.  のarXiv:1408.4382のQuantum  Annealing  Correction  (QAC)も類似概念念とみなせる
量量⼦子・熱同時アニーリング
以下のスケジュールを検討
逆温度度:
量量⼦子揺らぎ項:
= 0rt
Trotter数  m  は  50  に固定
pQA ST( 1, 2, · · · , m; , ) =
1
Z
m
j=1
pSA( j; /m)es( j , j+1)f( , )
s( j, j+1) =
1
N
N
i=1
(˜j,i, ˜j+1,i) f( , ) = log
a + b
b
a = e m b =
1
K
a(a K
1)
= 0e rt
エネルギーが低い解=良良い解
量量⼦子・熱同時アニーリング
温度度(熱ゆらぎ)Simulated Annealing
QuantumAnnealing
量量⼦子ゆらぎ
最適解を得る経路路:f*
温度度を速く下げて、  
その後量量⼦子項を速く弱める
効率率率が悪い経路路:f2
数値計算結果
40 60 80 100
6.754
6.758
6.762
x 10
5
iteration
minjE(σj)
40 60 80 100
6.756
6.758
6.76
6.762
6.764
6.766
6.768
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0.6
0.8
1
iteration
Ej[˜s(σj,σj+1)]
MNIST with MoG
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
40 60 80 100
1.78
1.8
1.82
1.84
1.86
x 10
5
iteration
minjE(σj)
40 60 80 100
1.8
1.82
1.84
1.86
1.88
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
Reuters with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
9.6
x 10
5
minjE(σj)
9.6
x 10
5
Ej[E(σj)]
0.5
1
j[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
MNIST(⼿手書き⽂文字認識識5000字を30個のクラスに分類)
全レイヤー中  
エネルギー最⼩小
全レイヤー  
エネルギー平均
レイヤー間  
類似度度(相関関数)
スケジュール  f*  の場合に、
SAよりも良良い解が得られた
CPU  time(QA):  21.7hours
CPU  time(SA):  22.0hours
良良い解
数値計算結果
40 60 80 100
6.754
6.758
6.762
x 10
5
iteration
minjE(σj)
40 60 80 100
6.756
6.758
6.76
6.762
6.764
6.766
6.768
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0.6
0.8
1
iteration
Ej[˜s(σj,σj+1)]
MNIST with MoG
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
40 60 80 100
1.78
1.8
1.82
1.84
1.86
x 10
5
iteration
minjE(σj)
40 60 80 100
1.8
1.82
1.84
1.86
1.88
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
Reuters with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
40 60 80 100
9.4
9.6
x 10
5
iteration
minjE(σj)
40 60 80 100
9.4
9.6
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
9.4
9.45
9.5
x 10
5
minjE(σj)
9.4
9.5
9.6
x 10
5
Ej[E(σj)]
0.4
0.6
0.8
j[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.02
QA rΓ =1.02; f2
QA rΓ =1.05; f∗
QA rΓ =1.10; f∗
REUTERSの1000記事を20トピックに分割
全レイヤー中  
エネルギー最⼩小
全レイヤー  
エネルギー平均
レイヤー間  
類似度度(相関関数)
スケジュール  f*  の場合に、
SAよりも良良い解が得られた
CPU  time(QA):    9.9hours
CPU  time(SA):  10.0hours
良良い解
数値計算結果
40 60 80 100
iteration
40 60 80 100
iteration
40 60 80 100
iteration
SA
40 60 80 100
1.78
1.8
1.82
1.84
1.86
x 10
5
iteration
minjE(σj)
40 60 80 100
1.8
1.82
1.84
1.86
1.88
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
Reuters with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
40 60 80 100
9.4
9.6
x 10
5
iteration
minjE(σj)
40 60 80 100
9.4
9.6
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
90 120 150 180
9.35
9.4
9.45
9.5
x 10
5
iteration
minjE(σj)
90 120 150 180
9.4
9.5
9.6
x 10
5
iteration
Ej[E(σj)]
90 120 150 180
0.2
0.4
0.6
0.8
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.02
QA rΓ =1.02; f2
QA rΓ =1.05; f∗
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
e 6: Comparison between SA and QA varying annealing schedule. rΓ, f2 and f∗
in legends corres
The left-most column shows what SA and QA found. QA with f∗
always found better results th
NIPSの1684記事を20トピックに分割
全レイヤー中  
エネルギー最⼩小
全レイヤー  
エネルギー平均
レイヤー間  
類似度度(相関関数)
スケジュール  f*  の場合に、
SAよりも良良い解が得られた
CPU  time(QA):  62.5hours
CPU  time(SA):  62.8hours
良良い解
数値計算結果
40 60 80 100
iteration
40 60 80 100
iteration
40 60 80 100
iteration
SA
40 60 80 100
9.4
9.6
x 10
5
iteration
minjE(σj)
40 60 80 100
9.4
9.6
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
90 120 150 180
9.35
9.4
9.45
9.5
x 10
5
iteration
minjE(σj)
90 120 150 180
9.4
9.5
9.6
x 10
5
iteration
Ej[E(σj)]
90 120 150 180
0.2
0.4
0.6
0.8
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.02
QA rΓ =1.02; f2
QA rΓ =1.05; f∗
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
e 6: Comparison between SA and QA varying annealing schedule. rΓ, f2 and f∗
in legends corres
The left-most column shows what SA and QA found. QA with f∗
always found better results th
how QA’s performance for each problem like this
. However, it is worth trying to develop QA-
algorithms for different models, e.g. Bayesian
rks, by different quantum effect Hq. The pro-
algorithm looks like genetic algorithms in terms
ning multiple instances. Studying their relation-
s also interesting future work.
Tadashi Kadowaki and Hidetoshi Nishimori. Qua
nealing in the transverse Ising model. Physica
E, 58:5355 – 5363, 1998.
S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi. O
tion by simulated annealing. Science, 220(45
680, 1983.
Percy Liang, Michael I. Jordan, and Ben Tas
permutation-augmented sampler for DP mixtu
NIPSの1684記事を20トピックに分割
全レイヤー中  
エネルギー最⼩小
全レイヤー  
エネルギー平均
レイヤー間  
類似度度(相関関数)
スケジュール  f*  の場合に、
SAよりも良良い解が得られた
CPU  time(QA):  62.5hours
CPU  time(SA):  62.8hours
良良い解
量量⼦子・熱同時アニーリング
温度度(熱ゆらぎ)Simulated Annealing
QuantumAnnealing
量量⼦子ゆらぎ
最適解を得る経路路:f*
温度度を速く下げて、  
その後量量⼦子項を速く弱める
効率率率が悪い経路路:f2
まとめ
量量⼦子アニーリングを、クラスタ分析に適⽤用した。
✔  量量⼦子アニーリングをモンテカルロ法により実装した。
✔  量量⼦子アニーリングの効率率率が、シミュレーテッドアニーリングの  
    効率率率よりも良良いことを、具体的な問題を通じて観測した。
シミュレーテッドアニーリング  
  組合せ最適化問題の最適解を得る⼿手法。熱揺らぎを徐々に弱める  
  (温度度を徐々に下げる)ことにより、最適解を⽣生成する。
量量⼦子アニーリング  
  シミュレーテッドアニーリングの量量⼦子版。量量⼦子揺らぎを徐々に  
  弱めることにより、最適解を⽣生成する。
クラスタ分析  
  データ列列をグループ分けする⽅方法。  
  様々な分野における応⽤用がある。
Thank you !
Kenichi Kurihara, Shu Tanaka, and Seiji Miyashita
“Quantum Annealing for Clustering”, UAI2009
1 of 35

More Related Content

Similar to 量子アニーリングを用いたクラスタ分析

Prml9Prml9
Prml9KENTAROHARA
58 views16 slides

Similar to 量子アニーリングを用いたクラスタ分析(20)

量子アニーリングを用いたクラスタ分析