SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our User Agreement and Privacy Policy.
SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our Privacy Policy and User Agreement for details.
Successfully reported this slideshow.
Activate your 14 day free trial to unlock unlimited reading.
8.
Ising モデル
H =
i,j
Jij
z
i
z
j
z
i = ±1
強磁性相互作⽤用
基底状態が簡単に分かる
強磁性 反強磁性
基底状態が簡単に分からない
ランダムスピン系
反強磁性相互作⽤用
並進対称性
フーリエ変換:基底状態の解析
最適化問題の汎⽤用的解法
シミュレーテッドアニーリング
交換法
相互作⽤用による協調または競合を
最も端的に表現する理理論論模型
9.
シミュレーテッドアニーリング
シミュレーテッドアニーリング
温度度を徐々に下げる
z
i = ±1
つながっている
スピン(ビット)間の
相互作⽤用
スピン(ビット)に
働く強制⼒力力
(磁場)
Hopt. =
i,j
Jij
z
i
z
j
i
hi
z
i
✔ モンテカルロ法
✔ 変分ベイズ法
絶対ゼロ度度
S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi, Science, Vol. 220, 671 (1983)
温度度
(熱ゆらぎ効果)
10.
量量⼦子アニーリング
温度度
(熱ゆらぎ効果)
シミュレーテッドアニーリング
温度度を徐々に下げる
量量⼦子ゆらぎ効果
z
i = ±1
つながっている
スピン(ビット)間の
相互作⽤用
Hopt. =
i,j
Jij
z
i
z
j
i
hi
z
i
量量⼦子アニーリング
量量⼦子効果を徐々に弱める
✔ モンテカルロ法
✔ 変分ベイズ法
✔ シュレディンガー⽅方程式
✔ 実験
スピン(ビット)に
働く強制⼒力力
(磁場)
絶対ゼロ度度
S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi, Science, Vol. 220, 671 (1983)
T. Kadowaki and H. Nishimori,
Phys. Rev. E Vol. 58, 5355 (1998).
11.
量量⼦子アニーリング
Hopt. =
i,j
Jij
z
i
z
j
i
hi
z
i
最適化問題のハミルトニアン (⾏行行列列を使って表現)
z
i = ±1
Hopt. =
i,j
Jij ˆz
i ˆz
j
i
hiˆz
i ˆz
i =
1 0
0 1
ˆz
i | = + | , ˆz
i | = |
ˆz
i | =
1 0
0 1
1
0
=
1
0
= + |
2N
x2N
の対⾓角⾏行行列列
12.
量量⼦子アニーリング
量量⼦子ゆらぎ効果の導⼊入 (⾮非対⾓角項の導⼊入)
Hq =
i
ˆx
i ˆx
i =
0 1
1 0
ˆx
i | = | , ˆx
i | = |
スピンを反転
(ビット反転)
ˆx
i の固有状態:
| =
1
2
(| + | ) , | =
1
2
(| | )
重ね合わせ状態の実現
量量⼦子⼒力力学的遷移
13.
量量⼦子アニーリング
量量⼦子ゆらぎ効果の導⼊入 (⾮非対⾓角項の導⼊入)
Hq =
i
ˆx
i ˆx
i =
0 1
1 0
ˆx
i | = | , ˆx
i | = |
スピンを反転
(ビット反転)
量量⼦子⼒力力学的遷移
Hq の基底状態: | · · ·
| =
1
2
(| + | + | + | )
全てのビット表現が、等確率率率で重ね合わさった状態
14.
量量⼦子アニーリング
量量⼦子ゆらぎ効果の導⼊入 (⾮非対⾓角項の導⼊入)
Hq =
i
ˆx
i ˆx
i =
0 1
1 0
ˆx
i | = | , ˆx
i | = |
スピンを反転
(ビット反転)
量量⼦子⼒力力学的遷移
最適化問題のハミルトニアン (⾏行行列列を使って表現)
Hopt. =
i,j
Jij ˆz
i ˆz
j
i
hiˆz
i ˆz
i =
1 0
0 1
17.
クラスタ分析
与えられたデータ全集合を、部分集合に分割する問題
・新聞記事のカテゴリー分類
・グループの検出
・スペクトルの分離離
given: N個の⽂文書・K個のトピック
・⽂文書 i において、vi 個の単語
・⽂文書 i 中の単語 j (wij) はトピック k に属する
・各⽂文書は K 個のトピックの混合分布 θi
・トピック k は対応する単語分布 φk (wij を⽣生成)
ure 2: Illustrative explanation of QA. The left figure
ws m independent SAs, and the right one is QA algo-
hm derived with the Suzuki-Trotter (ST) expansion. σ
notes a clustering assignment.
he
me
nt
ta
ts.
o-
ed
er
cluster 1; cluster 2; cluster 3; cluster 4;
σ1 (local optimum) σ2 (local optimum)
ure 2: Illustrative explanation of QA. The left figure
ws m independent SAs, and the right one is QA algo-
m derived with the Suzuki-Trotter (ST) expansion. σ
otes a clustering assignment.
e
e
t
a
s.
-
d
r
cluster 1; cluster 2; cluster 3; cluster 4;
σ1 (local optimum) σ2 (local optimum)
adds another dimension to simulated
annealing (SA) to control a model.
QA iteratively decreases T and Γ
whereas SA decreases just T.
Figure 2: Illustrative explanation of QA.
shows m independent SAs, and the right o
rithm derived with the Suzuki-Trotter (ST
denotes a clustering assignment.
globally optimal solutions like σ1 and σ2, where the
majority of data points are well-clustered, but some
of them are not. Thus, a better clustering assignment
can be constructed by picking up well-clustered data
points from many sub-optimal clustering assignments.
Note an assignment constructed in such a way is lo-
cated between the sub-optimal ones by the proposed
quantum effect Hq so that QA-ST can find a better
assignment between sub-optimal ones.
2 Preliminaries
First of all, we introduce the notation used in this
paper. We assume we have n data points, and they
are assigned to k clusters. The assignment of the i-
th data point is denoted by binary indicator vector
˜σi. For example, when k is equal to two, we denote
the i-th data point assigned to the first and the sec-
ond cluster by ˜σi = (1, 0)T
and ˜σi = (0, 1)T
, re-
cluster 1; cluster 2; clu
σ1 (local optimum) σ2
σ∗
(global optimum)
19.
モンテカルロ法
古典ハミルトニアン(KN x KN ⾏行行列列)
Hc = diag E( (1)
), · · · , E( (KN
)
)
状態更更新確率率率
pSA(˜i| ˜i) =
e E( )
˜i
e E( )
˜i = {˜j|j = i}
確率率率分布関数
pSA( ; ) =
|e Hc
|
|e Hc |
|e Hc
| = e E( )
Hc が対⾓角⾏行行列列だから
シミュレーテッドアニーリング+モンテカルロ
逆温度度 β を増加させる
20.
量量⼦子アニーリング+モンテカルロ法
H = Hc + Hq
量量⼦子ハミルトニアン(KN x KN ⾏行行列列)
Hq =
N
i=1
x
i
x
= (EK 1K) EK
1K
:KxK の単位⾏行行列列
:全要素が1の
KxK ⾏行行列列
x
=
0
0 x
=
0
0
0
x
=
0
0
0
0
K=2 K=3 K=4
Ising模型における
横磁場と等価 ⾮非対⾓角項導⼊入=量量⼦子効果の導⼊入
Hc = diag E( (1)
), · · · , E( (KN
)
)
21.
量量⼦子アニーリング+モンテカルロ法
H = Hc + Hq
量量⼦子ハミルトニアン(KN x KN ⾏行行列列)
Hq =
N
i=1
x
i
x
= (EK 1K) EK
1K
:KxK の単位⾏行行列列
:全要素が1の
KxK ⾏行行列列
Hc = diag E( (1)
), · · · , E( (KN
)
)
確率率率分布関数
pQA( ; , ) =
|e H
|
|e H|
H が⾮非対⾓角⾏行行列列であるため
計算が困難
Suzuki-‐‑‒Trotter 分解
22.
量量⼦子アニーリング+モンテカルロ法
Suzuki-‐‑‒Trotter分解: d 次元量量⼦子系を d+1 次元古典系に
m:Trotter数
pQA( 1; , ) =
2
· · ·
m
pQA ST( 1, 2, · · · , m; , ) + O
1
m
pQA ST( 1, 2, · · · , m; , ) =
1
Z
m
j=1
pSA( j; /m)es( j , j+1)f( , )
s( j, j+1) =
1
N
N
i=1
(˜j,i, ˜j+1,i) f( , ) = log
a + b
b
a = e m
b =
1
K
a(a K
1)
˜j,i:j 番⽬目のレイヤーの i 番⽬目の
要素のクラス状態
23.
量量⼦子アニーリング+モンテカルロ法
ter
(6)
(8)
(9)
σ1 = σ′
2 σ2
Figure 4: σ1 and σ2 give the same clustering but have
different cluster labels. Thus, s(σ1, σ2) = 0. After
cluster label permutation from σ2 to σ′
2, s(σ1, σ′
2) = 1.
The purity, ˜s, gives ˜s(σ1, σ2) = 1 as well.
カテゴリー分割のみを考えている 左右の状態は同じ
状態(⾊色)の置換を⾏行行い、ドメインウォールを防ぐ。
各ステップでこの操作を⾏行行う。
24.
類似⽅方法との⽐比較
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
時間
シミュレーテッドアニーリング
S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi, Science, Vol. 220, 671 (1983)
熱揺らぎの効果を⽤用いて、安定状態を得る⽅方法。
温度度を徐々に下げる。
25.
類似⽅方法との⽐比較
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
MCS
交換法
熱揺らぎの効果を⽤用いて、安定状態を得る⽅方法。
互いに異異なる独⽴立立なm個のレプリカを⽤用意し、
レプリカ間の状態を交換する。
K. Hukushima and K. Nemoto, J. Phys. Soc. Jpn. Vol. 65, 1604 (1996).
26.
類似⽅方法との⽐比較
MCS
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
1
2
...
m
量量⼦子揺らぎの効果を⽤用いて、安定状態を得る⽅方法。
モンテカルロ法を⽤用いた場合:
並列列度度mの擬並列列化をすることに相当。
量量⼦子アニーリング
K. Kurihara, S. Tanaka, and S. Miyashita, UAI2009 (2009年年出版)
K. K. Pudenz et al. のarXiv:1408.4382のQuantum Annealing Correction (QAC)も類似概念念とみなせる
27.
量量⼦子・熱同時アニーリング
以下のスケジュールを検討
逆温度度:
量量⼦子揺らぎ項:
= 0rt
Trotter数 m は 50 に固定
pQA ST( 1, 2, · · · , m; , ) =
1
Z
m
j=1
pSA( j; /m)es( j , j+1)f( , )
s( j, j+1) =
1
N
N
i=1
(˜j,i, ˜j+1,i) f( , ) = log
a + b
b
a = e m b =
1
K
a(a K
1)
= 0e rt
エネルギーが低い解=良良い解
31.
数値計算結果
40 60 80 100
iteration
40 60 80 100
iteration
40 60 80 100
iteration
SA
40 60 80 100
1.78
1.8
1.82
1.84
1.86
x 10
5
iteration
minjE(σj)
40 60 80 100
1.8
1.82
1.84
1.86
1.88
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
Reuters with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
40 60 80 100
9.4
9.6
x 10
5
iteration
minjE(σj)
40 60 80 100
9.4
9.6
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
90 120 150 180
9.35
9.4
9.45
9.5
x 10
5
iteration
minjE(σj)
90 120 150 180
9.4
9.5
9.6
x 10
5
iteration
Ej[E(σj)]
90 120 150 180
0.2
0.4
0.6
0.8
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.02
QA rΓ =1.02; f2
QA rΓ =1.05; f∗
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
e 6: Comparison between SA and QA varying annealing schedule. rΓ, f2 and f∗
in legends corres
The left-most column shows what SA and QA found. QA with f∗
always found better results th
NIPSの1684記事を20トピックに分割
全レイヤー中
エネルギー最⼩小
全レイヤー
エネルギー平均
レイヤー間
類似度度(相関関数)
スケジュール f* の場合に、
SAよりも良良い解が得られた
CPU time(QA): 62.5hours
CPU time(SA): 62.8hours
良良い解
32.
数値計算結果
40 60 80 100
iteration
40 60 80 100
iteration
40 60 80 100
iteration
SA
40 60 80 100
9.4
9.6
x 10
5
iteration
minjE(σj)
40 60 80 100
9.4
9.6
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
90 120 150 180
9.35
9.4
9.45
9.5
x 10
5
iteration
minjE(σj)
90 120 150 180
9.4
9.5
9.6
x 10
5
iteration
Ej[E(σj)]
90 120 150 180
0.2
0.4
0.6
0.8
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.02
QA rΓ =1.02; f2
QA rΓ =1.05; f∗
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
e 6: Comparison between SA and QA varying annealing schedule. rΓ, f2 and f∗
in legends corres
The left-most column shows what SA and QA found. QA with f∗
always found better results th
how QA’s performance for each problem like this
. However, it is worth trying to develop QA-
algorithms for different models, e.g. Bayesian
rks, by different quantum effect Hq. The pro-
algorithm looks like genetic algorithms in terms
ning multiple instances. Studying their relation-
s also interesting future work.
Tadashi Kadowaki and Hidetoshi Nishimori. Qua
nealing in the transverse Ising model. Physica
E, 58:5355 – 5363, 1998.
S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi. O
tion by simulated annealing. Science, 220(45
680, 1983.
Percy Liang, Michael I. Jordan, and Ben Tas
permutation-augmented sampler for DP mixtu
NIPSの1684記事を20トピックに分割
全レイヤー中
エネルギー最⼩小
全レイヤー
エネルギー平均
レイヤー間
類似度度(相関関数)
スケジュール f* の場合に、
SAよりも良良い解が得られた
CPU time(QA): 62.5hours
CPU time(SA): 62.8hours
良良い解