構造正則化による時空間変化パターン検出

1. Copyright©2014 NTT corp. All Rights Reserved.
構造正則化による
時空間変化パターン検出
竹内 孝1 河原 吉伸2 岩田 具治1
日本電信電話株式会社
コミュニケーション科学基礎研究所1
大阪大学 産業科学研究所2
2016年3月28日

2. 2Copyright©2014 NTT corp. All Rights Reserved.
課題: 多変量時系列データからの
時空間変化パターン検出
• 時間・空間解像度の高い多変量時系列
データの取得が可能になった
• 観測機器の故障により欠損が多発する
• いつ、どこで変化が起きたかを発見する
時空間変化パターン検出を課題に設定
• 応用先：気象変動の解析、感染症のアウ
トブレイク解析、交通渋滞の発生箇所解
析、ネットワークの不正アクセス解析

3. 3Copyright©2014 NTT corp. All Rights Reserved.
平均値移動型変化点検出問題
• いつ変化が起きたかを検出する技術
• 観測値 xtから潜在平均値 ztを推定
平均値にノイズが
加わえられて観測
変化
変化
変化時刻点では
潜在平均値が変化

4. 4Copyright©2014 NTT corp. All Rights Reserved.
構造正則化を用いた平均値移動型変
化点検出問題 [Barbero, 11]
• いつ変化が起きたかを検出する技術
• 観測値 xtから潜在平均値 ztを推定する
• 最適化問題 (連続凸最適化)
t は変化点でない
結合正則化項Ω(z): 前後の
時刻で平均値は同じと制約
経験誤差
t は変化点である

5. 5Copyright©2014 NTT corp. All Rights Reserved.
結合正則化は変数のクラスタリング
として働く
変数の差分にl1ノルムを課す
→変数が同一の値を取る
→同一の値を持つ変数クラスタを形成
クラスタ１
クラスタ2
クラスタ3

6. 6Copyright©2014 NTT corp. All Rights Reserved.
変化時刻点から
時空間変化パターンへの拡張
いつ変化したか→いつ、どこで変化したか
潜在
平均値Z
多変量
時系列
データX
時刻
位置
変化
変化
変化
変化
二次元
で表現

7. 7Copyright©2014 NTT corp. All Rights Reserved.
時空間変化パターン検出の定式化
1) グラフを用いた構造正則化
• 二項関係（時刻の前後、センサの距離）
• 一般化結合正則化(GFL)によって表現可能
二項関係をもつ平均値
は一致と制約
時間
空間
t=1 t=2 t=3 t=4 t=5
[Xin, Kawahara, 2014]

8. 8Copyright©2014 NTT corp. All Rights Reserved.
時空間変化パターン検出の定式化
2) ハイパーグラフを用いた構造正則化
• 多項関係（周期性、センサのグループ）
• 高階結合正則化(HOFL)によって表現可能
多項関係をもつ平均値
は一致と制約
時間
空間
t=1 t=2 t=3 t=4 t=5 [Takeuchi+, 2015]

9. 9Copyright©2014 NTT corp. All Rights Reserved.
提案法: ハイパーグラフ結合正則化
を用いた時空間変化パターン検出
• 二項・多項関係と疎性を同時に導入する
• 欠損値を考慮した最適化問題
• 正則化項が微分不可能なため、凸最適化
による正則化項の厳密な最小化は困難
Ω1:Lasso, λ: ハイパーパラメータ
mi,t: (i,t)が観測なら1, 欠損なら0

10. 10Copyright©2014 NTT corp. All Rights Reserved.
HFLの正則化項は集合関数のロバ
シュ拡張と一致する
• ロバシュ拡張は集合関数を連続関数に緩和
• は劣モジュラ関数で最小化が容易
• 劣モジュラ関数の定義
連続関数 集合関数
0 5 10 15 20
0
2
4
6
8
10
12
拡張

11. 11Copyright©2014 NTT corp. All Rights Reserved.
正則化項の最小化問題は離散最適化
として解くことが出来る
近接法: 凸関数の上限を経由した最小化法
上述の問題に対する一般的なアルゴリズム*
は計算コストはO(d5EO + d6)で大規模データ
解析は実行不可能
劣モジュラ基多面体
上の最小化問題
最小ノルム点問題
近接法の最小化問題
*Frank–Wolfeアルゴリズム

12. 12Copyright©2014 NTT corp. All Rights Reserved.
劣モジュラ関数のグラフ表現を用い
た高速な最小化法を提案する
• 正則化項の最小化問題は、関数のグラフ表
現を用いてs/t-最小カット問題に変換可能
• 最大流アルゴリズムによって解が得られる
• 計算コストはO(d|E| log(d2/|E|))で大規模デー
タで実行可能
ハイパーグラフ結合
正則化に対応するs/t-
最小カット問題

13. 13Copyright©2014 NTT corp. All Rights Reserved.
実験１：人工データ(d=50×50=2500)
からの時空間変化パターン検出
提案法
高階結合正則化一般化結合正則化
真値 観測値(10%欠損)
隣接情報を二項関係、
長方形領域と星形領
域を多項関係で与え、
丸と菱は未知とした。

14. 14Copyright©2014 NTT corp. All Rights Reserved.
定量評価: 提案手法は既存手法より
高い・あるいは同等の推定精度
ARI: Adjusted Rand index（クラスタリング精度）
RMSE: Root-Mean Squared Error (欠損推定精度)
p: 欠損値
の比率
密
疎

15. 15Copyright©2014 NTT corp. All Rights Reserved.
実験2：実気象データの解析結果
(d=1,280×36=46,080)
米国1,218地点で観測された平均気温36ヶ月
真値 観測値(50%欠損)
提案法 結合正則化
時刻の前後と
センサの隣接
情報を二項関
係で与えた。

16. 16Copyright©2014 NTT corp. All Rights Reserved.
実験3：ニューヨークとフロリダお
よび3ヶ月分の可視化例
2014年8~10月の変
化を可視化 8月
9月
10月
NY
FL
NY
で
変化

17. 17Copyright©2014 NTT corp. All Rights Reserved.
定量評価: 提案手法は既存手法より
高い・あるいは同等の精度
• 実データには真のクラスが存在しないた
め、RMSEで欠損値推定精度を評価
• 提案法のハイパーパラメータは
(λ1, λ2, λ3) = (0, 10, 0)と5-fold CVで選択
→二項関係が重要と選択出来た

18. Copyright©2014 NTT corp. All Rights Reserved.
構造正則化による
時空間変化パターン検出
竹内 孝1 河原 吉伸2 岩田 具治1
日本電信電話株式会社
コミュニケーション科学基礎研究所1
大阪大学 産業科学研究所2
2016年3月28日

19. 19Copyright©2014 NTT corp. All Rights Reserved.
• 集合関数: 集合を定義域とする関数
• 劣モジュラ関数関数:
0 5 10 15 20
0
2
4
6
8
10
12
劣モジュラ関数
• 集合のサイズに合わせて
関数値が増加
• 増加量は低減していく

20. 20Copyright©2014 NTT corp. All Rights Reserved.
集合の特性ベクトル表現
• 集合Sが要素iを含むか示す特性ベクトル
定義域は離散のまま

21. 21Copyright©2014 NTT corp. All Rights Reserved.
ロバシュ拡張により
集合関数を連続関数へ緩和する
• 定義
• 重要な性質
劣モジュラ関数の
ロバシュ拡張は凸関数
定義域を連続値に緩和
jiはaを降るべき順に
並び替えるインデクス