Recommended
Recommended
More Related Content
What's hot
What's hot (20)
CNN application for earthquake detection
- 1. Convolutional neural network for earthquake detection and location 畳み込みニューラルネットワークを用い た地震検知と震央推定 Department of Earth and Planetary Science, School of Science, The University of Tokyo (Perol et al., 2018) Ryo Namiki
- 2. Introduction Method Network architecture Training the network Evaluation on an independent testing set Result Data Generating location labels Extracting windows for classification Training/testing sets Data set augmentation ConvNetQuake Detection accuracy Location accuracy Probabilistic location map Generalization to nonrepeating events Earthquake detection on continuous records Comparison with other detection methods Scalability to large data sets Discussion Outline
- 3. Introduction
- 6. Introduction 繰り返し地震検出 計算コスト 特徴 Template matching ○ ○ O(N) Waveform Autocorrelation ◎ × O(N2) 長期間の波形に適用しにくい FAST ○ ○ O(N1.36) 特徴抽出の過程で震源の情報が失われる ConvNetQuake（畳み込みニューラルネットワーク（CNN）モデル） • ラベル（イベントが含まれているか・どこでイベントが起きたか）付きの波形を学習 →多層の非線形フィルターで特徴抽出＝ディープラーニング • 学習済みモデルを用いると、波形からイベント検知・震央推定ができる • 震央推定に必要なのは「単一観測点」の波形 • 石油・ガス業界の企業により、産業排水を地下深くに注入していることを原因とした 微小地震～中規模の地震が多く発生。 • 既存の手法は中～大規模の地震検出を目的とし、微小地震の検出は困難。
- 7. Method
- 8. Network architectureConvNetQuake 入力：3チャンネルの波形窓(D個) 出力： 各窓が各クラスターに分類される確率(D×M行列) 1 : No event 2 : earthquake in cluster 1 … M : earthquake in cluster M-1 畳み込み層（Convolution layer） ・境界ではzero padding Z :featuresテンソル(2次元テンソル) W :重みテンソル σ(x)= max(0,x) :ReLU関数 i ∈{1,…,8} : 畳み込み層の深さ c ∈{1,…,32} :i層のチャンネル c’:i-1層のチャンネル C’:i-1層のチャンネル数 i = 1 → C’=3 i ∈{2,…,8} → C’=32 t :i層のfeatureの位置(0層ではtime indexに相当) t’ ∈ {1,2,3} :i層に畳み込まれるi-1層のfeaturesの相対位置 s = 2 : フィルタのスライド幅 b :バイアス項 ・フィルタサイズが小さい →浅いレイヤー：高周波数の特徴抽出 深いレイヤー：低周波数の特徴抽出
- 9. Network architectureConvNetQuake 入力：3チャンネルの波形窓(D個) 全結合層（Fully connected layer） z 全結合層のfeatures Zbar Flatten layerのfeatures W 重みテンソル c ∈{1,…,M} 全結合層のfeatures c' ∈{1,…,128} Flatten layerのfeatures b バイアス項 全ての層を全結合するモデル(Kong et al.)より ・ N4程度計算コストが小さい。 ・パラメタ数が減り、過学習を回避しやすい。 出力： 各窓が各クラスターに分類される確率(D×M行列) 1 : No event 2 : earthquake in cluster 1 … M : earthquake in cluster M-1
- 10. Network architectureConvNetQuake 入力：3チャンネルの波形窓(D個) 出力： 各窓が各クラスターに分類される確率(D×M行列) 1 : No event 2 : earthquake in cluster 1 … M : earthquake in cluster M-1 出力層（Output layer） p 各クラスターに分類される確率 c ∈{1,…,M} 各クラスター Z0 入力された波形 W 重みテンソルの集合 b バイアス項の集合 z 全結合層のfeatures ・ソフトマックス関数により、特徴量zをpに変換 →pを各窓が各クラスターに分類される確率と解釈
- 11. Training the Network L2正規化された交差エントロピー損失(L)を 最小化するようにCNN(ConvNetQuake)を 最適化 訓練データ(N=702,748)はメモリ容 量に対して大きすぎる →ミニバッチ＝128個の波形窓（64 個のイベント窓＋64のノイズ窓）に よる確率的勾配降下法(SGD) SGDのアルゴリズム:Adam 最適化アルゴリズムにはADAMを用い た。学習率を10^-4とし、他のパラ メタはデフォルトのままにした。 CNNのパラメタを逆誤差伝搬法によ り、損失の改善が止まるまで更新 L 交差エントロピー損失 N 波形窓の総数 M クラスターの総数 k ∈{1,…,N} 波形窓のインデックス c ∈{0,…,M-1} クラスターのインデックス q 正しい確率分布(ウィンドウkのクラス ターがcなら1,そうでなければ0) p 予測した確率分布(ウィンドウkがクラ スターcであると予測する確率) λ = 0.001 L2正則化パラメタ W 重みテンソル i ∈{1,…,9} 層の深さ
- 13. Result
- 14. Data その１ Oklahoma Geological Survey(OGS) カタログ の 2021個のイベント 期間 : 2014/2/15 - 2016/11/16 規模 : Mw -0.2 - 5.8 その２ 2つの速度型地震計(GS.OK027, 029)の波形(地動速度, ground velocity) ・期間 GS.OK027 2014/2/14 - 2015/3/3 GS.OK029 2014/2/15 – now ・周波数帯 100Hz ・チャンネル HHZ(垂直), HHN(N-S), HHE(W-E) Generating location labels ユークリッド距離を基準としたK-meansアルゴリズムによって、2,021個 のイベントを6つの地理クラスターに分類 →波形窓は7つのクラスタに分類される： ・イベントなし ・イベントあり（地理クラスター1 - 6） Fig. 1. ★：地震計の位置 Colored dot : 訓練データ用イベント Black dot : テストデータ用イベント
- 15. Extracting windows for classification 地震計GS. OK027, 029の波形をそれぞれ月毎に分割 ↓ 各チャンネルで、振幅平均が0、振幅絶対値の最大が1になるように正規化 ↓ OGSカタログに基づき、2種類（イベント窓・ノイズ窓）の10s窓を抽出 1. イベント窓 2,918個 2. ノイズ窓(イベントを含まない窓) 831,111個 本研究のモチベーション：ノイズ窓の中に存在する微小地震を検知したい Training/testing sets イベント窓 ノイズ窓 訓練データ 2,709 700,039 テストデータ (2014年7月の波形) 209 131,972
- 16. Data set augmentation 一般に、訓練データが少ないと、過学習が起き汎化性能に優れない。 →訓練データを水増しする(Data augmentation) ・GS.OK027, 029の２つの観測点データを用いて、イベントをダブルカウントしているのも一種の水増し Fig. S1. GS.OK027(左), 029(右)で同じイベントを観測 ・さらに、生の訓練データにガウスノイズ(平均0)を加えたもので水増し
- 17. ConvNetQuake 入力：3チャンネルの波形窓(D個) 出力： 各窓が各クラスターに分類される確率(D×M行列) 1 : No event 2 : earthquake in cluster 1 … M : earthquake in cluster M-1 ・3チャンネルの波形窓を入力すると、波形がイベントを含 むか含まないか、含む場合にはどの地理クラスターに分類 されるかを予測 ・パラメタは、訓練データのクラスター分類の不一致を最 小化するように最適化される。（教室付き学習） 畳み込み層（Convolution layer） 平坦化（Flattenning） 全結合層（Fully connected layer） 出力層（Output layer）
- 18. Autocorrelationの結果 ConvNet Quakeの 予測結果 イベント窓 ノイズ窓 イベント窓 TP: 2111 FP: 116 2,227 ノイズ窓 FN: 0 TN: 129,954 129,954 2111 130,070 ALL: 132,181 適合率 precision = (TP)/(TP+FP) = 94.8％ 再現率 recall = TP/(TP+FN) = 100％ Table. 1. ３手法の比較 OGSカタログ ConvNet Quakeの 予測結果 イベント窓 ノイズ窓 イベント窓 TP: 209 FP: 2,018 2,227 ノイズ窓 FN: 0 TN: 129,954 129,954 209 131,972 ALL: 132,181 適合率 precision = (TP)/(TP+FP) = 9.38％ 再現率 recall = TP/(TP+FN) = 100％ Detection accuracy 適合率：イベント窓と判定した窓が、 本当にイベント窓である割合 再現率：本当のイベント窓を検出できて いる割合 ※ConvNetQuakeがイベントとみなし た窓のうち1,902個はOGSカタログに は乗っていないがAutocorrelationでは イベントとみなせている。 対象 2014年7月の波形
- 19. Location accuracy• 6個の地理クラスター分類 精度＝検出したイベントが正しい地理クラスターに分類されている割合：74.6％ 議論：ランダムな分類1/6=16.7％より高い 文句：但し、クラスタの範囲は約10km×10km… • 50個の地理クラスター分類（クラスタの範囲は約数km×数km） 精度：22.5％ 議論：ランダムな分類1/50=2％よりは高い… 原因：一つのクラスターにある訓練データが少ない(約40個)ため精度が悪い Fig. S2. 地理クラスターを50個に分割した場合 Fig. 1.（再掲） ★：地震計の位置 Colored dot : 訓練データ用イベント Black dot : テストデータ用イベント
- 20. Probabillistic location map Fig. 3. イベントが各地理クラスターに分類される確率分布 左は正しく分類されたイベント。右は誤って分類されたイベント。
- 21. Generalization to nonrepeating events 他の手法とは異なり、ConvNetQuakeでは訓練データと似ていない波形のイベントも検出できる。 Fig. S4. 2つのテンプレート波形 polarityとパルス継続時間が異なる 左：T1 2014/8/3 04:57:59~ GS.OK029 右：T2 2014/4/1 17:07:19~ GS.OK029 テンプレートにガウスノイズを加えたイベント45個をランダム な位置に組み込んだ合成波形を作成 訓練データ(T1) ： 4 day-long、ノイズSNR(-5 ~ 1 dB) テストデータ(T1) ： 10 day-long、ノイズSNR(-1 ~ 8 dB) テストデータ(T2) ： 10 day-long、ノイズSNR(-1 ~ 8 dB) →訓練データ(T1)で学習し、テストデータ(T2)からイベント をどれだけ検出できるか？ Fig. S3. 合成波形の例 ノイズを加えたT1をランダムな位置に組み込んだ合 成波形（合成波形自体のSNRは3dB） お宝探しによる検証
- 22. Generalization to nonrepeating events 訓練データ(テンプレートT1)で学習 ↓ テストデータ(T1) ： ConvNetQuakeもTMMも全てのイベントを検出 テストデータ(T2) ： ConvNetQuakeのみが十分な検出率 ConvNetQuake (CNN)とTemplate matching method(TMM)を比較 Fig. 4. 2つの手法による検出精度 横軸：テストデータ中のテンプレート波 形に加えたノイズのSNR 縦軸：イベント検出率 お宝探しによる検証の結果 他の観点 再掲 Fig. 1. ★：地震計の位置 Colored dot : 訓練データ用イベント Black dot : テストデータ用イベント CNQでは繰り返しでないイベントの検出にも成功している。 →汎化の証拠
- 23. Earthquake detection on continuous records 手法 地震計GS.K029の2014年7月の波形をConvNetQuakeで計算 波形を10秒窓で分割(1秒オーバーラップ) 結果 OGSカタログで既知のイベンドに加えて、4,225イベントを発見 (5イベント/h以上に相当)。 Autocorrelationでは3,949イベントを発見。 Subspace detection methodでは5,737イベントを発見。 Fig. 5. 2014/7/7 16:29:11~のイベントに似てい るとしてConvNetQuakeが検出した波形窓 (縦軸)ConvNetQuakeが検出した479のイベント (横軸)S波到達時間で揃えたtime index (下図)全イベントのstack
- 24. Scalability to large data sets Fig. 6A. 計算時間の比較※ Fig. 6B. メモリ使用量の比較 横軸 : 波形データの継続時間 左図縦軸：計算時間※ 右図縦軸：メモリ使用量 計算時間の比較 ※ConvNetQuake: 訓練データからの学習時 間(1.5時間)を除く FAST: テンプレートデーターベースを作る時 間(47分)を除き、類似性検索の時間のみを考 慮 ・ConvNetQuakeの計算速度は FASTの48倍、autocorrelationの13,500倍 ・データのスケールと計算時間は線形 メモリ使用量の比較 FAST：データーベースをメモリ上に置くため、メモリ消費が多い。 ConvNetQuake：パラメタ値だけをメモリに置けば良いので、メモリ消費が少ない。 （もちろん、オフライン学習時にはたくさんメモリを使う） オフライン学習を考慮した計算時間(破線)
- 25. Discussion(Conclusions) ConvNetQuake(CNN) 単一観測点波形からのイベントとイベントの位置の確率的検出にstate-of-the-art(最先端)な性能を発揮 イベント検出：精度100％、適合率94.8％ 位置の分類：約10km四方で精度74.6％、数km四方で精度22.5％ ConvNetQuakeの短所： 十分な訓練データ（震央位置が判明している）が必要 地震活動の低い地域や観測設備・観測データの乏しい地域にはそぐわない手法 ConvNetQuakeの長所： • 訓練データが沢山あれば、非常に優れた性能を発揮 • 既存の手法より短い計算時間、少ないメモリ使用量 • 一つの観測点の波形で推定可能 • 一度学習してしまえば、高速な地震検出と位置決定が可能 →日本などの緊急地震速報システムへの応用が有効
Editor's Notes
- waveform similarityでは、繰り返し地震は検出できる。 waveform autocorrelationは、地震計データから繰り返し地震を検出する最も有効な手法。ロバスト性があり信頼性も高いが、計算コストが高く、波形窓数の2乗に比例する。→長期間の波形には適用しにくい。 →一つの解決法は特徴的な波形をテンプレートとする手法（template matching)。但し、結果が使ったテンプレートの数に依存する。
- 2層以降のチャンネルに波形的な意味はなく便宜的なもの？ s=2は畳み込み層がプーリング層を兼ねるようなもの？ バイアス項の初期値は？ W: 重み(3次元テンソル C_{i-1} * C_{i} * 3 = three-tap filters) 境界で0 padding(1つだけ？）
- このアルゴリズムによるクラス分類は事後分布p_cを最大化する？
- k=6が最適であると人の目で解釈。
- 2014年7月の波形をテストデータとするのは大丈夫？偏っていない？ ※全期間(2014/2/15 - 2016/11/16)のうち、2014/2/15 - 8/31のイベントの震央はまだ特定されていない。
- ※ConvNetQuakeがイベント窓と判定した1,902イベントは OGSカタログには乗っていないが、Autocorrelationでイベントとみなしたもの