SOINN-AM

1. FIT 2007 第6回情報科学技術フォーラムノイズのある環境下でオンライン学習が可能な自己増殖型ニューラルネットワークを用いた連想記憶モデル東京工業大学知能システム科学専攻須藤明人佐藤彰洋長谷川修 2007/0９/０５

2. 知能ロボットと連想記憶  連想記憶は人間の知的プロセスに不可欠である  連想記憶を知能ロボットに適用する研究が近年行われている．[1][2] [1] K. Itoh et al., “New memory model for humanoid robots – introduction of co-associative memory using mutually coupled chaotic neural networks,” Proc. of the 2005 International Joint Conerene on Neural Networks, pp. 2790–2795, 2005 [2] K. Mizutani and T. Omori, “On-line Map Formation and Path Planning for Mobile Robot by Associative Memory with Controllable Attention,” Proc. the 1999 International Joint Conference on Neural Networks(IJCNN’99), pp.2051-2056, 1999. Copyright（C） 2007 Akihito Sudo All rights reserved. 1

3. 知能ロボットの連想記憶に必要な機能 実世界で働く知能ロボットのための連想記憶には、以下の機能が必要不可欠である． 追加学習・・・事前に全ての知識を列挙できないため ノイズ耐性・・・実世界のデータはノイジーなため 実数値データの取り扱い・・・センサー情報は実数値データ 多対多の連想・・・多対多の知識も存在するため Copyright（C） 2007 Akihito Sudo All rights reserved. 2

4. 従来の連想記憶モデル 従来の連想記憶モデルは２つに大別できる１．分散多重学習型連想記憶モデル 例１：ホップフィールドネットワーク 例２：Bidirectional Associative Memory(BAM) ２．競合学習型連想記憶モデル 例１：KFMAM（SOMを拡張した連想記憶モデル） 例２：KFMAM-FW（KFMAMを追加学習のために拡張） Copyright（C） 2007 Akihito Sudo All rights reserved. 3

5. 分散多重学習型連想記憶モデルの問題点 分散多重学習型連想記憶モデルは新たな学習で、既存の知識が破壊されてしまう「追加学習に不向き」ということ！！！ Frenchはこの問題を避けることの困難さを指摘した[1] [1]R. French, “Using Semi-Distributed Representation to Overcome Catastrophic Forgetting in Connectionist Networks,” Pm. of the 13h Annual Cognitive Science Society Conference, pp. 173–178, 1991 Copyright（C） 2007 Akihito Sudo All rights reserved. 4

6. 一方で・・・ “競合学習型連想記憶モデル”は比較的追加学習に向いている 特に追加学習を目的としたモデルKFMAM-FW[1]がある KFMAM-FWは、新たな学習で既存の知識が破壊されない [1]T. Yamada et al., “Sequential Learning for Associative Memory using Kohonen Feature Map,” in Proc. of the 1999 International Joint Conference on Neural Networks, pp. 1920–1923, 1999. Copyright（C） 2007 Akihito Sudo All rights reserved. 5

7. KFMAM-FWの問題点 獲得可能な連想対の数の上限が事前に設定したノードの数に依存して決まってしまう もし、事前に設定したノード数が少なすぎると・・・ ▪途中から連想対を追加獲得できなくなってしまう もし、事前に設定したノード数が多すぎると・・・ ▪不要な計算時間とメモリを浪費してしまう獲得すべき知識の総数が事前にわからない環境では「追加学習に不向き」ということ！！！人間の赤ちゃんはこのような環境におかれている！ Copyright（C） 2007 Akihito Sudo All rights reserved. 6

9. SOINNについて 提案手法はSelf-organizing Incremental Neural Network (SOINN) の拡張とみなせる SOINNはオンラインで教師無し分類を行うことができる 自己組織的に増殖・消滅するノードの持つ重みベクトルで、オンラインで入力されるデータを表現する入力出力 (5クラスのデータ) Copyright（C） 2007 Akihito Sudo All rights reserved. 8

14. 提案手法のアーキテクチャ入力層は２つの入力ベクトルを受け取ることができるベクトル１ベクトル２入力層・・・・・・ “エッジ”でノードが結合されることで、クラスタリングされるノードは重みベクトル W を持つ   重心にプロトタイプノードが W  [ w1 , w2 ] 生成される連想対に対応競合層競合層では、“ノード”と、ノードをつなぐ“エッジ”が自律的に増殖・消滅する Copyright（C） 2007 Akihito Sudo All rights reserved. 13

17. 学習フェーズのアルゴリズム２第１勝者ノードと第２勝者ノードを探す 5. 競合層にある全てのノードの重みベクトルと、競合層への入力Icのユークリッド距離を計算 6. 最も距離の小さいノードと、２番目に距離の小さいノードをそれぞれ「第１勝者ノード」「第２勝者ノード」と名付ける競合層競合層への入力 Ic 第1勝者ノード第２勝者ノード・・・競合層のノード Copyright（C） 2007 Akihito Sudo All rights reserved. 16

18. 学習フェーズのアルゴリズム３ Icが既存のノードと同じクラスタに属するかを判定 7. 第１勝者ノードと第２勝者ノードについて、下式dを計算する 8. もし、 Icと第1勝者の距離＜第1勝者のd Icと第２勝者の距離＜第２勝者のd のどちらかが成り立てば、Icは既存のノードと同じクラスタに属すると判定する Copyright（C） 2007 Akihito Sudo All rights reserved. 17

20. 学習フェーズのアルゴリズム５同じクラスタに属すると判断されたときの処理その１ 9’-1. 第1勝者と第2勝者の間を年齢１の“エッジ”で結合する（もし既にエッジがあれば、その年齢を１に戻す） 9’-2. 第2勝者以外のノードと第1勝者の間のエッジの年齢を1だけ増やす 9’-3. 年齢が、あらかじめ定めた値を越えたエッジを削除 Copyright（C） 2007 Akihito Sudo All rights reserved. 19

22. 学習フェーズのアルゴリズム７不要なノードを削除し、プロトタイプノードを生成 10.もし、これまでに入力された学習データの総数が事前に設定した値 l の整数倍であるならば、エッジを持たないノードを削除する 11.各クラスタに属するノードの重みベクトルの平均を重みベクトルとして持つノードを生成する  このノードは“プロトタイプノード”と呼ばれ、想起フェーズで利用される Copyright（C） 2007 Akihito Sudo All rights reserved. 21

30. 実験設定～比較手法～ 分散多重学習型連想記憶モデル BAM with PRLAB[1]・・・論文[3]で比較手法として用いられている手法 競合学習型連想記憶モデル KFMAM[2]・・・SOMを連想記憶モデルに拡張したモデル KFMAM-FW[3]・・・[2]の追加学習性能を高めた手法 [1]H. Oh and S.C. Kothari, “Adaptation of the relaxation method for learning in bidirectional associative memory,” IEEE Tans. Neural Networks, Vol.5, No.4, pp. 576–583, 1994. [2]H. Ichiki et al., “Kohonen feature maps as a supervised learning machine,” in Proc. of the IEEE International Conference on Neural Networks, pp. 1944–1948, 1993. [3]T. Yamada et al., “Sequential Learning for Associative Memory using Kohonen Feature Map,” in Proc. of the 1999 International Joint Conference on Neural Networks, pp. 1920–1923, 1999. Copyright（C） 2007 Akihito Sudo All rights reserved. 29

38. 実験３－１ノイズ耐性の比較実験その１～結果～ 高いノイズレベルにおいても、他手法よりも正しく連想が行える 100 SOINN-AM 90 80 KFMAM-FW Perfect recall (%) 70 KFMAM (batch learning) 60 50 KFMAM (sequential learning) 40 30 BAM (batch learning) 20 10 BAM (sequential learning) 0 0 2 4 6 8 10 12 14 16 18 20 22 24 26 Noise level (%) Copyright（C） 2007 Akihito Sudo All rights reserved. 37

SOINN-AM

SOINN-AM

Recommended

More Related Content

What's hot

What's hot(20)

Viewers also liked

Viewers also liked(9)

More from SOINN Inc.

More from SOINN Inc.(6)

Recently uploaded

Recently uploaded(10)

SOINN-AM