SOINN-AM

FIT 2007 第6回情報科学技術フォーラム

ノイズのある環境下でオンライン学習が可能な
自己増殖型ニューラルネットワークを用いた
連想記憶モデル

東京工業大学知能システム科学専攻
須藤明人佐藤彰洋長谷川修

2007/0９/０５

知能ロボットと連想記憶
 連想記憶は人間の知的プロセスに不可欠である

 連想記憶を知能ロボットに適用する研究が近年行われて
いる．[1][2]

[1] K. Itoh et al., “New memory model for humanoid robots – introduction
of co-associative memory using mutually coupled chaotic neural
networks,” Proc. of the 2005 International Joint Conerene on Neural
Networks, pp. 2790–2795, 2005

[2] K. Mizutani and T. Omori, “On-line Map Formation and Path Planning
for Mobile Robot by Associative Memory with Controllable Attention,”
Proc. the 1999 International Joint Conference on Neural
Networks(IJCNN’99), pp.2051-2056, 1999.
Copyright（C） 2007 Akihito Sudo All rights reserved. 1

知能ロボットの連想記憶に必要な機能
実世界で働く知能ロボットのための連想記憶には、以下
の機能が必要不可欠である．
追加学習・・・事前に全ての知識を列挙できないため

ノイズ耐性・・・実世界のデータはノイジーなため

実数値データの取り扱い・・・センサー情報は実数値データ

多対多の連想・・・多対多の知識も存在するため

従来の連想記憶モデル
従来の連想記憶モデルは２つに大別できる

１．分散多重学習型連想記憶モデル
例１：ホップフィールドネットワーク
例２：Bidirectional Associative Memory(BAM)

２．競合学習型連想記憶モデル
例１：KFMAM（SOMを拡張した連想記憶モデル）
例２：KFMAM-FW（KFMAMを追加学習のために拡張）


分散多重学習型連想記憶モデルの問題点
分散多重学習型連想記憶モデルは
新たな学習で、既存の知識が破壊されてしまう

「追加学習に不向き」ということ！！！

Frenchはこの問題を避けることの困難さを指摘した[1]

[1]R. French, “Using Semi-Distributed Representation to
Overcome Catastrophic Forgetting in Connectionist
Networks,” Pm. of the 13h Annual Cognitive Science Society
Conference, pp. 173–178, 1991

一方で・・・
“競合学習型連想記憶モデル”は比較的追加学習に向いて
いる

特に追加学習を目的としたモデルKFMAM-FW[1]がある
KFMAM-FWは、新たな学習で既存の知識が破壊されない

[1]T. Yamada et al., “Sequential Learning for Associative
Memory using Kohonen Feature Map,” in Proc. of the 1999
International Joint Conference on Neural Networks, pp.
1920–1923, 1999.


KFMAM-FWの問題点
獲得可能な連想対の数の上限が
事前に設定したノードの数に依存して決まってしまう
もし、事前に設定したノード数が少なすぎると・・・
▪途中から連想対を追加獲得できなくなってしまう
もし、事前に設定したノード数が多すぎると・・・
▪不要な計算時間とメモリを浪費してしまう

獲得すべき知識の総数が事前にわからない環境では
「追加学習に不向き」ということ！！！

人間の赤ちゃんはこのような環境におかれている！

研究目的
次の機能を持つ連想記憶モデルAssociative Memory
with SOINN (SOINN-AM) を提案する．
上述の追加学習の問題を克服

高いノイズ耐性を持つ
知能ロボットに不可欠
実数値データを取り扱える

多対多の連想を行える

SOINNについて
提案手法はSelf-organizing Incremental Neural
Network (SOINN) の拡張とみなせる

SOINNはオンラインで教師無し分類を行うことができる
自己組織的に増殖・消滅するノードの持つ重みベクトルで、オ
ンラインで入力されるデータを表現する

入力出力
(5クラスのデータ)

提案手法の特徴１～追加学習の観点から～
ノードが自己組織的に増殖・消滅する
そのため・・・

追加学習時に既存の知識が破壊されない
KFMAM-FWでも実現されている

学習すべき知識の量が事前にわからない環境に適応
KFMAM-FWにできないこと


追加学習の観点での提案手法と従来手法の比較
学習すべき知識の
新たな学習で既存の
総数が事前に不明な
知識を破壊しない
環境に適応
SOINN-AM
（提案手法) ○ ○
KFMAM-FW ○ ×
KFMAM △ ×
BAM × ×
Hopfield Network × ×

提案手法の特徴２
追加学習性能だけでなく、以下の3点も実現している
ノイズ耐性が他手法より優れている

実数値データが取り扱える

多対多の連想が行える


提案手法のノイズ耐性について
実世界のノイズには以下の２タイプがある。

（ａ）のノイズについて
提案手法は従来手法を上回る耐性を持つ。
（ｂ）のノイズについて
このタイプのノイズにも提案手法は耐性がある。
従来手法でこのタイプのノイズに耐性があるものは自己連想し
か行えない。

提案手法のアーキテクチャ
入力層は２つの入力ベクトルを受け取ることができる

ベクトル１ベクトル２

入力層・・・・・・
“エッジ”でノードが結合されることで、
クラスタリングされるノードは重みベクトル W を持つ
 
重心にプロトタイプノードが W  [ w1 , w2 ]
生成される
連想対に対応
競合層

競合層では、“ノード”と、ノードをつなぐ“エッジ”が
自律的に増殖・消滅する

学習フェーズの概要
①学習すべき連想対が入力層に入力される

F R
入力層・・・・・・

競合層

②競合層では、連想対を保持するノードがクラ
スタリングされながら自律的に増殖・消滅する

学習フェーズのアルゴリズム１
入力層での処理

1. 入力層に学習すべき連想対FとRが入力される
（）
2. FとRを一つのベクトルXに結合する

3. X にわずかな摂動を加えたものをIcとする
（）

4. Icを競合層に入力する

学習フェーズのアルゴリズム２
第１勝者ノードと第２勝者ノードを探す
5. 競合層にある全てのノードの重みベクトルと、競合層へ
の入力Icのユークリッド距離を計算

6. 最も距離の小さいノードと、２番目に距離の小さいノー
ドをそれぞれ「第１勝者ノード」「第２勝者ノード」と
名付ける
競合層競合層への入力 Ic
第1勝者ノード
第２勝者ノード

・・・競合層のノード

学習フェーズのアルゴリズム３
Icが既存のノードと同じクラスタに属するかを判定

7. 第１勝者ノードと第２勝者ノードについて、
下式dを計算する

8. もし、
Icと第1勝者の距離＜第1勝者のd
Icと第２勝者の距離＜第２勝者のd
のどちらかが成り立てば、Icは既存のノードと同じクラ
スタに属すると判定する

学習フェーズのアルゴリズム４
同じクラスタに属さないと判断されたときの処理
9. Icを重みベクトルに持つノードを競合層に
新たに生成する

競合層競合層への入力 Icを重みに持つノード
c

このステップでノードが新たに生成される！！！


学習フェーズのアルゴリズム５
同じクラスタに属すると判断されたときの処理その１
9’-1. 第1勝者と第2勝者の間を年齢１の“エッジ”で結合す
る（もし既にエッジがあれば、その年齢を１に戻す）

9’-2. 第2勝者以外のノードと第1勝者の間のエッジの年齢
を1だけ増やす

9’-3. 年齢が、あらかじめ定めた値を越えた
エッジを削除


学習フェーズのアルゴリズム６
同じクラスタに属すると判断されたときの処理その２
9’-4. 第1勝者の重みベクトルおよび、第1勝者とエッジで
つながっているノードの重みベクトルにと
をそれぞれ加える


学習フェーズのアルゴリズム７
不要なノードを削除し、プロトタイプノードを生成
10.もし、これまでに入力された学習データの総数が事前
に設定した値 l の整数倍であるならば、エッジを持た
ないノードを削除する

11.各クラスタに属するノードの重みベクトルの平均を重
みベクトルとして持つノードを生成する
 このノードは“プロトタイプノード”と呼ばれ、想起フェーズで
利用される


学習フェーズでの競合層の様子

・・・通常のノード

・・・プロトタイプノード

学習データにガウシアンノイズを混入させているためクラスタに広がりがある

想起フェーズの概要
①連想キーとしてベクトルが一つだけ入力される

F R
入力層・・・・・・

競合層

②対応するノードが発火し、連想結果が出力さ
れる

想起フェーズのアルゴリズム1
入力層での処理
1. 入力層にベクトル F または R が入力される

2. 下式のIcを競合層へ入力する


競合層での処理その１
3. 下式で、 Icと全てのノード i の重みベクトルの距離を計
算する

ここで、

である。

想起フェーズのアルゴリズム３
競合層での処理その２
4. 事前に設定した値drについて、
が成り立つノードが全て発火する


競合層での処理その３
4. 発火したノードの属するクラスタのプロトタイプノード
の重みをとしたとき、出力Oは下式で表される

ここで、


競合層での処理その４
4’. 発火するノードが一つも無い場合は、連想キーをノイ
ズであると判断し、”Unknown”と出力する

注意）出力Oが複数存在することもありうる。
この場合は、1対多の連想を行っていることになる


実験設定～比較手法～
分散多重学習型連想記憶モデル
BAM with PRLAB[1]・・・論文[3]で比較手法として用いられ
ている手法
競合学習型連想記憶モデル
KFMAM[2]・・・SOMを連想記憶モデルに拡張したモデル
KFMAM-FW[3]・・・[2]の追加学習性能を高めた手法

[1]H. Oh and S.C. Kothari, “Adaptation of the relaxation method for learning in bidirectional associative
memory,” IEEE Tans. Neural Networks, Vol.5, No.4, pp. 576–583, 1994.
[2]H. Ichiki et al., “Kohonen feature maps as a supervised learning machine,” in Proc. of the IEEE
International Conference on Neural Networks, pp. 1944–1948, 1993.
[3]T. Yamada et al., “Sequential Learning for Associative Memory using Kohonen Feature Map,” in Proc. of
the 1999 International Joint Conference on Neural Networks, pp. 1920–1923, 1999.


実験設定～パラメタと学習回数～
パラメタは下表のように設定した

学習回数は以下とした
提案手法・・・１つの連想対について50回ずつ
BAM with PRLAB と KFMAM・・・重みが収束するまで
KFMAM-FW・・・重みが固定されたノードができるまで


実験設定～用いたデータ～
用いたデータ
２値画像・・・７×７ピクセルの英語アルファベット画像
▪比較手法が2値データしか扱えないため使用した

グレースケール画像
・・・９２×１１２ピクセルのAT&T顔画像データベースの画像


行った実験
1. 追加学習性能の比較実験

2. 提案手法が多対多の連想を行えることの確認実験

3. ノイズ耐性の比較実験
 ２つのタイプのノイズについてそれぞれ実験

4. 提案手法が実数値データを扱えることの確認実験


実験１
追加学習性能の比較実験
学習させた連想対

，，・・・

学習データは逐次的に与えた
バッチ学習ではない！

学習後、連想キーとして大文字のアルファベットを与え
出力を見た


実験１
追加学習性能の比較実験～結果～
全て正しく連想できたのは、提案手法とKFMAM－FW（36 nodes and 64
nodes）のみ
ただし、KFMAM-FW(25 nodes and 16 nodes)は学習中に無限ループに陥っ
てしまった

Proposed→


実験２
多対多の連想性能の確認実験
下図の連想対を提案手法に学習させた

連想キーとして、Ａ、Ｃ、Ｆ、Ｊを与え、出力
を見た
実験結果

すべての連想がうまくいった

実験３－１
ノイズ耐性の比較実験その１
学習させた連想対

，，・・・

学習後、アルファベットの大文字の画像に０％～２６％
のバイナリノイズを加えたものを連想キーとして与え、
出力を見た。
同じノイズレベルについて100個の連想キーを生成して与えた
↓ノイズを加えた連想キーの例


実験３－１
ノイズ耐性の比較実験その１～結果～

高いノイズレベルにおいても、他手法よりも正しく連想が行える
100
SOINN-AM
90
80 KFMAM-FW
Perfect recall (%)

70 KFMAM (batch learning)
60
50
KFMAM (sequential learning)
40
30 BAM (batch learning)
20
10 BAM (sequential learning)
0
0 2 4 6 8 10 12 14 16 18 20 22 24 26
Noise level (%)

実験３－２
ノイズ耐性の比較実験その２
まず、下記の連想対を学習させた
，，・・・
その後、ランダムに発生させたデータを連想キーとして
与えたところ、以下の出力を得た
望ましい出力！無意味な出力・・・

提案手法の出力比較手法の出力

実験４
多値データの取り扱いに関する確認実験
下図のような１対５の連想対を10人分学習させた

10人分用意し、与える

実験結果
SOINN-AMの出力と正解画像の次元あたりの誤差は1.0×10-5
～2.0×10-5と極めて低かった


まとめ
以下の機能を併せ持つ連想記憶モデルを提案した
追加学習に適する
▪新たな学習で既存の知識を破壊しない
▪知識の総数が事前にわからない環境にも適する

高いノイズ耐性を持つ

実数値データを取り扱える

多対多の連想を行える

課題・展望

提案手法をロボットに適用する

より複雑なタスクに対応するため、提案手法を“パターン情報ベー
スの推論”のために拡張する
提案手法を拡張した“パターン情報ベースの推論”について
セッション[推論と学習］(9/7 13:00～)にて発表予定


SOINN-AM

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (9)

More from SOINN Inc.

More from SOINN Inc. (6)

Recently uploaded

Recently uploaded (11)

SOINN-AM