SOINN PBR
Upcoming SlideShare
Loading in...5
×
 

SOINN PBR

on

  • 2,787 views

 

Statistics

Views

Total Views
2,787
Views on SlideShare
894
Embed Views
1,893

Actions

Likes
0
Downloads
9
Comments
0

6 Embeds 1,893

http://haselab.info 1870
http://translate.googleusercontent.com 8
http://www.haselab.info 7
http://webcache.googleusercontent.com 6
http://www.google.com 1
http://www.google.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

SOINN PBR SOINN PBR Presentation Transcript

  • FIT 2007 第6回情報科学技術フォーラム パターン情報ベースの命題論理式の ための推論機の提案 東京工業大学 知能システム科学専攻 須藤 明人 坪山 学 張 シンリ 佐藤 彰洋 長谷川 修 2007/09/07
  • 研究背景 人工知能の分野では古くから推論に関する研究がなされてきた しかし・・・ 既存の推論機は実環境で自律的に動作する知能ロボットには不十分である。 我々の考える最も重要な問題点: 既存の推論機の多くは シンボルを操作する推論しか行えない そこで・・・ パターン情報ベースの推論機を提案するCopyright(C) 2007 Akihito Sudo All rights reserved. 1
  • シンボルをベースとした推論の問題点Copyright(C) 2007 Akihito Sudo All rights reserved.
  • シンボルをベースとした推論の問題点1~既存のパターン識別機の限界に起因する問題~ 下図のように、シンボル化装置とシンボルベースの推論機を組み合わせれば、 パターン情報ベースの推論機は不要と考えられるが・・・ パターン情報 シンボル化 シンボル 既存の推論機 装置 パターン情報をシンボル化することはいまだ難しいタスクである 例えば、既存のパターン識別機にとっては、机と机でないものを識別することは難し いタスクである。 つまり、上図のような戦略は非現実的Copyright(C) 2007 Akihito Sudo All rights reserved. 3
  • 将来的に、十分な性能を持つシンボル化装置が開発されたら?? それでも、依然として“パターン情報ベースの推論機”は必要であるCopyright(C) 2007 Akihito Sudo All rights reserved. 4
  • シンボルをベースとした推論の問題点2~自律的なシンボル生成時に起こる問題~ 知能ロボットは自律的にシンボルを生成することが求められる なぜなら、知能ロボットに事前にすべてのシンボルを与えることは不可能 シンボル生成を行うためには、シンボル化したい対象を用いた思考や行動が 必要になる。 その際には、パターン情報を用いた推論も行う必要がある 対象を用いた思考・推論 対象とのインタラクション パターン情報 対象 シンボル生成 知能ロボットCopyright(C) 2007 Akihito Sudo All rights reserved. 5
  • シンボルをベースとした推論の問題点3~シンボル化に馴染まないパターン情報の存在~ 風景や絵の構図、臭いや触覚といった情報はシンボル化になじまない 人間もこれらのパターン情報をシンボル化してから推論しているわけではない 臭いや触覚といった情報を用いて 推論するためにはシンボル推論機では不十分Copyright(C) 2007 Akihito Sudo All rights reserved. 6
  • 異なる観点からの “パターン情報ベースの推論機”の必要性Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 異なる観点からの“パターン情報ベースの推論機”の必要性1エキスパートシステムの「知識獲得問題の解決」のため 月本は、熟練者の知識を計算機上で実現するために、パターン情報ベースの推 論が必要であると主張した  月本洋: パターン推論 ―ニューラルネットワークの論理的推論―, 信学論(D-II), J83-D-D-II, 744-753, 2000. 月本の観点でのパターン推論の必要性は・・・ 熟練者は、パターン情報をシンボル化せずに考えていることも多い 脳画像が であるなら、心電図が である 熟練者 この知識をシンボルベースの推論機で操作することはできないCopyright(C) 2007 Akihito Sudo All rights reserved.
  • 異なる観点からの“パターン情報ベースの推論機”の必要性2シンボルグラウンディング問題の解決・フレーム問題への対処 山根らは、「シンボルグラウンディング問題の解決およびフレーム問題への対 処」にパターン情報ベースの推論が寄与すると主張した  山根健,蓮尾高志,末光厚夫,森田昌彦: 軌道アトラクタを用いたパターンベース推論, 信学論(D), J90-D, 933-944, 2007.Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 従来研究Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 従来研究1月本洋: パターン推論 ―ニューラルネットワークの論理的推論―, 信学論(D-II), J83-D-D-II, 744-753, 2000. <概要> パターン情報を関数としてとらえ、その関数を学習したフィードフォワード型 のニューラルネットワークを命題として扱う “中間論理LC”等の非古典論理のモデルを用いることで、そのような命題を用い た推論を行えることを示した <メリット> 連言(かつ)・選言(または)・否定を含んだ論理式を扱える <デメリット> 命題ごとに新しいニューラルネットワークを用意せねばならないが、 知能ロボットに応用する際に、ニューラルネットワークを用意するタイミング がわからないCopyright(C) 2007 Akihito Sudo All rights reserved.
  • 従来研究2山根健,蓮尾高志,末光厚夫,森田昌彦: 軌道アトラクタを用いたパターンベース推論,信学論(D), J90-D, 933-944, 2007. <概要> パターン情報を2値ベクトルとしてとらえ、2値ベクトル間の因果関係を学習し た単一の非単調神経回路網を用いて推論を行う <メリット> 多次元ベクトルとして表現したパターン情報を命題として扱うことができる <デメリット> 連言(かつ)・選言(または)・否定を含んだ論理式を扱えない 2値ベクトルしか扱うことができないCopyright(C) 2007 Akihito Sudo All rights reserved.
  • 研究目的Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 研究目的1月本、山根らの両手法のメリットを兼ね備える 月本、山根らの手法両方のメリットを兼ね備えたパターン情報ベースの推論機 を構築する つまり・・・  多次元ベクトルとして表現したパターン情報を命題として 扱うことができる  連言(かつ)・選言(または)・否定を含んだ論理式を扱えるCopyright(C) 2007 Akihito Sudo All rights reserved. 14
  • 研究目的2それ以外に、ロボットへの適用に有意義な機能も実現する If-thenルールを追加学習できる そのためには以下の2点が必要 ▪新しい知識を追加しても既存の知識は破壊されない ▪既存の知識と同じである(または極めて類似した)データは追加して覚えない 推論結果の重複の回避 学習すべきif-thenルールをクラスタリングしながら学習することで実現する ノイズ耐性 ▪実環境から得られるセンサー情報はノイズに満ちているためCopyright(C) 2007 Akihito Sudo All rights reserved. 15
  • 提案手法Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 提案手法提案手法の概略 提案手法は、学習フェーズと推論フェーズに分かれる <学習フェーズ> 多次元ベクトルを原子命題とするif-thenルールを「自己増殖型ニューラルネッ トワーク」を拡張したアルゴリズムで学習 任意の形の命題論理式を学習可能(選言、連言、否定を扱える) <推論フェーズ> ファクト(A∧B等)が入力されると、学習したif-thenルールを用いて推論を行うCopyright(C) 2007 Akihito Sudo All rights reserved. 17
  • 提案手法提案手法のアーキテクチャ 提案手法は短期記憶,長期記憶,学習機,推論機からなる Short Term Memory Long Term Memory Input Learning Phase Cluster 1 Cluster 2 If-Then Rule ・・・ Reasoning Phase Fact Reference Reference Reference Reference Learning Machine update Reasoning Machine Execute Execute learning algorithm reasoning algorithm outputCopyright(C) 2007 Akihito Sudo All rights reserved. 18
  • 提案手法 学習フェーズCopyright(C) 2007 Akihito Sudo All rights reserved.
  • 提案手法 ~学習フェーズ~学習フェーズの概要 学習データとしてif-thenルールが入力される 自己増殖型ニューラルネットワークを拡張したアルゴリズムで、 学習データを学習する 学習により、if-thenルールがオンラインでクラスタリングされながら 長期記憶に蓄積されるCopyright(C) 2007 Akihito Sudo All rights reserved. 20
  • 提案手法 ~学習フェーズ~学習フェーズのフローチャート Decompose Input to Create an edge between conjunctive of literals the first winner and the second winner Find first and second Add 1 to the age of all winner in LTM edges emanating from the first winner. NO New knowledge? Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which has less than two edges. Reset age of edge between first and second Learning data remains? winner YESCopyright(C) 2007 Akihito Sudo All rights reserved. 21
  • Decompose Input to Create an edge between提案手法 ~学習フェーズ~ conjunctive of literals the first winner and the second winner「リテラルの連言→リテラルの連言」の Find first and second Add 1 to the age of all winner in LTM edges emanating from the first winner. NO New knowledge?形に分解 Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 前処理として、「リテラルの連言→リテラルの連言」の Reset age of edge has less than two edges. 形に分解する between first and second winner Learning data remains? YES <例> 学習すべきif-thenルールを以下とする (A∧¬B)∨C∨(D∧E∧F)→¬G∨(H∧I) これは、以下のように6個のif-thenルールに分解される A∧¬B→G A∧¬B→H∧I 以後、これらひとつずつを C→G C→H∧I 「学習データ」と呼ぶ D∧E∧F→ G D∧E∧F→H∧ICopyright(C) 2007 Akihito Sudo All rights reserved. 22
  • Decompose Input to Create an edge between conjunctive of literals the first winner and the second winner提案手法 ~学習フェーズ~ Find first and second winner in LTM Add 1 to the age of all edges emanating from the first winner.勝者を見つける NO New knowledge? Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 長期記憶のif-thenルールのなかから、 Reset age of edge has less than two edges. 学習データと距離の近いもの二つを探す between first and second Learning data remains? winner YES Long Term Memory 第1勝者 第2勝者 ・・・学習データ ・・・長期記憶に蓄積されたif-thenルール その際に用いる距離尺度は以下の式を用いるCopyright(C) 2007 Akihito Sudo All rights reserved. 23
  • Decompose Input to Create an edge between conjunctive of literals the first winner and the second winner提案手法 ~学習フェーズ~ Find first and second winner in LTM Add 1 to the age of all edges emanating from the first winner.新しい知識であるか判断する NO New knowledge? Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 第1勝者と第2勝者の類似度閾値を下式で計算する Reset age of edge has less than two edges. between first and second Learning data remains? winner YES もし、以下のいずれかが成り立てば、学習データを新しい知識と判断する  「学習データと第1勝者の距離 > 第1勝者の類似度閾値」  「学習データと第2勝者の距離 > 第2勝者の類似度閾値」Copyright(C) 2007 Akihito Sudo All rights reserved. 24
  • Decompose Input to Create an edge between conjunctive of literals the first winner and the提案手法 ~学習フェーズ~ Find first and second second winner Add 1 to the age of all学習データが新しい知識であれば、 winner in LTM edges emanating from the first winner. NO New knowledge? Eliminate old edges新たに長期記憶に追加する YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 前ステップで、学習データが新しい知識と判断されれば、 Reset age of edge has less than two edges. 学習データを新たに長期記憶に追加する between first and second Learning data remains? winner YES Long Term Memory ・・・学習データ ・・・長期記憶に蓄積されたif-thenルール このステップの後は・・・  新たな学習データがまた存在していれば、その学習データについて処理を始める  新たに学習データが存在しなければ、処理は終了Copyright(C) 2007 Akihito Sudo All rights reserved. 25
  • Decompose Input to Create an edge between conjunctive of literals the first winner and the提案手法 ~学習フェーズ~ Find first and second second winner Add 1 to the age of all学習データが新しい知識では無い時、 winner in LTM edges emanating from the first winner. NO New knowledge? Eliminate old edges第1勝者と第2勝者をエッジで結合する YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 前ステップで、学習データが新しい知識でないと判断 Reset age of edge has less than two edges. されれば、第1勝者と第2勝者をエッジで結合する between first and second Learning data remains? winner YES Long Term Memory 第1勝者 第2勝者 ・・・学習データ ・・・長期記憶に蓄積されたif-thenルール もし、当該エッジが既に存在していれば、エッジの年齢を0に戻すCopyright(C) 2007 Akihito Sudo All rights reserved. 26
  • Decompose Input to Create an edge between提案手法 ~学習フェーズ~ conjunctive of literals the first winner and the second winner Find first and second第1勝者のエッジの年齢を増やし、閾値以上 Add 1 to the age of all winner in LTM edges emanating from the first winner. NO New knowledge? Eliminate old edgesの年齢のエッジは削除する YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 第1勝者が持つ全てのエッジの年齢を1だけ増やす Reset age of edge has less than two edges. between first and second Learning data remains? winner YES もし、閾値以上の年齢になったエッジが存在すれば、そのエッジは削除するCopyright(C) 2007 Akihito Sudo All rights reserved. 27
  • Decompose Input to Create an edge between提案手法 ~学習フェーズ~ conjunctive of literals the first winner and the second winnerエッジを1本以下しかもたないif-then Find first and second Add 1 to the age of all winner in LTM edges emanating from the first winner. NO New knowledge?ルールを長期記憶から削除する Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which エッジを1本以下しかもたないif-thenルールが Reset age of edge has less than two edges. 長期記憶から削除される between first and second Learning data remains? winner YES Long Term Memory このステップの後は・・・  新たな学習データがまた存在していれば、その学習データについて処理を始める  新たに学習データが存在しなければ、処理は終了Copyright(C) 2007 Akihito Sudo All rights reserved. 28
  • 提案手法 推論フェーズCopyright(C) 2007 Akihito Sudo All rights reserved.
  • 提案手法 ~推論フェーズ~推論フェーズの概要 ファクトとして「A∧B」や「C」といった命題が入力される ファクトと、長期記憶に蓄積されているif-thenルールを用いて 推論を行う 推論結果はOR木として出力されるCopyright(C) 2007 Akihito Sudo All rights reserved. 30
  • 提案手法 ~推論フェーズ~推論結果の出力形態と、推論結果の例 提案手法はOR木を推論結果として出力する <例> 長期記憶としてA∧B→C∨(D∧¬E),C→F∨G∨(H∧I),D∧¬E→¬Jを保持して いるとする このとき、A∧Bがファクトとして入力されたときには下図のOR木が出力される 出力されるOR木の例 A∧B C D∧¬E F G H∧¬I ¬JCopyright(C) 2007 Akihito Sudo All rights reserved. 31
  • 提案手法 ~推論フェーズ~推論フェーズのフローチャート Generate a tree which has single node holding input Add conclusion parts corresponding to the similar conditioning parts Find conditioning parts as child nodes similar to input Similar conditioning Find conditioning parts part exists? similar to leafs of the tree YESCopyright(C) 2007 Akihito Sudo All rights reserved. 32
  • Generate a tree which has single node holding input Add conclusion parts corresponding to the提案手法 ~推論フェーズ~ Find conditioning parts similar to input similar conditioning parts as child nodesファクトを保持する根のみを持つ木を生成 Similar conditioning Find conditioning parts part exists? similar to leafs of the tree YES まず、入力されたファクトを保持するノードを 根とする木を生成する <例> A∧Bがファクトとして入力されたとき、下図の木が生成される 生成されるOR木 A∧BCopyright(C) 2007 Akihito Sudo All rights reserved. 33
  • 提案手法 ~推論フェーズ~ Generate a tree which has single node holding input Add conclusion parts corresponding to the該当する長期記憶のif-thenルールの結論部を Find conditioning parts similar to input similar conditioning parts as child nodes子ノードに追加 Similar conditioning Find conditioning parts part exists? similar to leafs of the tree YES ファクトと、長期記憶のif-thenルールの条件部の距離を 計算する 距離が閾値以下であるif-thenルールの結論部を子ノードとして追加する <例> 長期記憶としてA∧B→C、 A∧B→(D∧¬E)が存在するとき、下図のようになる 生成されるOR木 A∧B C D∧¬ECopyright(C) 2007 Akihito Sudo All rights reserved. 34
  • Generate a tree which has single node holding input Add conclusion parts corresponding to the提案手法 ~推論フェーズ~ Find conditioning parts similar to input similar conditioning parts as child nodes生成された子ノードについて、同様の処理を行う Similar conditioning Find conditioning parts part exists? similar to leafs of the tree YES 生成された子ノードと、長期記憶のif-thenルールの 条件部の距離を計算する 距離が閾値以下であるif-thenルールの結論部を子ノードとして追加する <例> 長期記憶としてC→F, C→G, C→(H∧I), D∧¬E→¬Jがあれば、下図となる 生成されるOR木 A∧B C D∧¬E F G H∧¬I ¬JCopyright(C) 2007 Akihito Sudo All rights reserved. 35
  • 実 験Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 実験利用した画像 パターン情報として以下のような画像を利用した A. Close door B. Open door C. Lab. D. Wall E. Hallway F. Elevator G. Desk-1 H. Desk-2 I. Desk drawer-1 J. Desk drawer-2 (close) (close) K. Desk drawer-1 L. Desk drawer-2 M. Down stairs N. Room plate (open) (open)Copyright(C) 2007 Akihito Sudo All rights reserved. 37
  • 実験利用した画像 それぞれの対象について、異なったアングルから撮影した20枚の画像を用いたCopyright(C) 2007 Akihito Sudo All rights reserved.
  • 学習したif-thenルール 以下のような知識を学習させた  閉じたドア→開いたドア  開いたドア→壁∨廊下  廊下→(研究室∧表札)∨エレベータ∨階段  (研究室∧表札)→(机1∧閉まった引出し1)∨(机2∧閉まった引出し2)  (机1∧閉まった引出し1)→開いた引出し1 これは環境の可能性を学習したことにあたる。Copyright(C) 2007 Akihito Sudo All rights reserved. 39
  • 推論結果 ∧ ∧ ∧Copyright(C) 2007 Akihito Sudo All rights reserved. 40
  • 各クラスタのメンバー数Copyright(C) 2007 Akihito Sudo All rights reserved. 41
  • ノイズ耐性Copyright(C) 2007 Akihito Sudo All rights reserved. 42
  • まとめ 以下のような特徴を持つ自己増殖型ニューラルネットワークを拡張した、パ ターン情報ベースの推論機を提案した  連言、選言、否定を扱うことができる  パターン情報を多値ベクトルで表現できる  オンラインで追加学習が行える  ノイズ耐性を持つCopyright(C) 2007 Akihito Sudo All rights reserved. 43