SlideShare a Scribd company logo
1 of 44
Download to read offline
FIT 2007 第6回情報科学技術フォーラム




      パターン情報ベースの命題論理式の
             ための推論機の提案


             東京工業大学 知能システム科学専攻

     須藤 明人   坪山 学   張 シンリ   佐藤 彰洋   長谷川 修

                                    2007/09/07
研究背景
 人工知能の分野では古くから推論に関する研究がなされてきた

                                                            しかし・・・

 既存の推論機は実環境で自律的に動作する知能ロボットには不十分である。


                                                       我々の考える最も重要な問題点:
                                                         既存の推論機の多くは
                                                      シンボルを操作する推論しか行えない

                                                                そこで・・・

                                        パターン情報ベースの推論機を提案する

Copyright(C) 2007 Akihito Sudo All rights reserved.                       1
シンボルをベースとした推論の問題点




Copyright(C) 2007 Akihito Sudo All rights reserved.
シンボルをベースとした推論の問題点1
~既存のパターン識別機の限界に起因する問題~
 下図のように、シンボル化装置とシンボルベースの推論機を組み合わせれば、
  パターン情報ベースの推論機は不要と考えられるが・・・


                          パターン情報                       シンボル化   シンボル
                                                                      既存の推論機
                                                         装置



 パターン情報をシンボル化することはいまだ難しいタスクである
          例えば、既存のパターン識別機にとっては、机と机でないものを識別することは難し
           いタスクである。


                                                      つまり、上図のような戦略は非現実的


Copyright(C) 2007 Akihito Sudo All rights reserved.                            3
将来的に、十分な性能を持つシンボル化装置が開発されたら??



                    それでも、依然として“パターン情報ベースの推論機”は必要である




Copyright(C) 2007 Akihito Sudo All rights reserved.    4
シンボルをベースとした推論の問題点2
~自律的なシンボル生成時に起こる問題~
 知能ロボットは自律的にシンボルを生成することが求められる
          なぜなら、知能ロボットに事前にすべてのシンボルを与えることは不可能


 シンボル生成を行うためには、シンボル化したい対象を用いた思考や行動が
  必要になる。
          その際には、パターン情報を用いた推論も行う必要がある


                                                          対象を用いた思考・推論
                                                          対象とのインタラクション



                                                      パターン情報
                                              対象                         シンボル生成



                                                               知能ロボット
Copyright(C) 2007 Akihito Sudo All rights reserved.                               5
シンボルをベースとした推論の問題点3
~シンボル化に馴染まないパターン情報の存在~
 風景や絵の構図、臭いや触覚といった情報はシンボル化になじまない


 人間もこれらのパターン情報をシンボル化してから推論しているわけではない




                                            臭いや触覚といった情報を用いて
                                         推論するためにはシンボル推論機では不十分




Copyright(C) 2007 Akihito Sudo All rights reserved.             6
異なる観点からの
                                        “パターン情報ベースの推論機”の必要性




Copyright(C) 2007 Akihito Sudo All rights reserved.
異なる観点からの“パターン情報ベースの推論機”の必要性1
エキスパートシステムの「知識獲得問題の解決」のため
 月本は、熟練者の知識を計算機上で実現するために、パターン情報ベースの推
  論が必要であると主張した
           月本洋: パターン推論 ―ニューラルネットワークの論理的推論―, 信学論(D-II), J83-D-D-II, 744-753, 2000.



 月本の観点でのパターン推論の必要性は・・・

                            熟練者は、パターン情報をシンボル化せずに考えていることも多い



                                                      脳画像が   であるなら、心電図が       である



                           熟練者

                          この知識をシンボルベースの推論機で操作することはできない
Copyright(C) 2007 Akihito Sudo All rights reserved.
異なる観点からの“パターン情報ベースの推論機”の必要性2
シンボルグラウンディング問題の解決・フレーム問題への対処
 山根らは、「シンボルグラウンディング問題の解決およびフレーム問題への対
  処」にパターン情報ベースの推論が寄与すると主張した

           山根健,蓮尾高志,末光厚夫,森田昌彦: 軌道アトラクタを用いたパターンベース推論,
            信学論(D), J90-D, 933-944, 2007.




Copyright(C) 2007 Akihito Sudo All rights reserved.
従来研究




Copyright(C) 2007 Akihito Sudo All rights reserved.
従来研究1
月本洋: パターン推論 ―ニューラルネットワークの論理的推論―, 信学論
(D-II), J83-D-D-II, 744-753, 2000.

 <概要>
 パターン情報を関数としてとらえ、その関数を学習したフィードフォワード型
  のニューラルネットワークを命題として扱う
 “中間論理LC”等の非古典論理のモデルを用いることで、そのような命題を用い
  た推論を行えることを示した


 <メリット>
 連言(かつ)・選言(または)・否定を含んだ論理式を扱える


 <デメリット>
 命題ごとに新しいニューラルネットワークを用意せねばならないが、
  知能ロボットに応用する際に、ニューラルネットワークを用意するタイミング
  がわからない

Copyright(C) 2007 Akihito Sudo All rights reserved.
従来研究2
山根健,蓮尾高志,末光厚夫,森田昌彦: 軌道アトラクタを用いたパターン
ベース推論,信学論(D), J90-D, 933-944, 2007.

 <概要>
 パターン情報を2値ベクトルとしてとらえ、2値ベクトル間の因果関係を学習し
  た単一の非単調神経回路網を用いて推論を行う


 <メリット>
 多次元ベクトルとして表現したパターン情報を命題として扱うことができる


 <デメリット>
 連言(かつ)・選言(または)・否定を含んだ論理式を扱えない


 2値ベクトルしか扱うことができない



Copyright(C) 2007 Akihito Sudo All rights reserved.
研究目的




Copyright(C) 2007 Akihito Sudo All rights reserved.
研究目的1
月本、山根らの両手法のメリットを兼ね備える
 月本、山根らの手法両方のメリットを兼ね備えたパターン情報ベースの推論機
  を構築する

                                                      つまり・・・



             多次元ベクトルとして表現したパターン情報を命題として
              扱うことができる


             連言(かつ)・選言(または)・否定を含んだ論理式を扱える




Copyright(C) 2007 Akihito Sudo All rights reserved.            14
研究目的2
それ以外に、ロボットへの適用に有意義な機能も実現する
 If-thenルールを追加学習できる
          そのためには以下の2点が必要
            ▪新しい知識を追加しても既存の知識は破壊されない
            ▪既存の知識と同じである(または極めて類似した)データは追加して覚えない


 推論結果の重複の回避
          学習すべきif-thenルールをクラスタリングしながら学習することで実現する


 ノイズ耐性
                   ▪実環境から得られるセンサー情報はノイズに満ちているため




Copyright(C) 2007 Akihito Sudo All rights reserved.   15
提案手法




Copyright(C) 2007 Akihito Sudo All rights reserved.
提案手法
提案手法の概略
 提案手法は、学習フェーズと推論フェーズに分かれる


 <学習フェーズ>
 多次元ベクトルを原子命題とするif-thenルールを「自己増殖型ニューラルネッ
  トワーク」を拡張したアルゴリズムで学習
          任意の形の命題論理式を学習可能(選言、連言、否定を扱える)


 <推論フェーズ>
 ファクト(A∧B等)が入力されると、学習したif-thenルールを用いて推論を行う




Copyright(C) 2007 Akihito Sudo All rights reserved.   17
提案手法
提案手法のアーキテクチャ
 提案手法は短期記憶,長期記憶,学習機,推論機からなる

                          Short Term Memory                       Long Term Memory
     Input                Learning Phase
                                                                   Cluster 1   Cluster 2
                                If-Then Rule
                                                                                           ・・・
                          Reasoning Phase
                                   Fact

                                                      Reference
                                                          Reference    Reference      Reference
                          Learning                    Machine update    Reasoning Machine

                                      Execute                                       Execute
                                 learning algorithm                            reasoning algorithm
                                                                                                     output


Copyright(C) 2007 Akihito Sudo All rights reserved.                                                      18
提案手法
                                                      学習フェーズ




Copyright(C) 2007 Akihito Sudo All rights reserved.
提案手法 ~学習フェーズ~
学習フェーズの概要
 学習データとしてif-thenルールが入力される


 自己増殖型ニューラルネットワークを拡張したアルゴリズムで、
  学習データを学習する

 学習により、if-thenルールがオンラインでクラスタリングされながら
  長期記憶に蓄積される




Copyright(C) 2007 Akihito Sudo All rights reserved.   20
提案手法 ~学習フェーズ~
学習フェーズのフローチャート
                                             Decompose Input to        Create an edge between
                                            conjunctive of literals     the first winner and the
                                                                             second winner
                                            Find first and second
                                                                        Add 1 to the age of all
                                                winner in LTM
                                                                        edges emanating from
                                                                           the first winner.
                                       NO
                                                 New knowledge?
                                                                         Eliminate old edges
                                                        YES
                                         Add Inputted If-then Rule    The number of input data is
                                                                        integer multiple of l ?
                                                                                                    NO
                                            Edge exists between                    YES
                                         first and second winner?     Remove knowledge which
                                                                      has less than two edges.

                                            Reset age of edge
                                         between first and second      Learning data remains?
                                                 winner
                                                                                    YES
Copyright(C) 2007 Akihito Sudo All rights reserved.                                                      21
Decompose Input to         Create an edge between
提案手法 ~学習フェーズ~                                                                     conjunctive of literals      the first winner and the
                                                                                                                    second winner



「リテラルの連言→リテラルの連言」の
                                                                                  Find first and second
                                                                                                               Add 1 to the age of all
                                                                                     winner in LTM
                                                                                                               edges emanating from
                                                                                                                  the first winner.
                                                                                 NO
                                                                                      New knowledge?


形に分解
                                                                                                                Eliminate old edges
                                                                                              YES

                                                                                 Add Inputted If-then Rule   The number of input data is
                                                                                                               integer multiple of l ?
                                                                                                                                           NO
                                                                                    Edge exists between                   YES
                                                                                 first and second winner?    Remove knowledge which

 前処理として、「リテラルの連言→リテラルの連言」の                                                         Reset age of edge
                                                                                                             has less than two edges.




  形に分解する                                                                         between first and second
                                                                                         winner
                                                                                                              Learning data remains?

                                                                                                                           YES




 <例>
 学習すべきif-thenルールを以下とする
            (A∧¬B)∨C∨(D∧E∧F)→¬G∨(H∧I)

 これは、以下のように6個のif-thenルールに分解される


            A∧¬B→G                                    A∧¬B→H∧I
                                                                  以後、これらひとつずつを
            C→G                                       C→H∧I       「学習データ」と呼ぶ
            D∧E∧F→ G                                  D∧E∧F→H∧I


Copyright(C) 2007 Akihito Sudo All rights reserved.                                                                                 22
Decompose Input to         Create an edge between
                                                                         conjunctive of literals      the first winner and the
                                                                                                           second winner


提案手法 ~学習フェーズ~                                                            Find first and second
                                                                            winner in LTM
                                                                                                      Add 1 to the age of all
                                                                                                      edges emanating from
                                                                                                         the first winner.


勝者を見つける
                                                                        NO
                                                                             New knowledge?
                                                                                                       Eliminate old edges
                                                                                     YES

                                                                        Add Inputted If-then Rule   The number of input data is
                                                                                                      integer multiple of l ?
                                                                                                                                  NO
                                                                           Edge exists between                   YES
                                                                        first and second winner?    Remove knowledge which

 長期記憶のif-thenルールのなかから、                                                    Reset age of edge
                                                                                                    has less than two edges.




  学習データと距離の近いもの二つを探す
                                                                        between first and second     Learning data remains?
                                                                                winner
                                                                                                                  YES




         Long Term Memory
                                                      第1勝者

                                                      第2勝者
                                                             ・・・学習データ
                                                             ・・・長期記憶に蓄積されたif-thenルール


 その際に用いる距離尺度は以下の式を用いる




Copyright(C) 2007 Akihito Sudo All rights reserved.                                                                          23
Decompose Input to         Create an edge between
                                                       conjunctive of literals      the first winner and the
                                                                                         second winner

提案手法 ~学習フェーズ~                                          Find first and second
                                                          winner in LTM
                                                                                    Add 1 to the age of all
                                                                                    edges emanating from
                                                                                       the first winner.


新しい知識であるか判断する
                                                      NO
                                                           New knowledge?
                                                                                     Eliminate old edges
                                                                   YES

                                                      Add Inputted If-then Rule   The number of input data is
                                                                                    integer multiple of l ?
                                                                                                                NO
                                                         Edge exists between                   YES
                                                      first and second winner?    Remove knowledge which

 第1勝者と第2勝者の類似度閾値を下式で計算する                                Reset age of edge
                                                                                  has less than two edges.


                                                      between first and second     Learning data remains?
                                                              winner
                                                                                                YES




 もし、以下のいずれかが成り立てば、学習データを新しい知識と判断する
             「学習データと第1勝者の距離 > 第1勝者の類似度閾値」
             「学習データと第2勝者の距離 > 第2勝者の類似度閾値」




Copyright(C) 2007 Akihito Sudo All rights reserved.                                                        24
Decompose Input to         Create an edge between
                                                                  conjunctive of literals      the first winner and the

提案手法 ~学習フェーズ~                                                     Find first and second
                                                                                                    second winner

                                                                                               Add 1 to the age of all


学習データが新しい知識であれば、
                                                                     winner in LTM
                                                                                               edges emanating from
                                                                                                  the first winner.
                                                                 NO
                                                                      New knowledge?
                                                                                                Eliminate old edges

新たに長期記憶に追加する                                                                  YES

                                                                 Add Inputted If-then Rule   The number of input data is
                                                                                               integer multiple of l ?
                                                                                                                           NO
                                                                    Edge exists between                   YES
                                                                 first and second winner?    Remove knowledge which

 前ステップで、学習データが新しい知識と判断されれば、                                        Reset age of edge
                                                                                             has less than two edges.




  学習データを新たに長期記憶に追加する
                                                                 between first and second     Learning data remains?
                                                                         winner
                                                                                                           YES




         Long Term Memory




                                                      ・・・学習データ
                                                      ・・・長期記憶に蓄積されたif-thenルール


 このステップの後は・・・
             新たな学習データがまた存在していれば、その学習データについて処理を始める
             新たに学習データが存在しなければ、処理は終了




Copyright(C) 2007 Akihito Sudo All rights reserved.                                                                   25
Decompose Input to         Create an edge between
                                                                         conjunctive of literals      the first winner and the

提案手法 ~学習フェーズ~                                                            Find first and second
                                                                                                           second winner

                                                                                                      Add 1 to the age of all


学習データが新しい知識では無い時、
                                                                            winner in LTM
                                                                                                      edges emanating from
                                                                                                         the first winner.
                                                                        NO
                                                                             New knowledge?
                                                                                                       Eliminate old edges

第1勝者と第2勝者をエッジで結合する                                                                   YES

                                                                        Add Inputted If-then Rule   The number of input data is
                                                                                                      integer multiple of l ?
                                                                                                                                  NO
                                                                           Edge exists between                   YES
                                                                        first and second winner?    Remove knowledge which

 前ステップで、学習データが新しい知識でないと判断                                                 Reset age of edge
                                                                                                    has less than two edges.




  されれば、第1勝者と第2勝者をエッジで結合する
                                                                        between first and second     Learning data remains?
                                                                                winner
                                                                                                                  YES




         Long Term Memory
                                                      第1勝者

                                                      第2勝者
                                                             ・・・学習データ
                                                             ・・・長期記憶に蓄積されたif-thenルール

 もし、当該エッジが既に存在していれば、エッジの年齢を0に戻す




Copyright(C) 2007 Akihito Sudo All rights reserved.                                                                          26
Decompose Input to         Create an edge between

提案手法 ~学習フェーズ~
                                                       conjunctive of literals      the first winner and the
                                                                                         second winner
                                                       Find first and second


第1勝者のエッジの年齢を増やし、閾値以上
                                                                                    Add 1 to the age of all
                                                          winner in LTM
                                                                                    edges emanating from
                                                                                       the first winner.
                                                      NO
                                                           New knowledge?
                                                                                     Eliminate old edges

の年齢のエッジは削除する                                                       YES

                                                      Add Inputted If-then Rule   The number of input data is
                                                                                    integer multiple of l ?
                                                                                                                NO
                                                         Edge exists between                   YES
                                                      first and second winner?    Remove knowledge which

 第1勝者が持つ全てのエッジの年齢を1だけ増やす                                Reset age of edge
                                                                                  has less than two edges.


                                                      between first and second     Learning data remains?
                                                              winner
                                                                                                YES




 もし、閾値以上の年齢になったエッジが存在すれば、そのエッジは削除する




Copyright(C) 2007 Akihito Sudo All rights reserved.                                                        27
Decompose Input to         Create an edge between

提案手法 ~学習フェーズ~                                                             conjunctive of literals      the first winner and the
                                                                                                            second winner



エッジを1本以下しかもたないif-then
                                                                          Find first and second
                                                                                                       Add 1 to the age of all
                                                                             winner in LTM
                                                                                                       edges emanating from
                                                                                                          the first winner.
                                                                         NO
                                                                              New knowledge?


ルールを長期記憶から削除する
                                                                                                        Eliminate old edges
                                                                                      YES

                                                                         Add Inputted If-then Rule   The number of input data is
                                                                                                       integer multiple of l ?
                                                                                                                                   NO
                                                                            Edge exists between                   YES
                                                                         first and second winner?    Remove knowledge which

 エッジを1本以下しかもたないif-thenルールが                                                 Reset age of edge
                                                                                                     has less than two edges.




  長期記憶から削除される
                                                                         between first and second     Learning data remains?
                                                                                 winner
                                                                                                                   YES




                                                      Long Term Memory




 このステップの後は・・・
             新たな学習データがまた存在していれば、その学習データについて処理を始める
             新たに学習データが存在しなければ、処理は終了


Copyright(C) 2007 Akihito Sudo All rights reserved.                                                                           28
提案手法
                                                      推論フェーズ




Copyright(C) 2007 Akihito Sudo All rights reserved.
提案手法 ~推論フェーズ~
推論フェーズの概要
 ファクトとして「A∧B」や「C」といった命題が入力される


 ファクトと、長期記憶に蓄積されているif-thenルールを用いて
  推論を行う


 推論結果はOR木として出力される




Copyright(C) 2007 Akihito Sudo All rights reserved.   30
提案手法 ~推論フェーズ~
推論結果の出力形態と、推論結果の例
 提案手法はOR木を推論結果として出力する


 <例>
 長期記憶としてA∧B→C∨(D∧¬E),C→F∨G∨(H∧I),D∧¬E→¬Jを保持して
  いるとする
 このとき、A∧Bがファクトとして入力されたときには下図のOR木が出力される

                                                              出力されるOR木の例
                                                                 A∧B


                                                          C            D∧¬E


                                                      F   G    H∧¬I     ¬J

Copyright(C) 2007 Akihito Sudo All rights reserved.                           31
提案手法 ~推論フェーズ~

推論フェーズのフローチャート


                                                Generate a tree which has
                                                single node holding input         Add conclusion parts
                                                                                  corresponding to the
                                                                                similar conditioning parts
                                                      Find conditioning parts
                                                                                      as child nodes
                                                          similar to input



                                                       Similar conditioning      Find conditioning parts
                                                           part exists?         similar to leafs of the tree

                                                                  YES




Copyright(C) 2007 Akihito Sudo All rights reserved.                                                            32
Generate a tree which has
                                                                 single node holding input     Add conclusion parts
                                                                                               corresponding to the
提案手法 ~推論フェーズ~                                                     Find conditioning parts
                                                                      similar to input
                                                                                             similar conditioning parts
                                                                                                   as child nodes


ファクトを保持する根のみを持つ木を生成                                                Similar conditioning       Find conditioning parts
                                                                       part exists?          similar to leafs of the tree

                                                                              YES


 まず、入力されたファクトを保持するノードを
  根とする木を生成する



 <例>
 A∧Bがファクトとして入力されたとき、下図の木が生成される

                                                      生成されるOR木

                                                        A∧B




Copyright(C) 2007 Akihito Sudo All rights reserved.                                                               33
提案手法 ~推論フェーズ~                                                               Generate a tree which has
                                                                            single node holding input     Add conclusion parts
                                                                                                          corresponding to the

該当する長期記憶のif-thenルールの結論部を                                                     Find conditioning parts
                                                                                 similar to input
                                                                                                        similar conditioning parts
                                                                                                              as child nodes



子ノードに追加                                                                       Similar conditioning       Find conditioning parts
                                                                                  part exists?          similar to leafs of the tree

                                                                                         YES


 ファクトと、長期記憶のif-thenルールの条件部の距離を
  計算する
 距離が閾値以下であるif-thenルールの結論部を子ノードとして追加する


 <例>
 長期記憶としてA∧B→C、 A∧B→(D∧¬E)が存在するとき、下図のようになる

                                                          生成されるOR木

                                                            A∧B


                                                      C              D∧¬E



Copyright(C) 2007 Akihito Sudo All rights reserved.                                                                          34
Generate a tree which has
                                                                              single node holding input     Add conclusion parts
                                                                                                            corresponding to the
提案手法 ~推論フェーズ~                                                                  Find conditioning parts
                                                                                   similar to input
                                                                                                          similar conditioning parts
                                                                                                                as child nodes



生成された子ノードについて、同様の処理を行う                                                          Similar conditioning       Find conditioning parts
                                                                                    part exists?          similar to leafs of the tree

                                                                                           YES


 生成された子ノードと、長期記憶のif-thenルールの
  条件部の距離を計算する
 距離が閾値以下であるif-thenルールの結論部を子ノードとして追加する


 <例>
 長期記憶としてC→F, C→G, C→(H∧I), D∧¬E→¬Jがあれば、下図となる

                                                              生成されるOR木
                                                                 A∧B


                                                          C            D∧¬E


                                                      F   G    H∧¬I      ¬J

Copyright(C) 2007 Akihito Sudo All rights reserved.                                                                            35
実 験




Copyright(C) 2007 Akihito Sudo All rights reserved.
実験
利用した画像
 パターン情報として以下のような画像を利用した




                         A. Close door                B. Open door    C. Lab.        D. Wall        E. Hallway




                            F. Elevator                G. Desk-1     H. Desk-2   I. Desk drawer-1 J. Desk drawer-2
                                                                                      (close)          (close)




                     K. Desk drawer-1 L. Desk drawer-2 M. Down stairs             N. Room plate
                          (open)           (open)

Copyright(C) 2007 Akihito Sudo All rights reserved.                                                                  37
実験
利用した画像
 それぞれの対象について、異なったアングルから撮影した20枚の画像を用いた




Copyright(C) 2007 Akihito Sudo All rights reserved.
学習したif-thenルール
 以下のような知識を学習させた
             閉じたドア→開いたドア
             開いたドア→壁∨廊下
             廊下→(研究室∧表札)∨エレベータ∨階段
             (研究室∧表札)→(机1∧閉まった引出し1)∨(机2∧閉まった引出し2)
             (机1∧閉まった引出し1)→開いた引出し1


 これは環境の可能性を学習したことにあたる。




Copyright(C) 2007 Akihito Sudo All rights reserved.   39
推論結果




                                                          ∧




                                                      ∧       ∧




Copyright(C) 2007 Akihito Sudo All rights reserved.               40
各クラスタのメンバー数




Copyright(C) 2007 Akihito Sudo All rights reserved.   41
ノイズ耐性




Copyright(C) 2007 Akihito Sudo All rights reserved.   42
まとめ
 以下のような特徴を持つ自己増殖型ニューラルネットワークを拡張した、パ
  ターン情報ベースの推論機を提案した
             連言、選言、否定を扱うことができる


             パターン情報を多値ベクトルで表現できる


             オンラインで追加学習が行える


             ノイズ耐性を持つ




Copyright(C) 2007 Akihito Sudo All rights reserved.   43

More Related Content

What's hot

全脳関西編(松尾)
全脳関西編(松尾)全脳関西編(松尾)
全脳関西編(松尾)Yutaka Matsuo
 
ニューラルネットワークの数理
ニューラルネットワークの数理ニューラルネットワークの数理
ニューラルネットワークの数理Task Ohmori
 
Deep Learningの基礎と応用
Deep Learningの基礎と応用Deep Learningの基礎と応用
Deep Learningの基礎と応用Seiya Tokui
 
深層学習とTensorFlow入門
深層学習とTensorFlow入門深層学習とTensorFlow入門
深層学習とTensorFlow入門tak9029
 
非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料Takuya Minagawa
 
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料SSII2014 チュートリアル資料
SSII2014 チュートリアル資料Masayuki Tanaka
 
Lab introduction 2014
Lab introduction 2014Lab introduction 2014
Lab introduction 2014nlab_utokyo
 
コンピュテーショナルフォトグラフティの基礎
コンピュテーショナルフォトグラフティの基礎コンピュテーショナルフォトグラフティの基礎
コンピュテーショナルフォトグラフティの基礎Norishige Fukushima
 
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -Hironobu Fujiyoshi
 
Deep Learningの技術と未来
Deep Learningの技術と未来Deep Learningの技術と未来
Deep Learningの技術と未来Seiya Tokui
 
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習Preferred Networks
 
-SSIIの技術マップ- 過去•現在, そして未来 [領域]認識
-SSIIの技術マップ- 過去•現在, そして未来 [領域]認識-SSIIの技術マップ- 過去•現在, そして未来 [領域]認識
-SSIIの技術マップ- 過去•現在, そして未来 [領域]認識Hironobu Fujiyoshi
 
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26Takashi Abe
 
ディープラーニングで株価予測をやってみた
ディープラーニングで株価予測をやってみたディープラーニングで株価予測をやってみた
ディープラーニングで株価予測をやってみた卓也 安東
 
ディープニューラルネット入門
ディープニューラルネット入門ディープニューラルネット入門
ディープニューラルネット入門TanUkkii
 
3次元計測とフィルタリング
3次元計測とフィルタリング3次元計測とフィルタリング
3次元計測とフィルタリングNorishige Fukushima
 

What's hot (20)

全脳関西編(松尾)
全脳関西編(松尾)全脳関西編(松尾)
全脳関西編(松尾)
 
I
II
I
 
ニューラルネットワークの数理
ニューラルネットワークの数理ニューラルネットワークの数理
ニューラルネットワークの数理
 
Deep Learningの基礎と応用
Deep Learningの基礎と応用Deep Learningの基礎と応用
Deep Learningの基礎と応用
 
深層学習とTensorFlow入門
深層学習とTensorFlow入門深層学習とTensorFlow入門
深層学習とTensorFlow入門
 
非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料非技術者でもわかる(?)コンピュータビジョン紹介資料
非技術者でもわかる(?)コンピュータビジョン紹介資料
 
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料SSII2014 チュートリアル資料
SSII2014 チュートリアル資料
 
Lab introduction 2014
Lab introduction 2014Lab introduction 2014
Lab introduction 2014
 
コンピュテーショナルフォトグラフティの基礎
コンピュテーショナルフォトグラフティの基礎コンピュテーショナルフォトグラフティの基礎
コンピュテーショナルフォトグラフティの基礎
 
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
 
Deep Learningの技術と未来
Deep Learningの技術と未来Deep Learningの技術と未来
Deep Learningの技術と未来
 
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習
 
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearningMIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
 
-SSIIの技術マップ- 過去•現在, そして未来 [領域]認識
-SSIIの技術マップ- 過去•現在, そして未来 [領域]認識-SSIIの技術マップ- 過去•現在, そして未来 [領域]認識
-SSIIの技術マップ- 過去•現在, そして未来 [領域]認識
 
ICCV2011 report
ICCV2011 reportICCV2011 report
ICCV2011 report
 
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
 
ディープラーニングで株価予測をやってみた
ディープラーニングで株価予測をやってみたディープラーニングで株価予測をやってみた
ディープラーニングで株価予測をやってみた
 
ディープニューラルネット入門
ディープニューラルネット入門ディープニューラルネット入門
ディープニューラルネット入門
 
深層学習入門
深層学習入門深層学習入門
深層学習入門
 
3次元計測とフィルタリング
3次元計測とフィルタリング3次元計測とフィルタリング
3次元計測とフィルタリング
 

Similar to SOINN PBR

20171015 mosa machine learning
20171015 mosa machine learning20171015 mosa machine learning
20171015 mosa machine learningMuneyoshi Benzaki
 
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングJubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングYuya Unno
 
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19Tatsuya Shirakawa
 
Scikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行うScikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行うArata Honda
 
今さら聞けないITエンジニアのための人工知能
今さら聞けないITエンジニアのための人工知能今さら聞けないITエンジニアのための人工知能
今さら聞けないITエンジニアのための人工知能Keisuke Tameyasu
 
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナーHiroshi Senga
 
20190313_Introduction of ai development neural network console which became f...
20190313_Introduction of ai development neural network console which became f...20190313_Introduction of ai development neural network console which became f...
20190313_Introduction of ai development neural network console which became f...Sony Network Communications Inc.
 
金融時系列解析入門 AAMAS2021 著者発表会
金融時系列解析入門 AAMAS2021 著者発表会金融時系列解析入門 AAMAS2021 著者発表会
金融時系列解析入門 AAMAS2021 著者発表会Katsuya Ito
 
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作りHajime Fujita
 
ディープラーニングによる時系列データの異常検知
ディープラーニングによる時系列データの異常検知ディープラーニングによる時系列データの異常検知
ディープラーニングによる時系列データの異常検知Core Concept Technologies
 
ワークショップ「ゲーム開発チームにおけるパトレット」
ワークショップ「ゲーム開発チームにおけるパトレット」ワークショップ「ゲーム開発チームにおけるパトレット」
ワークショップ「ゲーム開発チームにおけるパトレット」Masaru Nagaku
 
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPythonKimikazu Kato
 
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤Shohei Hido
 
ジャストシステムの形態素解析技術 その2 機械学習編
ジャストシステムの形態素解析技術 その2 機械学習編ジャストシステムの形態素解析技術 その2 機械学習編
ジャストシステムの形態素解析技術 その2 機械学習編JustSystems Corporation
 
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップアドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップKei Tateno
 
ソフトウェアとAIの進化が示唆するもの Final Final revised Final
ソフトウェアとAIの進化が示唆するもの Final Final revised FinalソフトウェアとAIの進化が示唆するもの Final Final revised Final
ソフトウェアとAIの進化が示唆するもの Final Final revised FinalRoy Sugimura, Ph.D
 

Similar to SOINN PBR (20)

20171015 mosa machine learning
20171015 mosa machine learning20171015 mosa machine learning
20171015 mosa machine learning
 
ヒトの機械学習
ヒトの機械学習ヒトの機械学習
ヒトの機械学習
 
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングJubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニング
 
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
 
Scikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行うScikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行う
 
ICCV2019 report
ICCV2019 reportICCV2019 report
ICCV2019 report
 
今さら聞けないITエンジニアのための人工知能
今さら聞けないITエンジニアのための人工知能今さら聞けないITエンジニアのための人工知能
今さら聞けないITエンジニアのための人工知能
 
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
 
20190313_Introduction of ai development neural network console which became f...
20190313_Introduction of ai development neural network console which became f...20190313_Introduction of ai development neural network console which became f...
20190313_Introduction of ai development neural network console which became f...
 
金融時系列解析入門 AAMAS2021 著者発表会
金融時系列解析入門 AAMAS2021 著者発表会金融時系列解析入門 AAMAS2021 著者発表会
金融時系列解析入門 AAMAS2021 著者発表会
 
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
 
ディープラーニングによる時系列データの異常検知
ディープラーニングによる時系列データの異常検知ディープラーニングによる時系列データの異常検知
ディープラーニングによる時系列データの異常検知
 
ワークショップ「ゲーム開発チームにおけるパトレット」
ワークショップ「ゲーム開発チームにおけるパトレット」ワークショップ「ゲーム開発チームにおけるパトレット」
ワークショップ「ゲーム開発チームにおけるパトレット」
 
smarttrade勉強会
smarttrade勉強会smarttrade勉強会
smarttrade勉強会
 
Soft neuro
Soft neuroSoft neuro
Soft neuro
 
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
 
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤
 
ジャストシステムの形態素解析技術 その2 機械学習編
ジャストシステムの形態素解析技術 その2 機械学習編ジャストシステムの形態素解析技術 その2 機械学習編
ジャストシステムの形態素解析技術 その2 機械学習編
 
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップアドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
 
ソフトウェアとAIの進化が示唆するもの Final Final revised Final
ソフトウェアとAIの進化が示唆するもの Final Final revised FinalソフトウェアとAIの進化が示唆するもの Final Final revised Final
ソフトウェアとAIの進化が示唆するもの Final Final revised Final
 

More from SOINN Inc.

Dr.Kawewong Ph.D Thesis
Dr.Kawewong Ph.D ThesisDr.Kawewong Ph.D Thesis
Dr.Kawewong Ph.D ThesisSOINN Inc.
 
Original SOINN
Original SOINNOriginal SOINN
Original SOINNSOINN Inc.
 
PhDThesis, Dr Shen Furao
PhDThesis, Dr Shen FuraoPhDThesis, Dr Shen Furao
PhDThesis, Dr Shen FuraoSOINN Inc.
 
SOIAM (SOINN-AM)
SOIAM (SOINN-AM)SOIAM (SOINN-AM)
SOIAM (SOINN-AM)SOINN Inc.
 
学生さんへのメッセージ
学生さんへのメッセージ学生さんへのメッセージ
学生さんへのメッセージSOINN Inc.
 

More from SOINN Inc. (7)

Dr.Kawewong Ph.D Thesis
Dr.Kawewong Ph.D ThesisDr.Kawewong Ph.D Thesis
Dr.Kawewong Ph.D Thesis
 
SSA-SOINN
SSA-SOINNSSA-SOINN
SSA-SOINN
 
E-SOINN
E-SOINNE-SOINN
E-SOINN
 
Original SOINN
Original SOINNOriginal SOINN
Original SOINN
 
PhDThesis, Dr Shen Furao
PhDThesis, Dr Shen FuraoPhDThesis, Dr Shen Furao
PhDThesis, Dr Shen Furao
 
SOIAM (SOINN-AM)
SOIAM (SOINN-AM)SOIAM (SOINN-AM)
SOIAM (SOINN-AM)
 
学生さんへのメッセージ
学生さんへのメッセージ学生さんへのメッセージ
学生さんへのメッセージ
 

SOINN PBR

  • 1. FIT 2007 第6回情報科学技術フォーラム パターン情報ベースの命題論理式の ための推論機の提案 東京工業大学 知能システム科学専攻 須藤 明人 坪山 学 張 シンリ 佐藤 彰洋 長谷川 修 2007/09/07
  • 2. 研究背景 人工知能の分野では古くから推論に関する研究がなされてきた しかし・・・ 既存の推論機は実環境で自律的に動作する知能ロボットには不十分である。 我々の考える最も重要な問題点: 既存の推論機の多くは シンボルを操作する推論しか行えない そこで・・・ パターン情報ベースの推論機を提案する Copyright(C) 2007 Akihito Sudo All rights reserved. 1
  • 4. シンボルをベースとした推論の問題点1 ~既存のパターン識別機の限界に起因する問題~ 下図のように、シンボル化装置とシンボルベースの推論機を組み合わせれば、 パターン情報ベースの推論機は不要と考えられるが・・・ パターン情報 シンボル化 シンボル 既存の推論機 装置 パターン情報をシンボル化することはいまだ難しいタスクである 例えば、既存のパターン識別機にとっては、机と机でないものを識別することは難し いタスクである。 つまり、上図のような戦略は非現実的 Copyright(C) 2007 Akihito Sudo All rights reserved. 3
  • 5. 将来的に、十分な性能を持つシンボル化装置が開発されたら?? それでも、依然として“パターン情報ベースの推論機”は必要である Copyright(C) 2007 Akihito Sudo All rights reserved. 4
  • 6. シンボルをベースとした推論の問題点2 ~自律的なシンボル生成時に起こる問題~ 知能ロボットは自律的にシンボルを生成することが求められる なぜなら、知能ロボットに事前にすべてのシンボルを与えることは不可能 シンボル生成を行うためには、シンボル化したい対象を用いた思考や行動が 必要になる。 その際には、パターン情報を用いた推論も行う必要がある 対象を用いた思考・推論 対象とのインタラクション パターン情報 対象 シンボル生成 知能ロボット Copyright(C) 2007 Akihito Sudo All rights reserved. 5
  • 8. 異なる観点からの “パターン情報ベースの推論機”の必要性 Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 9. 異なる観点からの“パターン情報ベースの推論機”の必要性1 エキスパートシステムの「知識獲得問題の解決」のため 月本は、熟練者の知識を計算機上で実現するために、パターン情報ベースの推 論が必要であると主張した  月本洋: パターン推論 ―ニューラルネットワークの論理的推論―, 信学論(D-II), J83-D-D-II, 744-753, 2000. 月本の観点でのパターン推論の必要性は・・・ 熟練者は、パターン情報をシンボル化せずに考えていることも多い 脳画像が であるなら、心電図が である 熟練者 この知識をシンボルベースの推論機で操作することはできない Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 10. 異なる観点からの“パターン情報ベースの推論機”の必要性2 シンボルグラウンディング問題の解決・フレーム問題への対処 山根らは、「シンボルグラウンディング問題の解決およびフレーム問題への対 処」にパターン情報ベースの推論が寄与すると主張した  山根健,蓮尾高志,末光厚夫,森田昌彦: 軌道アトラクタを用いたパターンベース推論, 信学論(D), J90-D, 933-944, 2007. Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 11. 従来研究 Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 12. 従来研究1 月本洋: パターン推論 ―ニューラルネットワークの論理的推論―, 信学論 (D-II), J83-D-D-II, 744-753, 2000. <概要> パターン情報を関数としてとらえ、その関数を学習したフィードフォワード型 のニューラルネットワークを命題として扱う “中間論理LC”等の非古典論理のモデルを用いることで、そのような命題を用い た推論を行えることを示した <メリット> 連言(かつ)・選言(または)・否定を含んだ論理式を扱える <デメリット> 命題ごとに新しいニューラルネットワークを用意せねばならないが、 知能ロボットに応用する際に、ニューラルネットワークを用意するタイミング がわからない Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 13. 従来研究2 山根健,蓮尾高志,末光厚夫,森田昌彦: 軌道アトラクタを用いたパターン ベース推論,信学論(D), J90-D, 933-944, 2007. <概要> パターン情報を2値ベクトルとしてとらえ、2値ベクトル間の因果関係を学習し た単一の非単調神経回路網を用いて推論を行う <メリット> 多次元ベクトルとして表現したパターン情報を命題として扱うことができる <デメリット> 連言(かつ)・選言(または)・否定を含んだ論理式を扱えない 2値ベクトルしか扱うことができない Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 14. 研究目的 Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 15. 研究目的1 月本、山根らの両手法のメリットを兼ね備える 月本、山根らの手法両方のメリットを兼ね備えたパターン情報ベースの推論機 を構築する つまり・・・  多次元ベクトルとして表現したパターン情報を命題として 扱うことができる  連言(かつ)・選言(または)・否定を含んだ論理式を扱える Copyright(C) 2007 Akihito Sudo All rights reserved. 14
  • 16. 研究目的2 それ以外に、ロボットへの適用に有意義な機能も実現する If-thenルールを追加学習できる そのためには以下の2点が必要 ▪新しい知識を追加しても既存の知識は破壊されない ▪既存の知識と同じである(または極めて類似した)データは追加して覚えない 推論結果の重複の回避 学習すべきif-thenルールをクラスタリングしながら学習することで実現する ノイズ耐性 ▪実環境から得られるセンサー情報はノイズに満ちているため Copyright(C) 2007 Akihito Sudo All rights reserved. 15
  • 17. 提案手法 Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 18. 提案手法 提案手法の概略 提案手法は、学習フェーズと推論フェーズに分かれる <学習フェーズ> 多次元ベクトルを原子命題とするif-thenルールを「自己増殖型ニューラルネッ トワーク」を拡張したアルゴリズムで学習 任意の形の命題論理式を学習可能(選言、連言、否定を扱える) <推論フェーズ> ファクト(A∧B等)が入力されると、学習したif-thenルールを用いて推論を行う Copyright(C) 2007 Akihito Sudo All rights reserved. 17
  • 19. 提案手法 提案手法のアーキテクチャ 提案手法は短期記憶,長期記憶,学習機,推論機からなる Short Term Memory Long Term Memory Input Learning Phase Cluster 1 Cluster 2 If-Then Rule ・・・ Reasoning Phase Fact Reference Reference Reference Reference Learning Machine update Reasoning Machine Execute Execute learning algorithm reasoning algorithm output Copyright(C) 2007 Akihito Sudo All rights reserved. 18
  • 20. 提案手法 学習フェーズ Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 21. 提案手法 ~学習フェーズ~ 学習フェーズの概要 学習データとしてif-thenルールが入力される 自己増殖型ニューラルネットワークを拡張したアルゴリズムで、 学習データを学習する 学習により、if-thenルールがオンラインでクラスタリングされながら 長期記憶に蓄積される Copyright(C) 2007 Akihito Sudo All rights reserved. 20
  • 22. 提案手法 ~学習フェーズ~ 学習フェーズのフローチャート Decompose Input to Create an edge between conjunctive of literals the first winner and the second winner Find first and second Add 1 to the age of all winner in LTM edges emanating from the first winner. NO New knowledge? Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which has less than two edges. Reset age of edge between first and second Learning data remains? winner YES Copyright(C) 2007 Akihito Sudo All rights reserved. 21
  • 23. Decompose Input to Create an edge between 提案手法 ~学習フェーズ~ conjunctive of literals the first winner and the second winner 「リテラルの連言→リテラルの連言」の Find first and second Add 1 to the age of all winner in LTM edges emanating from the first winner. NO New knowledge? 形に分解 Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 前処理として、「リテラルの連言→リテラルの連言」の Reset age of edge has less than two edges. 形に分解する between first and second winner Learning data remains? YES <例> 学習すべきif-thenルールを以下とする (A∧¬B)∨C∨(D∧E∧F)→¬G∨(H∧I) これは、以下のように6個のif-thenルールに分解される A∧¬B→G A∧¬B→H∧I 以後、これらひとつずつを C→G C→H∧I 「学習データ」と呼ぶ D∧E∧F→ G D∧E∧F→H∧I Copyright(C) 2007 Akihito Sudo All rights reserved. 22
  • 24. Decompose Input to Create an edge between conjunctive of literals the first winner and the second winner 提案手法 ~学習フェーズ~ Find first and second winner in LTM Add 1 to the age of all edges emanating from the first winner. 勝者を見つける NO New knowledge? Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 長期記憶のif-thenルールのなかから、 Reset age of edge has less than two edges. 学習データと距離の近いもの二つを探す between first and second Learning data remains? winner YES Long Term Memory 第1勝者 第2勝者 ・・・学習データ ・・・長期記憶に蓄積されたif-thenルール その際に用いる距離尺度は以下の式を用いる Copyright(C) 2007 Akihito Sudo All rights reserved. 23
  • 25. Decompose Input to Create an edge between conjunctive of literals the first winner and the second winner 提案手法 ~学習フェーズ~ Find first and second winner in LTM Add 1 to the age of all edges emanating from the first winner. 新しい知識であるか判断する NO New knowledge? Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 第1勝者と第2勝者の類似度閾値を下式で計算する Reset age of edge has less than two edges. between first and second Learning data remains? winner YES もし、以下のいずれかが成り立てば、学習データを新しい知識と判断する  「学習データと第1勝者の距離 > 第1勝者の類似度閾値」  「学習データと第2勝者の距離 > 第2勝者の類似度閾値」 Copyright(C) 2007 Akihito Sudo All rights reserved. 24
  • 26. Decompose Input to Create an edge between conjunctive of literals the first winner and the 提案手法 ~学習フェーズ~ Find first and second second winner Add 1 to the age of all 学習データが新しい知識であれば、 winner in LTM edges emanating from the first winner. NO New knowledge? Eliminate old edges 新たに長期記憶に追加する YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 前ステップで、学習データが新しい知識と判断されれば、 Reset age of edge has less than two edges. 学習データを新たに長期記憶に追加する between first and second Learning data remains? winner YES Long Term Memory ・・・学習データ ・・・長期記憶に蓄積されたif-thenルール このステップの後は・・・  新たな学習データがまた存在していれば、その学習データについて処理を始める  新たに学習データが存在しなければ、処理は終了 Copyright(C) 2007 Akihito Sudo All rights reserved. 25
  • 27. Decompose Input to Create an edge between conjunctive of literals the first winner and the 提案手法 ~学習フェーズ~ Find first and second second winner Add 1 to the age of all 学習データが新しい知識では無い時、 winner in LTM edges emanating from the first winner. NO New knowledge? Eliminate old edges 第1勝者と第2勝者をエッジで結合する YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 前ステップで、学習データが新しい知識でないと判断 Reset age of edge has less than two edges. されれば、第1勝者と第2勝者をエッジで結合する between first and second Learning data remains? winner YES Long Term Memory 第1勝者 第2勝者 ・・・学習データ ・・・長期記憶に蓄積されたif-thenルール もし、当該エッジが既に存在していれば、エッジの年齢を0に戻す Copyright(C) 2007 Akihito Sudo All rights reserved. 26
  • 28. Decompose Input to Create an edge between 提案手法 ~学習フェーズ~ conjunctive of literals the first winner and the second winner Find first and second 第1勝者のエッジの年齢を増やし、閾値以上 Add 1 to the age of all winner in LTM edges emanating from the first winner. NO New knowledge? Eliminate old edges の年齢のエッジは削除する YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which 第1勝者が持つ全てのエッジの年齢を1だけ増やす Reset age of edge has less than two edges. between first and second Learning data remains? winner YES もし、閾値以上の年齢になったエッジが存在すれば、そのエッジは削除する Copyright(C) 2007 Akihito Sudo All rights reserved. 27
  • 29. Decompose Input to Create an edge between 提案手法 ~学習フェーズ~ conjunctive of literals the first winner and the second winner エッジを1本以下しかもたないif-then Find first and second Add 1 to the age of all winner in LTM edges emanating from the first winner. NO New knowledge? ルールを長期記憶から削除する Eliminate old edges YES Add Inputted If-then Rule The number of input data is integer multiple of l ? NO Edge exists between YES first and second winner? Remove knowledge which エッジを1本以下しかもたないif-thenルールが Reset age of edge has less than two edges. 長期記憶から削除される between first and second Learning data remains? winner YES Long Term Memory このステップの後は・・・  新たな学習データがまた存在していれば、その学習データについて処理を始める  新たに学習データが存在しなければ、処理は終了 Copyright(C) 2007 Akihito Sudo All rights reserved. 28
  • 30. 提案手法 推論フェーズ Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 31. 提案手法 ~推論フェーズ~ 推論フェーズの概要 ファクトとして「A∧B」や「C」といった命題が入力される ファクトと、長期記憶に蓄積されているif-thenルールを用いて 推論を行う 推論結果はOR木として出力される Copyright(C) 2007 Akihito Sudo All rights reserved. 30
  • 32. 提案手法 ~推論フェーズ~ 推論結果の出力形態と、推論結果の例 提案手法はOR木を推論結果として出力する <例> 長期記憶としてA∧B→C∨(D∧¬E),C→F∨G∨(H∧I),D∧¬E→¬Jを保持して いるとする このとき、A∧Bがファクトとして入力されたときには下図のOR木が出力される 出力されるOR木の例 A∧B C D∧¬E F G H∧¬I ¬J Copyright(C) 2007 Akihito Sudo All rights reserved. 31
  • 33. 提案手法 ~推論フェーズ~ 推論フェーズのフローチャート Generate a tree which has single node holding input Add conclusion parts corresponding to the similar conditioning parts Find conditioning parts as child nodes similar to input Similar conditioning Find conditioning parts part exists? similar to leafs of the tree YES Copyright(C) 2007 Akihito Sudo All rights reserved. 32
  • 34. Generate a tree which has single node holding input Add conclusion parts corresponding to the 提案手法 ~推論フェーズ~ Find conditioning parts similar to input similar conditioning parts as child nodes ファクトを保持する根のみを持つ木を生成 Similar conditioning Find conditioning parts part exists? similar to leafs of the tree YES まず、入力されたファクトを保持するノードを 根とする木を生成する <例> A∧Bがファクトとして入力されたとき、下図の木が生成される 生成されるOR木 A∧B Copyright(C) 2007 Akihito Sudo All rights reserved. 33
  • 35. 提案手法 ~推論フェーズ~ Generate a tree which has single node holding input Add conclusion parts corresponding to the 該当する長期記憶のif-thenルールの結論部を Find conditioning parts similar to input similar conditioning parts as child nodes 子ノードに追加 Similar conditioning Find conditioning parts part exists? similar to leafs of the tree YES ファクトと、長期記憶のif-thenルールの条件部の距離を 計算する 距離が閾値以下であるif-thenルールの結論部を子ノードとして追加する <例> 長期記憶としてA∧B→C、 A∧B→(D∧¬E)が存在するとき、下図のようになる 生成されるOR木 A∧B C D∧¬E Copyright(C) 2007 Akihito Sudo All rights reserved. 34
  • 36. Generate a tree which has single node holding input Add conclusion parts corresponding to the 提案手法 ~推論フェーズ~ Find conditioning parts similar to input similar conditioning parts as child nodes 生成された子ノードについて、同様の処理を行う Similar conditioning Find conditioning parts part exists? similar to leafs of the tree YES 生成された子ノードと、長期記憶のif-thenルールの 条件部の距離を計算する 距離が閾値以下であるif-thenルールの結論部を子ノードとして追加する <例> 長期記憶としてC→F, C→G, C→(H∧I), D∧¬E→¬Jがあれば、下図となる 生成されるOR木 A∧B C D∧¬E F G H∧¬I ¬J Copyright(C) 2007 Akihito Sudo All rights reserved. 35
  • 37. 実 験 Copyright(C) 2007 Akihito Sudo All rights reserved.
  • 38. 実験 利用した画像 パターン情報として以下のような画像を利用した A. Close door B. Open door C. Lab. D. Wall E. Hallway F. Elevator G. Desk-1 H. Desk-2 I. Desk drawer-1 J. Desk drawer-2 (close) (close) K. Desk drawer-1 L. Desk drawer-2 M. Down stairs N. Room plate (open) (open) Copyright(C) 2007 Akihito Sudo All rights reserved. 37
  • 40. 学習したif-thenルール 以下のような知識を学習させた  閉じたドア→開いたドア  開いたドア→壁∨廊下  廊下→(研究室∧表札)∨エレベータ∨階段  (研究室∧表札)→(机1∧閉まった引出し1)∨(机2∧閉まった引出し2)  (机1∧閉まった引出し1)→開いた引出し1 これは環境の可能性を学習したことにあたる。 Copyright(C) 2007 Akihito Sudo All rights reserved. 39
  • 41. 推論結果 ∧ ∧ ∧ Copyright(C) 2007 Akihito Sudo All rights reserved. 40
  • 43. ノイズ耐性 Copyright(C) 2007 Akihito Sudo All rights reserved. 42
  • 44. まとめ 以下のような特徴を持つ自己増殖型ニューラルネットワークを拡張した、パ ターン情報ベースの推論機を提案した  連言、選言、否定を扱うことができる  パターン情報を多値ベクトルで表現できる  オンラインで追加学習が行える  ノイズ耐性を持つ Copyright(C) 2007 Akihito Sudo All rights reserved. 43