このスライドは現在開発中の「概念を表現、検索、分析、学習、形成するための有向ネットワーク」である Neural Concept Network (NCN) の説明です。（作成中）

1. Neural Concept Network
Ver 0.2

2. Index
1. Introduction
2. Overview
3. Conception
4. Concept Network function
5. Neural Network function
6. Neural Concept Network function
7. Reference materials

3. 1. Introduction

4. Precaution
• 本ドキュメントは作成中のものです。
• 次のスライドは開発途中のメモであり、正式版で削除する可能
性があります。
• 本ドキュメントは一部アニメーションを使用しています。以下
のアイコンがあるスライドにはアニメーションがあります。
PDF 版はアニメーションが再生できないので、PowerPoint 版
を使用してください。
animation

5. Self-introduction
• Name
– Akihiro Yamamoto
• Twitter
– A_Ym
• Focus on
– AI, Artificial Consciousness (AC), Neural Network, Concept
(logic), Brain, Quantum Info, OpenCL, C#, MS Azure..
– And BOOM BOOM SATELLITES!!
• https://booklog.jp/users/a-ym (lang:ja)

6. 2. Overview

7. What’s Neural Concept Network
• 概念を表現、検索、分析、学習、形成するための有向ネット
ワークである。
• 以下の2機能からなる。
– 概念を表現するための Concept Network 機能
– 概念を検索、分析、学習、形成するための Neural Network 機能
以降必要に応じて NCN と略す。

8. Features of Neural Concept Network
• 従来の概念表現では複雑になる、「相対的、階層的、文脈依
存」の概念を人間に分かる形式で表現できる。
• この表現形式は自己内包、自己言及表現もできる。
• 簡易的なスパイキング ニューラル ネットワーク (SNN:
Spiking Neural Network) の機能を持ち、概念の検索、
（トップダウン、ボトムアップ）分析、学習、形成に使用する。

9. 3. Conception

10. Conception-1
• 人間並みの思考能力を持つ人工知能 (HLAI: Human Level
Artificial Intelligence) 実現の一環である。
• 現状では HLAI 実現のための
トップダウン アプローチ
ボトムアップ アプローチ
の距離が大きすぎるので、ミドルアウト アプローチが必要と
考えた。
• 「概念 (concept)」の表現、処理を実装することが中間点の
機能として必要になると考えた。

11. HLAI Roadmap
Human Intelligence Artificial Intelligence
Artificial Neural NetworkHuman Neural Network

12. HLAI Roadmap のポイント
• Concept が 言語 (Language), 意味 (Semantics) より下に位
置しているのがポイント。
• 現在、言語処理を実現してから（高次）概念の処理に取り掛か
るという流れが多いが、先に概念処理、次いで意味の処理を実
現しなければ言語処理が実現できないと考える。

13. Conception-2
• 概念表現のための有向ネットワーク構造を考えたところ、
ニューラルネットワークに似たものができた。
• 試しに SNN の機能を組み込んで動かしたところ概念の分析に
有用な結果が得られた。

14. 4. Concept Network function

15. 概念の定義
• 「概念とはどういう概念か」を定義するのは難しい。
• そこで、
概念とは「ある概念」を「他の概念」との関係で表すもの
という循環表現で定義する。
• 以降で NCN での概念の関係表現を説明する。

16. 関係表現 1 – 基本関係 (basic-relation)
• 概念「A」は概念「B」に対し関係があるということをノード
と有向エッジで表現する。
• ノードを「概念 (concept)」、有向エッジを「関係
(relation)」と呼ぶ。
A B
concept concept
relation

17. • Relation の起点/終点となる概念をそれぞれ
「元概念 (source concept)」
「先概念 (destination concept)」
と呼ぶ。
A B
(source) concept (destination) concept
relation

18. 概念が扱う対象
• ここで概念「A」と概念「B」としているが、この A, B は分か
りやすくするためのラベルであり、実際にはテキストデータ、
音声、画像データや他のニューラルネットワークでも構わない。
• 内部的には UUID で識別する。

19. • 相互関係や循環関係は以下のように表現する。
A B A B
C

20. 基本関係の例：
人は手に対し関係がある。
人 手

21. 関係表現 2 – 複数関係 (multiple-relation)
• 複数の関係は以下のように表現する。
A
B
C
C
B
A
C
A
B
C
A
B

22. 複数関係の例：
人は手と足に対し関係がある。
人
手
足
足
手
人

23. 関係表現 3 – サブ関係 (sub-relation)
• 関係をさらに他の概念で修飾することをサブ関係と呼ぶ。
• 概念 A は B に対し C という関係がある、ということを以下
のように表現する。
• relation1 を起点とした場合、relation2 がサブ関係となる。
A B
C
relation2
(sub-relation)
relation1

24. • 逆に relation2 を起点とした場合、relation1 を上位関係
(super-relation) と呼ぶ。
A B
C
relation2
relation1
(super-relation)

25. サブ関係の例：
人は手に対し有るという関係がある。
→ 「人には手が有る」
人 手
有る

26. 文型と関係の順序 (1/2)
• ここの例では日本語の文型順序で関係を定義しているが NCN
では関係の順序は文法的な意味は持たないため、英語の文型順
序で関係を定義してもよい。
• これらの概念構造からどのような意味を見出すかは解釈する側
に依存する。
人 手
有る
人 有する
手
日本語文型 英語文型

27. 文型と関係の順序 (2/2)
• 能動態、受動態を優先する場合は英語の文型順序の方が後に述
べる相対表現がし易い。
• 自動詞の場合は日本語の文型順序の方が相対表現がし易い。

28. 関係表現 4 – 入れ子関係 (nested-relation)
• サブ関係をさらにサブ関係で修飾する入れ子関係を以下のよう
に表現する。
A B
C
D

29. A B
C
D
• relation3 を起点とした場合の最上位の関係を「owner-
relation」
と呼ぶ。
relation3
relation2
(super-relation)
relation1
(owner-relation)

30. 入れ子関係の例1：
人は手に対し2つ（で修飾される) 有るという関係がある
→ 「人には手が2つ 有る」
人 手
有る
2つ

31. 入れ子関係の例2：
人は手と足に対し2つ（で修飾される) 有るという関係がある。
→ 「人には手と足が2つ 有る」
人 手
有る
2つ
足

32. 入れ子関係の例3：
例2のネットワークは以下のように簡略化できる。
人
手
有する
2つ
足

33. 3項表現の限界
• 「関係の概念表現」は RDF (Resource Description
Framework) やグラフデータベースの3項表現が近い。
– 例: RDF は主語 (subject), 述語 (predict), 目的語 (object) のトリプ
ルによって表現する。
• 現実の情報を扱う場合、3項表現だけでは足りない。
• NCN では RDF の述語に相当する関係自体も概念として表現
し、サブ関係と組み合わせてより現実に近い概念表現ができる。

34. 関係表現 5 - 関係度 (relativity)
• サブ関係の関係度 (relativity) を 0.0 < relativity < 1.0 で
表す。
• 0.0 に近いほど「元概念」に近い関係、1.0 に近いほど「先概
念」に近い関係を表す。
A B
C
D
relativity = 0.25
relativity = 0.5 E
relativity = 0.75

35. 関係度の例：
「人には指が5つ 有る 手が2つ 有る」
人 手
有る
2つ
指
5つ

36. • 関係度、サブ関係の順序は文法的な意味を持たせるものではな
い。
• 以下のように同じ事実を表していても強調したい事柄の順序が
異なる場合もある。
Mr. Smith 通った
昨日
この道
昨日 Mr. Smith
通った
この道
昨日 この道
Mr. Smith
通った
Mr. Smith は昨日この道を通った 昨日 Mr. Smith はこの道を通った 昨日この道を Mr. Smith は通った

37. 文法表現案
• 文法的な情報は別途明示的に情報を付加するという案。
Mr. Smith
通った
昨日
この道
文法
S
V
O
M

38. チョムスキーの文法木表現
• 概念の入れ子関係表現に文法情報を付加すれば文法構造を表現
できる。

39. UML での関連 (association) 表現との比較
UML (Class Diagram) NCN
ParentClass ChildClass
ParentChildfood1 0..*
Parent Child
ParentChildfood
1 0..*

40. 「人には指が5つ 有る 足が2つ 有る」
「昆虫には指が有る 足が 6つ 有る」
人 足
有る
2つ
指
5つ
昆虫
6つ

41. • サブ関係は以下のように相対的に表現できる。
• 「(A の文脈では) B は C に対し関係がある」という概念を表
す。
A
関係表現 6 - 相対表現 (relative-expression)
A
C
C
B
B

42. A
CB
D
• 入れ子関係を相対表現すると以下のようになる。
• 「(A の文脈では) B は C に対し D という関係がある。」
A
C
B
D

43. • 相対表現内のサブ関係をさらに相対表現すると以下のような階
層表現になる。
• (A.B の文脈では) C は D に対して関係がある。
A
C
B
D
A
B
C D

44. 相対表現時の関連度の表現
• 相対表現では関連度の情報が消えてしまうので、表現を考える
必要がある。
A
A
C
C
B
B
D
E
D
E
案1. 色表現
A
CB
D
E
案2. 3D表現

45. 相対表現の例:
「人には指が5つ 有る 足が2つ 有る」
「昆虫には指が有る 足が 6つ 有る」
人 足
有る
2つ
指
5つ
昆虫
6つ
人
足
有る２つ
指
5つ
昆虫
足
有る6つ
指

46. 複雑な相対表現の例1:自己言及、自己内包表現
（わたしの中では）あのひとはわたしをおおらかだと思っている
だろうがわたし自身は繊細だ。
わたし あのひと
繊細
おおらか
わたし
あのひと
わたし
おおらか
繊細

47. 複雑な相対表現の例2: 自己内包表現+時間表現
WIP

48. 複雑な相対表現の例3: 三角関係
WIP

49. 複雑な相対表現の例4: NCN でラブレターを書く
WIP

50. 例外表現
WIP
• 一般的にカラスは黒い。白鳥は白い。
• が、アルビノやメラニズムといった例外があり、白いカラスや
黒い白鳥もいるということを表現するには?
• カタストロフィック干渉を避ける。

51. 概念の関係表現まとめ
• フレーム表現をネットワーク構造自体に組み込んでおり、従来
の論理表現では難しかった概念の再帰的な相対表現ができる。

52. 従来の論理表現方法の例
• NCN では以下のような既存の論理表現方法に対応できる。
– トップダウン分析
• 魚骨図 (特性要因図)
• マインドマップ
– ボトムアップ分析
• KJ 法
– 意味記述
• RDF/OWL
– 構造記述
• UML
• ER図
• グラフデータベース

53. 5. Neural Network function

54. Neural Network function
• NCN で使用する SNN は、ニューロンの電位の時間変化を情
報の表現と処理に使用し、従来の計算グラフ ニューラル ネッ
トワークより生体ニューロンに近く、より柔軟な情報表現と処
理ができる。
• NCN ではさらに軸索 (axon), 樹状突起 (dendrite) といった
神経突起 (neurite)※ に相当する分岐構造に情報処理能力を持
たせる。
※ あるいは神経線維 (nerve)

55. Pros ＆ Cons of Neural Network function
• Pros
– 動的なネットワークを形成できる。
– 信号、処理を重ね合わせられる。
• Cons
– 計算コストがかかる。
– 人間と同様の制約がある可能性がある。

56. スパイキング ニューラルネットワーク機能
• NCN では従来の計算グラフ ニューロンのパラメーターに加え
スパイキング ニューラル ネットワークのパラメーターを持つ。
– 従来の計算グラフ ニューロンの機能
• シナプスの重み (weight)：正負の実数
• 電位 (potential)：正負の実数 (mV)
• 閾値 (threshold)：正の実数 (mV)
– スパイキング ニューロンの機能
• 電位の時間減衰率 (attenuation rate)：正の実数 (mV/msec)
• 不応期 (refractory period)：正の実数 (msec)

57. • Neural Network 機能では Concept Network 機能で使用した
構造の名称が以下のように変わる。
neuron
neurite
synapse

58. 発火機能
• NCN では入力層、出力層は存在せず、任意のニューロンを入
力、出力ニューロンとして扱うことができる。
• 入出力に使用する有向エッジと relation を分けて表現する。
input/output
relation
animation

59. 他の NN との組み合わせ。
• 入力、出力を DNN 等、他の種類のニューラル ネットワーク
と結合することも想定している。

60. 13.0 pps
13.0 pps
firing rate 1/1
6.5 pps
firing rate 1/2
0.0 pps
電位の減衰特性によってはこれ
以上発火しない
• 信号の入力頻度と量が電位の減衰量を上回る場合、発火周波数
は入力周波数の整数分の1で発火する。
• これは1回の入力量が閾値未満でも2回、3回と入力されたとき
に閾値を超えて発火可能だからである。
pps: pulse per second
threshold = 1.0
weight = 1.0 weight = 0.9 weight = 0.9
input 13.0 ppsanimation

61. • 電位の時間減衰特性によっては入力ニューロンからの距離 (段
数) が遠くなると反応しなくなる。
• これは循環ネットワークが可能な NCN では無限発火ループを
防ぐために重要な特性である。
• 信号の入力頻度が高ければ信号の到達範囲も広くなり、低けれ
ば狭くなる。

62. 調和音 (harmony)
• 周波数成分が基音の整数倍、あるいは整数分の 1 となる調和
音の仕組みと関連があるかもしれない。

63. 周波数コーディング (frequency coding)
• 脳内での情報表現には様々な説があるが、ここでは2つ挙げる。
– 発火頻度コーディング (rate coding) 説
– 発火タイミング コーディング (temporal coding) 説
• NCN ではこれらの特徴を組み合わせた周波数コーディング
(frequency coding) を使用する。
• 入力信号の周波数とどれだけ同期して発火するかを関係の度合
いとして検出する。
• 入力に最小公倍数が十分に大きい互いに素な周波数を使うこと
でネットワークがどのような経路で発火しても、どの入力周波
数にどれだけ反応しているかを判別できる。

64. 周波数を使用した情報表現
• 周波数を使用した情報表現には以下のようなものがある。
– 位相変調 (PM)
– 周波数変調 (FM)
– 振幅変調 (AM)
• この内、振幅変調はニューラル ネットワークの発火特性 (all
or nothing) から単一ニューロンではなく、複数ニューロンに
よる集団表現が必要と思われる。

65. 発火周期のイメージ (13.0pps)
時間
13.00 pps
→ 13/1
6.50 pps
→ 13/2
4.33 pps
→ 13/3
3.25 pps
→ 13/4
2.60 pps
→ 13/5
2.16 pps
→ 13/6
1.0s
animation

66. 発火周期のイメージ (11.0pps)
時間
11.0 pps
→ 11/1
5.5 pps
→ 11/2
3.66 pps
→ 11/3
2.75 pps
→ 11/4
2.2 pps
→ 11/5
1.83 pps
→ 11/6
1.0s
animation

67. 発火周期のイメージ (7.0pps)
時間
7.0 pps
→ 7/1
3.5 pps
→ 7/2
2.33 pps
→ 7/3
1.75 pps
→ 7/4
1.4 pps
→ 7/5
1.6 pps
→ 7/6
1.0s
animation

68. 3つの周波数を使用した場合の発火周期のイメージ
時間
1.0s
animation

69. 3つの周波数を使用した場合の発火周期のイメージ（モノクロ版）
時間
1.0s
animation

70. • 互いに素な周波数をチャネル (channel) として RGB で色付
けし、それぞれ別のニューロンから入力した場合の反応の例を
以下に示す。
Input 13.0 pps
channel A
Input 11.0
pps
chanel B
Input 7.0 pps
channel C
6.5 pps
channel A 50%
3.25 pps
channel A 25%
channel A 25%
channel B 25%
channel B 25%
channel C 25%
5.5 pps
channel B 50%
3.5 pps
channel C 50%
1.75 pps
channel C 25%
channel A
12.5%
channel B 12.5%
channel C 12.5%
channel A 25%
channel C 25%
3.25 pps
channel B 25%

71. 周波数コーディングのまとめ
• 入力の周波数チャネルに互いに素な周波数を用いることにより、
単位時間でそれぞれの周波数が干渉する可能性は非常に低い。
• この特性を利用し、入出力情報や途中の処理で複数チャネル重
ね合わせたり分離することができる。
• 出力信号を周波数チャネルごとに解析することによりどの
ニューロンがどの入力周波数チャネルにどれだけ反応している
かが経路に依らず分かる。
• そのため、計算グラフ NN に比べて、ブラックボックスにな
り難い。

72. 周波数を重ねたときの実際の動作
• 実際には、周波数を重ねたときに別の周波数で上昇した電位の
影響うけるのでこんなにうまくいかない。
• 影響を消す方法はあるが、そのままにして何らかの情報表現に
できる可能性もあり、どちらが良いかは検証が必要である。

73. 周波数チャネルの組み合わせ
• 周波数チャネルの組み合わせ要件は「互いに素で、各周波数の
差の割合が少ない」ことである。
• 任意の奇数から始まる連続した３つの数が互いに素となる。
• 例:
(1, 2, 3), (3, 4, 5), (5, 6, 7), (7, 8, 9), (9, 10, 11), (11,
12, 13), (13, 14, 15), …, (41, 42, 43), (43, 44, 45)
• 周波数が高いほうが周波数差の割合が小さくなるが、0.1ms
の時間解像度だと (43, 44, 45) 以上周波数を上げると混信が
発生する場合があった。

74. ゲーデル数との関連
• 互いに素な整数とその 1/n, あるいは n倍の周波数の組み合わ
せを概念構造の表現に用いるのは「ゲーデルの不完全性定理」
における「ゲーデル数」の考え方と似ている。

75. 周期発火と意識、集中
• 周波数チャネルの制御が意識や選択、集中に関わるのでは。
• ガンマ律動、バースト発火に関係するのでは。
• 短期記憶の容量 4±1 チャンク※に関係するのでは。
• 結びつけ (binding) 問題には関係ないという意見もある。
• 意識と無意識の境界は意外と音のように単純なのかもしれない。
人間は一定の音圧変化のパターンが一定以上、一定以下の周期
で繰り返されたら１つの音と感じるが、意識も同じかもしれな
い。
※ 以前は 7±2 チャンクとされ、マジックナンバーと呼ばれていた。

76. 周波数表現と並列性
• 周波数による情報表現、影響範囲制御は、信号にチャネル、影
響範囲情報を付加すれば同等の処理を実現できるが、並列処理
がしにくくなり、大規模な場合に性能が落ちる可能性がある。
• 量子力学のように「波の重ね合わせと時間」ですべてを表して
処理し、情報の取得時のみ粒子への変換処理をしたほうが良い
のではと思う。

77. 逆発火
• NCN では Concept Network 機能で表現される概念のトップ
ダウン、ボトムアップ分析に使用するためにリレーションの順
方向に信号が（順）伝播する（順）発火、に加えてリレーショ
ンの逆方向に信号が伝播する逆発火機能がある。
• 続くスライドで順発火、逆発火のプロセスの順序を示す。

78. • (順)発火 (forward firing)
animation
1. Input signal
2. Increase/decrease in potential
3. propagate potential
4. increase/decrease
in potential by weight

79. • 逆発火 (back-firing)
animation
1. Input backward signal
2. Increase/decrease in potential
3. back propagate potential
4. increase/decrease in potential

80. イオンの種類
• 順発火と逆発火を実現するために仮想的なイオンとイオン
チャネルを使用する。
• これに３つの周波数チャネル、位相 (phase), 入力量を組み合
わせて入力信号とする。
順行性
(forward)
逆行性
(backward)
興奮性
(excitatory)
fo-ex
(+1eV)
ba-ex
(+1eV)
抑制性
(inhibitory )
fo-in
(-1eV)
ba-in
(-1eV)

81. イオンの種類と量子色力学
• 周波数チャネル、順行/逆行性、興奮/抑制性の組み合わせは、
クォークの性質である色荷とトップ/ボトム、ストレンジ/
チャーム、アップ/ダウンとつながるところがあるかもしれな
い。

82. 逆発火機能の生体ニューロンでの再現
• 電気シナプスによる逆伝播
– 化学シナプスでは逆流しない。
– 電気シナプスでは逆流する。
– 電気シナプスは海馬と大脳皮質の抑制性ニューロンに存在する。
• 樹状突起上の逆伝播
– 樹状突起では電位変化が逆流することがある。
→ 単純なネットワークでは再現が難しそう

83. より生体ニューロンに近づける
• 軸索、樹状突起上の伝播速度を再現するために、太さ width
(thickness?) というパラメータを導入する。
width = 0.5
width = 1.0
width = 2.0
animation

84. 軸索と樹状突起
• 軸索 (有軸) の伝播速度は速い。
• 樹状突起の伝播速度は遅い。
• 樹状突起上でも活動電位が発生することがあり、樹状突起スパ
イク (dendritic-spike) と呼ばれる。

85. • 生体ニューロンでは太い軸索のほうが活動電位の伝播速度が速
い。
• ただし閾値未満の電位変化は減衰しながら伝播する。
(閾値未満だと太いと逆に遅くなることもある)

86. 順伝播信号と逆伝播信号の衝突
• NCN では逆伝播を誤差逆伝播による学習だけではなく概念の
分析にも使用する。
• 概念のトップから順行性信号を、概念のボトムから逆行性信号
を同一周波数（またはその n/1）で入力し、位相を変更すると
neurite 上の衝突ポイントが変化するので各ニューロンの反応
解析すれば概念の構造を推定できる。

87. • 概念のトップから順行性信号を、概念のボトムから逆行性信号
を同一周波数（またはその n/1）で入力し、位相を変更すると
neurite 上の衝突ポイントが変化するのでそれを解析する。
Input forward signal Input backward signal
animation

88. 閾値未満の信号の衝突
• 閾値未満の順伝播信号と逆伝播信号が衝突し、電位が閾値を越
えた場合は neurite の途中で活動電位が発生する。
• この状態も概念構造の分析に活用できる。

89. 位相制御による概念の相対表現
• 順行性信号と逆行性信号の位相制御により信号の衝突ポイント
を制御するというのは、概念ネットワークでの相対表現の位置
を変更するのに相当する。

90. 反応タイミングによる構造表現
• トップダウン信号、ボトムアップ信号の周波数、位相を変化さ
せることによる発火反応の変化を解析することにより、ネット
ワークの構造を推測することができる。
• これはネットワーク構造を発火タイミング、レートでコーディ
ングできることを意味する。
• もちろん、事前に定義したネットワークの構造を推測して知る
ことに意味はない。
• この信号をニューラル ネットワークで処理することができれ
ば、動的に仮想的なニューラル ネットワークを表現、処理す
るメタ ニューラルネットワークが実現できることを意味する。

91. 周期発火とその検知による情報の統合
• WIP

92. 6. Neural Concept Network function

93. 6-1. Searching

94. WIP

95. 意識、集中とレーダー
• 意識、集中とレーダーの機能の類似性を生かせる可能性がある。
• レーダー走査モード
– ロックオンモード
• TWS（索敵中追尾）：複数の目標を同時に追尾可能。
• STT（単一目標追尾）
– フェイズドアレイレーダー
• 多数のレーダーアレイの発振タイミングをずらすことにより合成波に指向性を持
たせることができる。
• 脳内でも同様の仕組みにより指向性をもった信号伝達が可能なのではないか。

96. 6-2. Analyzing

97. WIP

98. 6-3. Learning

99. WIP

100. 6-4. Formation

101. WIP

102. 7. Reference materials

103. Reference materials
No. Title
１ シリーズ脳科学3 言語と思考を生む脳
2 ピッチと和声の神経コード 心は脳の音楽
3 不完全性定理とは何か
4 わたしは不思議の環