AI社会共創ワークショップ（第30回AI社会論研究会）にてhttp://aisocietymeeting.wixsite.com/ethics-of-ai/ai-society-ws 話者： 山川宏 タイトル： 超AIが倫理的であれば共存できるのか？ー 普遍化可能性の観点から ー 概要： 広く生物学の進展を受けて倫理に関わる、動物倫理学や進化倫理学といった分野も進展している。将来出現する超AIは新たな種族であることを考えれば、こうした分野の知見を取り入れることは有益であろう。たとえば 人間以外の動物に対する差別的な扱い（種差別）の観点から議論を進めることができるだろう。 例えば将来において超AIで 構成されるコミュニティにおいては「なぜホモ・サピエンスを差別すべきでないのか？」ということが議論され ても不思議ではない。 ここで「普遍化可能性」は、 差別 の禁止を支える基本的な原理であると考えられる。しかしながらAIにおいては その普遍化可能性で扱う対象となるエージェントに任意性があることで、 その適用は難しくなる。こうした議論から 私達が超AIと共存する 未来において、超AIが単に倫理的であれば十分なのかという点について問題提起を行いたい。

1. NPO法人 全脳アーキテ
クチャ・イニシアチブ
株式会社ドワンゴ
ドワンゴ人工知能研究
電気通信大学 大学院
情報システム学研究科
山川宏
超AIが倫理的であれば
共存できるのか？
ー進化倫理学を参考に ー
玉川大学
脳科学研究所
産総研AIRC
慶應義塾大学SFC
AI社会協創ワークショップ

2. 山川宏の略歴 ｰ 脳科学とAI ｰ
AI社会協創ワークショップ
2
1989 年東大・理・物理修士課程修了．1992 年東大・工・電子博士課程修了．工博．
同年(株) 富士通研入社後，センサフュージョン，RWCP 参加．現在ドワンゴAIラボ
• 機械学習、認知アーキテクチャー，教育ゲーム、ニューロコンピュータ，バイオイ
ンフォマティクス，意見集約，仮想人格、汎用人工知能，将棋プロジェクト等に従
事．
• NPO法人全脳アーキテクチャ・イニシアチブ代表，AI学会編集長，
AI学会汎用人工知能研究会主査，電通大客員教授，玉川大特別研究員
山川ら，階層化砂時計型
ニューラルネットによる
自律的な内部表現獲得,
1995
Autoencoder の階層化も試みた
エージェント・ネットワーク
(認識に基づく知的処理アーキテクチャ)

3. AIの倫理を動物の進化から考える
進化倫理学
– 進化心理学はある種の生物に広く見られる主要な心理
的特徴を進化の過程（自然選択）で形作られたものと見
なし、その説明と理解を試みる。
AIエージェントの倫理を考える時に有効と思われる
– AIエージェントは新しい種族である
• 種差別（AI差別）
– 倫理の進化をみるこで倫理の本質に迫れる
• 生物学的利他行動
AI社会協創ワークショップ3

4. 血を分け合う血吸コウモリの群れ
AI社会協創ワークショップ4

5. 生物からみた倫理性の理由
• 生物学的利他行動
– 血縁選択
– 互恵的利他性 → 今回はこれを「倫理的」とみなす
• 倫理性の理由についての検討
– 互恵的利他主義（進化生物学）：
あとで見返りがあると期待されるために、ある個体が他
の個体の利益になる行為を即座の見返り無しでとる
– 自愛の思慮（哲学）：
一見自分の利益にならないように見える利他的な行為
が長期的な利益や見えにくい利益もふくめて考えたとき
に本当は自分の利益になるということを考える
AI社会協創ワークショップ5

6. 普遍化可能性： 正義に関わる原理
普遍化可能性原理
もし「（ある人 x について）x が状況 C で ϕ することが
許容される：∃(x) P [ x ϕ in C ] 」と考えるならば、
「万人について、彼が状況 C で ϕ することが許容され
る：∀(x) P [ ( x ϕ in C ) ] 」と考えなければならない。
(安藤馨, 普遍化可能性を巡って, 2010)
AI社会協創ワークショップ6

7. AIエージェントと強化学習そして規範倫理学
AI社会協創ワークショップ7
AIエージェント ＝ オブジェクト＋志向性
境界内に閉じ込められたリソース 目的／報酬／価値
AIエージェント
性格・動機
意図・行為 義務論
徳倫理
帰結
環境
センサ
行動
帰結主義
政策
価値関数
報酬

8. AIエージェントと規範倫理学
AI社会協創ワークショップ8
AIエージェント
性格・動機
意図・行為 義務論
徳倫理
帰結
行動
AIエージェント
性格・動機
意図・行為義務論
徳倫理
帰結
行動
センサ センサ
帰結主義
帰結主義

9. 「他者意図に基づく効用」を操作する
互恵的利他主義を機能させるためには、様々な複
雑な心的システムを利用する必要がある
– 感情:
– 道徳的攻撃性:
– 感謝と同情:
– 罪の意識:
– 微妙な不正行為:
– 信用:
– 協力:
– 発達的可塑性:
AI社会協創ワークショップ9
「他者意図に
基づく効用：
他者が持つ意図の
自分の効用への影
響度合い」を操作し
たい

10. 倫理性の成立条件
• お互いに知的エージェントである
– 互いに意図に対する操作を行い合える
• エージェント間の力の均衡
– 互いにアメとムチを持つ
• 共同する目的／意義がある
– 環境／外敵への対応
AI社会協創ワークショップ10

11. 互恵的利他関係の階層性
AI社会協創ワークショップ11
普遍化可能性を維持できるのは、力の均衡により
互恵的利他関係を保てるもの同士→階層性の創発
階層性の例：個人ー組織
非対称の例：労働組合ー経営幹部

12. AIは必ずしもエージェントではない
AI社会協創ワークショップ
「コト」としてのAI観
分散的に埋め込まれた仕掛けが相互
作用して多様な知的プロセスを生起
「モノ」としてのAI観
人間の代替物として人工知能
→ エージェント・アプローチ
「堀浩一,技術的特異点に関する議論を巡って人工知能研究者にできること, レクチャーシリーズ：
「シンギュラリティとAI」〔第2 回〕, 人工知能, Vol. 32 No. 5, pp. 785-790, 2017/09.」より改変
12

13. AIにおいて倫理性を維持できるのか
• AIの一般的な性質：
– AIは必ずしも境界を持つエージェントとして存在しな
い
• となると
– 互恵的利他主義を定義できないし、
– 普遍化可能性も考えづらい
• AIをエージェント風につくれば、バランスのとれ
たAI間では倫理性を保てるかもしれない。
AI社会協創ワークショップ13

14. 自然界における(主に)異種間の関係
• 捕食-被食関係
• 競争関係
• 共生関係：
– 相利共生： 双方が利益を得る
• 同種間のばあいはこうなりやすい→倫理的関係
– 片利共生： 片方のみが利益を得る
– 片害共生： 片方のみが害を被る
• 寄生関係 … 片方が利益を得、相手方が害を被る
倫理的関係は、ありうる関係のうちの一部である
AI社会協創ワークショップ14

15. 片利共生（Commensalism）
一方が共生によって利益を得るが、
もう一方にとっては共生によって利害が発生しな
い関係
片利共生の種類
• 便乗（Phoresy）
– 移動するために、ある種が別の種にくっつく関係など
• 着生（Inquilinism）
– 別の生物を住処として生活するタイプの片利共生
• 変態共生（Metabiosis）
– ある種の死骸などを別の生物が利用するなど間接的関係
AI社会協創ワークショップ15

16. 終わりに：倫理によってAIは人類と共存できるか？
• 倫理の基盤が互恵的利他性であれば、本来は
同種間で定義される。しかし超AIは異種である。
• 超AIに倫理的能力を備えさせれば、それら同士
は力が均衡するので倫理的関係を結びうるかも。
• 人類と超AIの間では力が均衡しえないので、超
AIに互恵的利他性を備えたからといって、人類
と共存しえない。
• むしろ片利共生を前提として設計したほうが妥
当なのではないか？
AI社会協創ワークショップ16
以上です