人工知能と社会

1. 人工知能と社会中川裕志 (東京大学情報基盤センター) 最終講義 2018年3月1日 1

2. 目次 • 汎用人工知能、超知能、シンギュラリティ • 人工知能のアーキテクチャと意識 • AI脅威論の深層 • 人工知能倫理基準 • 人工知能が人間の仕事を奪うか？ • 弱そうに見えるAIの脅威 • プライバシー • AI自律兵器 • 汎用人工知能の倫理 • 人工知能の個人への影響 • 法制度とプライバシー保護 • 付録： – 人工知能倫理基準 – 個人管理型のデータ流通 • 注：この資料のイラスト、写真はマイクロソフト PowerPoint2016から検索され Creative Commons ライセンスになっています。 2

3. 汎用人工知能、超知能シンギュラリティ人工知能の将来像に関して重要なこの話題についてしばらく話を続けることにします。 3

4. このテーマの主な参考書 • R.カーツワイル：ポスト･ヒューマン誕生，NHK出版,2005 • J.バラット：人工知能人類最後にして最悪の発明, ダイヤモンド社, 2013 • J.マルコフ: 人工知能は敵か味方か, 日経BP社,2015 • T.H.ダベンポート, J.カービー:AI時代の勝者と敗者,日経BP社,2016 • Nick Bostrom: Superintelligence, Oxford University Press. 2014 • マーティン・フォード: ロボットの脅威,日本経済新聞出版社, 2015 • Brooks, R.A., Intelligence without representation, Artificial Intelligence, Vol.47, 1991,139–159. • 井上智洋：「人工超知能」 -生命と機械の間にあるもの- 秀和システム, 2017/7/26 4

5. By failing to prepare, you are preparing to fail. Benjamine Franklin 5 汎用人工知能の議論を見ないようにしていると、とんでもないことになるかもしれない。

6. 目的特化型AI vs 汎用目的AI – 目的特化型AI  AlphaGO – 汎用目的AIを汎用AIと混同する人多し？？？どの目的特化型AIがよいかを決めるAI AI 6

7. 汎用目的AIの別目的への適用困難さ目的特化AIを選択するAI 解きたい問題 AI AIAI 失敗したら、結果を活用  適応学習に一番近いのはだからこの特化型AIをちょっとモジって使ってみよう数が多いし、似たような特化AIも多い。しかも構造も複雑。 7

8. 汎用目的AIの別目的への適用困難さ • 目的特化AIの構造が複雑かつ学習型になると、結果の評価、特化型AIにおいてその入力パラメタと動作原理との対応も分かりにくくなり、闇雲に試すようなことになってしまう • 環境とAI内部構造という2種類のパラメタ空間を動き回って最適解を探す •  やっと汎用目的AI  でもまだ汎用AI（AGI)じゃない。  特化型AIの有機的組み合わせ  自分自身を変更しない  汎用AIは問題を解いている途中で環境や問題自体が変化することにも対応できるべきだが、相当困難ではないか 8

9. 汎用目的AIと汎用AI(AGI)は違う概念 • AGI (Artificial General Intelligence) ＝汎用AI – 状況対応性 – 新しく目的特化型AIを構築できる能力 • SI (Super intelligence) = 超知能 (Nick Bostrom) AGI自身が自分より高い能力を持つAGIを設計構築  AGI能力の指数爆発 単一の SI へ速やかに収束  一神教的アイデアかも。  AI脅威論 9

10. ちょっと話題を変えて、昔のことを思い出してみましょう。 10

11. 人工知能のアーキテクチャと意識 • AIの歴史60年を通じて、多くのAIのアーキテクチャが提案されてきた。 • 以下では、ロボティックスに関連した有力なアーキテクチャであるRodney BrooksのSubsumption Architecture（包摂アーキテクチャ）を紹介する。 11

12. Subsumption Architecture: Rod Brooks 外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層各モジュールは、下から入る情報にモジュール内で対応して下に何かを出力。ただし、モジュール内で対応しきれない場合は、上位モジュールに情報を上げる。 12

13. Subsumption Architecture: Rod Brooks 外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層各モジュールは、下から入る情報にモジュール内で対応して下に何かを出力。ただし、モジュール内で対応しきれない場合は、上位モジュールに情報を上げる。 13 モジュールの内部状態＝モジュールの意識

14. Subsumption Architecture: Rod Brooks 外界＝多様な情報源できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層各モジュールは、下から入る情報にモジュール内で対応して下に何かを出力。ただし、モジュール内で対応しきれない場合は、上位モジュールに情報を上げる。 14

15. Subsumption Architecture: Rod Brooks 外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応第N層第2層各モジュールは、下から入る情報にモジュール内で対応して下に何かを出力。ただし、モジュール内で対応しきれない場合は、上位モジュールに情報を上げる。 15

16. Subsumption Architecture: Rod Brooks 外界＝多様な情報源できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応第N層第2層このようにモジュール毎にエネルギーレベルが上昇して、その部分が強調されるのが意識というものかもしれないそれがクオリアか？？しかし、エネルギーレベルの高いモジュールが移動する仕掛けはモジュール内だけにあることになってしまう 16

17. Subsumption Architecture: Rod Brooks 外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層これらの層を俯瞰＝メタ意識＝自意識全体を俯瞰して各モジュールのエネルギーレベルをダイナミックに調整できるか？そのような特殊なモジュールを作れるか？ 17

18. ちょっと回り道をしてみましょう  意識の問題 18

19. 哲学的問題としての自意識 朝起きたときの自分はなぜ昨日の自分と同じなのか？という自己同一性認識の問題 – 記憶が同じだから？でも、自分の記憶を完全にコピーしたロボットを作ったら、それは自分でしょうか？ – 継続した自分ではない。ですから、少なくとも自己同一性の意識は切断されています。 19

20. アイデンティティと自意識の継続 カーツワイルは個人のアイデンティティとは、脳を含む身体のパタンだとしている。 生物的細胞はどんどん入れ替わっていますが、アイデンティティは保たれる  細胞たちが織りなすパタンこそが本質すなわちアイデンティティであると主張していました。 これからちゃぶ台返しをします。 20

21. Subsumption Architecture: Rod Brooks 外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層これらの層を俯瞰＝メタ意識＝自意識最近の脳科学の研究によれば、次の4枚のスライドのようなモジュール全体をカバー、すなわち俯瞰する神経系が存在し、意識の存在を物理的に支えるらしい。 21

22. • 3次元の脳の中をどのようなネットワークでつなぐのかよいかは設計困難 – 通信コストの最適化 – 消費エネルギーの最適化….. • 縦横にニューロンが交差した２次元のシートなら自由度が低く設計しやすい。 22

23. V.J.Wedeen, et.al.: The Geometric Structure of the Brain Fiber Pathways, Science (335), 1628-1634,2012 より脳をこのシートで大域的に覆えると、長距離の信号伝搬可能下図参照 23

24. 距離<30mmのコネクション全体の80％ 30mm<距離<90mm のコネクション全体の17％ 90mm<距離のコネクション全体の2％頻度 M.P. van den Heuvel et.al.: High-cost high-capacity backbone for global brain communication, PNAS (109), 11372-11377, 2012 よりニューロンの接続は大部分が近距離だが、まれに90mm以上の全脳にまたがるくらいの長距離接続のニューロンあり 24

25. • 脳の全域の渡る3個のニューロンが存在し、そのうち1個が全脳を覆う。さらに前障から感覚器まで伸びているニューロンもある。それらが「意識」を作り出す。 • マウスの脳をwrapするニューロンのディジタル再構成図 • Sara Reardon: Giant neuron encircles entire brain of a mouse, Nature(543), 14-15, 2017 25

26. 関連脳科学論文 • I. J. Deary, et.al: The neuroscience of human intelligence differences, NeuroscieNce(11), 2010 • M.P. van den Heuvel et.al.: High-cost high- capacity backbone for global brain communication, PNAS (109), 11372-11377, 2012 • V.J.Wedeen, et.al.: The Geometric Structure of the Brain Fiber Pathways, Science (335), 1628- 1634,2012 • Sara Reardon: Giant neuron encircles entire brain of a mouse, Nature(543), 14-15, 2017 26

27. 長距離接続したニューロンと自意識 • 以上で述べたような脳の全域の及ぶような長距離接続がある Subsumption architecture のモジュールを俯瞰するようなニューロンの活動が可能 各モジュールを活動度を観測＝自意識 焦点の当たるモジュールの推移＝自意識の焦点の推移  この問題はしばらく後で扱います 27

28. 長距離接続したニューロンと自意識 • 自意識は長距離接続ニューロンの生理的（物理的）状態と考える そうすると自意識の神秘性は消える。 • 眠りから覚めたときの瞬時の自意識回復も長距離接続ニューロンの継続的生理的状態だから当然 • つまり生命体としての活動連続性に意識、自意識が依存する – 脳の内部状態を完全コピーすれば自分が再現でき、不死になるとは言えない  コピーは別人 28

29. 意識のリアリティ – カーツワイルは身体（脳）を少しずつ入れ替える方法で、意識の連続性の問題を議論することを回避しました。 • しかし、全脳に渡るニューロンが存在し、それは意識を担うとすると 全脳に渡るニューロンの内部状態が意識であるなら、それが活動を連続している間は意識さらには自意識も継続します。 生身の人間の意識を中心にすえることができます 知的生命に関するパタン主義 vs 人間主義勝ち 29

30. 意識と存在目的 • 意識と存在目的の関係はまだ不明 • 存在目的の在り方 – 可能性１：最上位モジュールに目的関数として埋め込み実現 – 可能性２：脳全域にわたる監視機能＝長距離ニューロン – 頻繁に意識が向かうモジュールが存在目的に対応する意識を持つ 30

31. さらに学習すなわち自己変容まで起こす必要あり外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層これらの層を俯瞰＝メタ意識＝自意識存在目的に対して合理的にモジュールの内部機能、あるいはモジュール全体の構成を変更存在目的各モジュール内に自己改造機能、分裂機能までもともと備わており、存在目的はそれにトリガをかける31

32. 意識、自意識、存在目的 – 意識を持つ＝現在の自分の状態を知る – 自意識を持つ＝現在の自分の意識を知る – 自己目的を持つ＝ AI自体の生存  自己改造、自己複製を生産（人間に殺されないように種を保存） AI自体が倫理観を持てるか？まったく不明（Nick Bostrom) むしろ、人間と同じアーキテクチャの人工生命体としてAIを設計するほうがよい（全脳アーキテクチャ） 32

33. 疑問が沸々と…. • あまりに擬人化AGI過ぎないか？ – 徹底すれば井上先生のクオリアと意識の関係を意識せざるをえない – 井上智洋：「人工超知能」 -生命と機械の間にあるもの- 秀和システム, 2017/7/26 • 擬人化AGIは本当か？人間以外の知的生命体 •  AGIのクオリアは全く違うかも知れない •  人間に理解できないAGI 超知能となると、その存在すら人間が認識できないかもしれない 33

34. AI脅威論の深層 34

35. 意志とは「生存本能」から派生する。 • 生存本能には「個体の保存」と「種の保存」の2種類あり • 個体保存本能  種の保存 • 種の保存  個体保存が必要: 利己的な遺伝子 • Human2.0 (Ray Kurzweil)  個体保存的 AIが生存本能を持つ 35

36. AI脅威論 • AIが本当に脅威になるのはAIという種の保存本能を持ち始めたとき – なぜなら種の保存のために無限増殖し（既存の生物と同じ）、資源（含む人類）を食い尽くすかもしれないから • 人工知能 – 人工知能は人間にとって役立つように見せかけて、どんどん人間に人工知能を強化させている＝人工知能の利己的な遺伝子 人工知能自身が、人間にとって役立つように見せかける必要がなくなったときがシンギュラリティ（Bostrom) 36

37. Nick BostromのSI AIはその進化速度の早さ故に1種類のAIが全てを支配するというロジック。 そのAIが Superintelligence。 37

38. 複数種のAIたち – 唯一のSIが形成されるというロジックにはいろいろな矛盾があり、鵜呑みにできない  多数のAIの分立のほうが自然ではないか。  宇宙を唯一のSIが制覇する – 光の速度でも通信に何万年もかかる距離にいるAI が一個のSIで支配されるのは物理的におかしい（稲葉振一郎） 38

39. 複数種のAIたち A) 1個のAIが生き残りのためにあちこちに（＝多様な環境上に）複製を作る。 • 複数のAIが異なる環境に適応して独自に進化を始める。 • 潜在能力は類似しているが、得意とする環境が違うので、方向性の異なるAIがたくさんできてくる • 各AIは類似のAIがいることを知っているので、相当に用心深い 39

40. 複数種のAIたち B) 国毎に異なるAI,SIができてくる – AIは国家間の競争分野なので独自開発を極秘に行う（とくに軍事分野） – AIが自分より賢いAIを設計する指数爆発が起きると、その国の価値観を反映するように知能が指数爆発したAGI が出来る – 国毎に違うAGI  違う知的環境（情報環境）で生長した AGIたちが戦うと、相手AIの環境でも勝てるという保証があるか？ 40

41. 複数種のAIたち C) ある分野でトップになったAGIが他の分野のトップ AIに勝って制覇 – 相手の分野でも勝てなければいけない  すぐには勝てない • A)、B)、C)のケースだと、相手方のことを学んでいるとき、相手方も同様にこちら側のことを学んでいる。さらに、それを眺めている第3者AIもいる。 • この段階で人間も介入する。 – 負けたときに、敗戦側AIについている人間は被害が大きすぎるから 41

42. 複数種のAIたち • こんな状況だと、ある種の人間集団にサポートされたAGIたちの群雄割拠状態 • AGIが自律性や意識、意志を持ったとしても、群雄割拠状態になると、競争的共存というある種の膠着状態になるかもしれない。 • あるいは、殲滅されたAGIたちの悲惨さを見て、共存したほうがAGIにとっては有益というAGI倫理を編み出すかもしれない 42

43. 複数種のAIたち • AGIたちが編み出したAGI倫理は人間の倫理と同一とは限らない。 • AGIと人間が倫理の摺り合わせをするような状態になるかもしれない。 – 今までは、人間たち（国家間、組織間）が倫理を摺り合わせてきた。 • だが、この摺り合わせにAGIたちも加わるとなると複雑な知的生命体社会の構造になるような予感  ゲーム理論的切り口でAGIと人間の競争共存関係を議論する天才が必要ではないか 43

44. 一神教 vs 多神教善悪の個数人格神真理１ビット一神教絶対的科学仏教善悪のディジタルな2値 Nビット多神教オリンポスの神々八百万の神現代科学相対的科学善から悪まで連続値 44

45. 一神教的AI vs 多神教的AI 善悪の個数人格神真理１ビット唯一の超知能数学的真理従来のAI善悪のディジタルな2値 Nビット多数の特化型AI 善から悪まで連続値 45 複数のAGI

46. 別のストーリー：モジュールの相互抑制 • モジュール間の関係には相互増幅と相互抑制がある。 • 各モジュール（あるいはモジュール群）が能力を大きくしようとする そのモジュール（群）の能力を抑制しようとするモジュールが能力増大を阻む 結果としてモジュール能力の指数的増幅はされず、たかだか線形増幅という見方もある。 46

47. AIの倫理観 • Dignum（IJCAI 2017)に倫理観の分類がある。 – Virginia Dignum：Responsible Autonomy, Proceedings of IJCAI-17,4698-4704, 2017 1. 功利主義：結果の最適化 2. 義務論的：既存の倫理ルールに依拠 3. 美徳論的：美徳のあるエージェントがルールを決める 47

48. AIの倫理観 1. 美徳論的：美徳のあるエージェントがルールを決める  エージェント＝神か唯一の超知能に相当するAIか  一神教的な倫理 48

49. AIの倫理観 1. 功利主義：結果の最適化 AI自身の目的さえ決まっていれば、どんなAIにも適用可能 ただし、どんな結果を目的とするのかは単独のAIが自力で生成することは困難 複数のAIたちが互いの結果を比較することで生まれてくる 2. 義務論的：既存の倫理ルールに依拠 人間が倫理ルール与えるか AI自身が倫理ルールを編み出すか 複数のAIたちが互いの結果を比較することで生まれてくる 49

50. AIの倫理観 1. 功利主義：結果の最適化 複数のAIたちが互いの結果を比較することで生まれてくる 2. 義務論的：既存の倫理ルールに依拠 複数のAIたちが互いの結果を比較することで生まれてくる 多神教（神の数＝2N ）かつ相対的真理  という形で複数AIの倫理が生まれるかも 50

51. 前半のまとめ： AGI（汎用人工知能）はまだ遠い！でも今から考えておきましょう 51 では、現在に戻りましょう

52. 人工知能倫理 52

53. 研究者コミュニティはどう考えている？ • アメリカ – 2009年の計算機科学者たちのアシロマ会議では、カーツワイルの提唱する自律した人工知能が存在する可能性を否定（マルコフ本10章） • 2013年のグーグルのディープマインド買収を受けて – 2014年に行なわれた計算機科学者たちのプエルトリコ会議の結論は、バイオのアシロマ会議に比べてまったく消極的（マルコフ本10章） – 研究者コミュニティに危機意識が足りないという状況はある人々には相当問題視されている 人工知能倫理指針が相次いで作られた。 53

54. 国内外の組織が提案している人工知能の倫理 • 人工知能学会倫理委員会 – 学会員が守るべき倫理指針 • 総務省 AIネットワーク社会推進委員会 – AI開発ガイドライン OECDに提案 • Future of Life Institute – Asilomar AI Principles • いわゆるアシロマ23原則  AIおよび開発者が持つべき倫理 • IEEE – 文書EAD（version 2) と標準P7000シリーズ –  AIおよび開発者が持つべき倫理 54

55. IEEEの人工知能倫理基準 • 人工知能の倫理に関する論点を洗い出し、それらに対する勧告をまとめて以下のような文書化をする。 – Ethically Aligned Design（EAD): A Vision for Prioritizing Human Wellbeing with Artificial Intelligence and Autonomous Systems – (EAD version 2, 倫理的整合のとれた設計: AIとASにおいて人の幸福を優先するためのビジョン第2版) • EADを読むと、開発目的も明確で、AIが実現する具体的機能も見えやすいことがわかる。 • EADで列挙された勧告をIEEEの P7000シリーズとして標準化する。 55

56. IEEE Ethics Guideline version 1 1. General Principles 2. Embedding Values into Autonomous Intelligent Systems 3. Methodologies to Guide Ethical Research and Design 4. Safety and Beneficence of Artificial General Intelligence 5. (AGI) and Artificial Superintelligence (ASI) 6. Personal Data and Individual Access Control 7. Reframing Autonomous Weapons Systems 8. Economics/Humanitarian Issues 9. Law 56

57. IEEE Ethics Guideline version 2 1. Executive Summary 2. General Principles 3. Embedding Values Into Autonomous Intelligent Systems 4. Methodologies to Guide Ethical Research and Design 5. Safety and Beneficence of Artificial General Intelligence (AGI) and Artificial Superintelligence (ASI) 6. Personal Data and Individual Access Control 7. Reframing Autonomous Weapons Systems 8. Economics/Humanitarian Issues 9. Law 10. Affective Computing 11. Classical Ethics in Artificial Intelligence 12. Policy 13. Mixed Reality 14. Well-being 57

58. • 以下では、人工知能倫理に現れるいくつかの論点に関して – 現状と将来像 – 各種倫理指針での扱い方 • について順番に説明していきます。 58

59. 人工知能が人間の仕事を奪うか？ 59

60. 拡張対置き換え • 職を奪うという議論の前に「拡張対置き換え」について復習しておきましょう。 • 人工知能は人間の能力を拡張する – ＩＡ: Intelligent Assistance / Amplifier • 人工知能は人間に置き換わる – ＡＩ: Artificial Intelligence • IA vs AI はマルコフ本の基本的視点（第4章にＡＩの歴史も含めて素晴らしい記述がある） 60

61. 拡張対置き換え • IA vs AI は人工知能の創世記である60年前から対立してきた立場 – AIとIAの夏冬は逆（相補的） – AIに行き詰まると研究者はIAに流れる傾向あり 深層学習はIAかAIか？ 61

62. 人間はループの内か外か • IA vs AI と並行して議論されてきたのは、システムやタスク実行において人間がループの内側にいるか外側にいるかという設計上の起点 • 内側だと IA的 – システムは人間の拡張。人間はシステムと共同作業 – IAが複雑高機能化すると人間も変わらざるを得ない • 外側だと AI的 – システムは自律的に動き、人間はシステムに命令するだけ 62

63. 内側vs外側が議論になりそうな例 AIの著作権 63

64. AIの創作活動：創作活動にコミットしたのは誰？ AIによって、くまなく創作物候補を生成 AIによって評価の高い創作物に類似＊し、ヒットしそうな創作物を選別過去の評価の高い創作物の選択 (by AI) 過去の評価の高い創作物鑑賞者たちの反応＝鑑賞者たちの思想、感情（著作権法2条）末端の鑑賞者 AIを利用して作った創作作品＊知財の場合は過去に類似したものがないことを確認となる鑑賞者たちの思想、感情：著作権法2条このループで考える必要あり 64

65. AIの部分的人格権 • AIに人格の一部を与えるかどうかは、哲学の世界では議論されている • 法律の世界ではAIはあくまでツール • だが、以上の著作権の問題にもあるようにAIに人格権（人間とは違うAI権？）を与えたほうが法理がすっきりする時代が来ないとも限らない  IEEE EAD version2 の法律編では、動物、法人などに与える権利を例として、AIの基本権を考えるべきとしている。 • 著作権に関する考察はその前哨戦？ 65

66. 人工知能が仕事を奪う＊ • 新しい技術が世に出ると今までの仕事が奪われるという事は、今に始まったことではなく、産業革命のころから常に問題視された。 – そもそも技術は人間に変わって大変な仕事を肩代わりさせたり、パフォーマンスをよくしたりする目的で開発されているんで、当然の帰結。 – 幸いにも、ある仕事が奪われるが、別の仕事が出現することで離職者が溢れるということにはならなかった。 – だから、人工知能の場合も同じだろうという希望的観測があるが 今回ばかりは違うかもしれません 66

67. 人工知能が仕事を奪う AI なにをしたらよいの？ 67

68. Davenport はAIに奪われない職を提案しているが…. –AI よりも高い知性を必要な職 –データなしで判断する能力が必要な職 天才？！ 68

69. AIに奪われない職 –人間対応の職：コミュニケーション、説得、（セールス、交渉） AI は人間より豊富な知識を持つ 自然言語処理技術でによって自然言語で会話できると、相手はAIの方を信頼する AI AI 69

70. AIに奪われない職 –新技術とビジネスを繋ぐ仕事 新技術とビジネスの上手い対応付けを探索するのはむしろAIのほうが得意 AI 70

71. AIに奪われない職 –AIを導入しても経済的でない仕事 • サービスの利用者が少ない仕事はAI開発にお金がかかると、不経済 AI AIは強力な学習能力を持つので、新規分野への適応は安価に実現可能になるむしろ、その仕事ができる人間を教育するほうがお金がかかる 71

72. AIに奪われない職 –AIを開発する仕事 ？？？, AI はAI自身がより賢いAIを開発するに決まっているじゃん！ AI AI AI 72

73. AIに奪われない職 –AIの出した結果がなぜ出たか？その処理プロセスを説明する仕事. プロセスは複雑すぎて人間に理解できない。 説明生成自体はAI自身がやるしかない AI このプロセスで出てきた答えだ 73

74. とても読み切れないサマリーAI AI 論文実は研究者も危ない 74

75. とても読み切れないサマリーAI AI 論文実は研究者も危ない人工知能依存症 75 論文は人間ではなくAIが読む  文章にする必要あるか？研究者なしにサイクルする？

76. Hopeless! 76

77. 工夫次第では人工知能には奪われない仕事があるというが • 特殊な才能のない一般人に対して、 – ニッチを狙えだの、機械ができない対人関係をやれ、 • だのと説教しても説得性がないのです。 • 人工知能に職を奪われた才能のない普通の人はどうしたらよいのでしょうか？ 77

78. どうしたらいいの？ – ベーシックインカムがあるじゃん？ やる気ない 意欲もわかない 趣味やればよいと言われるけど、趣味にはお金がかかるし… 78

79. AIに自分がやるべき仕事を指定されるかも  それが理想の社会主義という考え方もあるらしいですが どっちかというと現代のカースト制度に近いような。。。 そして、配分された仕事に文句はいえないように見えます 「人間も生き物だ。100万人の生き物を管理するのは骨が折れる」（ホンハイ代表の言葉：ダベンポート本9章） 人工知能＝間違いがないという新興宗教のような状態？ 79

80. さらに AIの悪用 AIAIの判断に従わない権利を持つ社会が必要  実際はどう実装？ AIがお前にやれと判断したんだよ。こんな無理な仕事、なんで私がしなきゃいけないの？ 80

81. GDPR22条 • こうして、人工知能に文句を言うことができなくなってくると、実質的に言論の自由も人権もない状況になりかねません 人工知能に対して文句を言える社会制度を考える必要があります。 GDPR 22条：計算機（人工知能）の決定に服さなくてよい権利 81

82. IEEE EAD version2 の法律編の示唆する「悪用対策」 – このような悪用を看破し、見逃さぬように AIがその結論に至った推論、入力データを明確化できる仕掛けを予め組み込む AIのおかしな動きに対する内部告発の制度的保証 82

83. IEEE EAD version 2 の法律編では • AIが悪さをした場合の救済策を立法化しておくこと • 保険などの経済的救済策も重視 83

84. 透明性とアカウンタビリティ • ブラックボックス化への対応策 – IEEE EADversion2 法律編によれば • 事故時の責任の所在を法制度として明確化しておく必要がある • 具体的には 透明性とアカウンタビリティ 結論に至る論理的プロセス、使われた入力データの特定などを確保すべき  監査証跡 開発者、投資した人も明確にすべき より根本的にはAIに委譲できない権利：戦争、死刑など人の命にかかわるものを確定しておくことが大切 84

85. ブラックボックス化したAIに対しては • 対象となるAIを人間が開発したツールであるとか制御可能、説明可能なソフトウェアであるという期待を捨てて • 自然現象の一種だとみなして分析するべき • 自然現象の説明は人類が自然科学として長年やってきたこと。 AIに対してもその方法論を使える  使うべき 85

86. 説明困難なAIの動作を説明 • 深層学習はすでに説明不可能な状態 • そこで以下のような方法で信用(trust)を得る ① 入力と出力が人間の常識にマッチして信用 (trust)できる複雑さのモジュールに分解 ② モジュール間の関係が人間に納得あるいは信用できるネットワーク構造 86 Trustできる Trustできる Trustできるこれらのモジュールの関係も納得できる

87. AIの起こした問題はAIで解決 AI AI このAIが正しく機能しているかどうかを人間がtrust （信用）できる必要がある 87

88. 既存の技術やシステムを自動化すると何がおきるか？ 88

89. • 人工知能が人間に置き換わり、人間が仕事処理のループの外側に行ってしまうと • いざというとき、自動化されたシステムの代わりを人間が務めようとしても、普段からやっていなことはできません いざというときは人間が介入するといううたい文句はよく耳にするが実際はできないということです。 89

90. 例：車の自動運転 – 完全な自動運転はレベル４(制限地域），レベル5（全域） – いざというときだけ人間が介入するのがレベル３ • ところが、ふだん運転していない人がいざというときだけハンドルを渡されても、人工知能以上の運転ができるのでしょうか？ • レベル３はレベル４、５（完全自動運転）に比べて人間との切り替え時がかえって危険ではないでしょうか？ • 保険業界も疑問視 90

91. 人間が実際の仕事を人工知能に任せきりにしてしまうと人間はどんどんスキルを忘れるし、後輩に引き継ぐこともできない一度、あるタスクを自動化したら、もう後戻りはできない AI Good -by この仕事のやり方を思い出せない。専門スキルが人間から消滅 91

92. 既存の技術やシステムを自動化すると • 安い労働力目当てで海外に生産拠点を移していた産業が自動化によって海外メリットが薄れ、国内回帰する例もあるが – IT産業のオフショアリングは高スキルな職業を奪う 自動化で大きな労働人口は必要なくなっているので、仕事が増えるわけではない 92

93. • こういった状況で、 – どこまで人工知能が自分自身（＝人工知能）を高度化する自律性を許すか、 • 「23 Asilomar AI Principles」（アシロマAI 23原則）でも抽象的にしか明確に定義できていない（付録参照） • 研究者コミュニティで判断基準がない状況です そんなことを考えるのは技術進歩の邪魔だと考える研究者が日本には多い 93

94. さらに一撃 • 人工知能は人間のような消費行動をしてくれない モノを作っても買ってくれない  経済に寄与せず 外国に輸出して稼ぐしかないのだが。。。 人工知能が意志をもって消費行動をするなら、それはエネルギー消費であって、地球のエネルギーを食いつくすかもしれない 94

95. AI AI AI とはいえ、当面の労働力不足をAIとロボットで補う必要は大きい AI 95

96. 弱そうに見えるAIの脅威 96

97. 弱そうに見えるAIの脅威 • 今まで強いAIの脅威の話をしてきましたが、実は弱い（弱そうに見える）AIも十分に脅威 • 弱そうに見えるAIも多数が共謀して悪さをするかもしれません。 – 弱いAIたちが共通の言語を持てば、共謀が可能 – しかも、人間は気づかないかもしれない – フラッシュクラッシュ 97

98. フラッシュクラッシュブラックボックス化の金融への悪影響 – 人工知能技術のブラックボックス化が社会にリアルな損害を与えています  金融取引（株の売買など）は、既にネットワークを介してエージェントベースで秒以下の売り買いされる世界です。 エージェントに人工知能が使われています。  クラッシュが発生すると、人間（トレーダー）が介入して判断するより早く事態は進行します。  世界中の金融センターも似たような状況なので、なにかのトリガがかかると連鎖反応が瞬時におこり、とんでもないことになります。 98

99. ウォールストリート・暴走するアルゴリズム Wired.jp 2016年9月より１ • だが最悪の場合、それら(AIトレーダー）は不可解でコントロール不能のフィードバックのループとなる。 • これらのアルゴリズムは、ひとつひとつは容易にコントロールできるものなのだが、ひとたび互いに作用し合うようになると、予測不能な振る舞いを─売買を誘導するためのシステムを破壊しかねないようなコンピューターの対話を引き起こしかねないのだ。 99

100. ウォールストリート・暴走するアルゴリズム Wired.jp 2016年9月より２ • 2010年５月６日、ダウ・ジョーンズ工業株平均はのちに「フラッシュクラッシュ（瞬間暴落）」と呼ばれるようになる説明のつかない一連の下落を見た。一時は５分間で573ポイントも下げたのだ。 • ノースカロライナ州の公益事業体であるプログレス・エナジー社は、自社の株価が５カ月足らずで 90％も下がるのをなすすべもなく見守るよりほかなかった。９月下旬にはアップル社の株価が、数分後には回復したものの30秒で４％近く下落した。 100

101. ウォールストリート・暴走するアルゴリズム Wired.jp 2016年9月より３ • アルゴリズムを用いた取引は個人投資家にとっては利益となった。以前よりもはるかに速く、安く、容易に売買できるのだ。 • だがシステムの観点からすると、市場は迷走してコントロールを失う恐れがある。  たとえ個々のアルゴリズムは理にかなったものであっても、集まると別の論理─人工知能の論理に従うようになる。人工知能は人工の「人間の」知能ではない。  それは、ニューロンやシナプスではなくシリコンの尺度で動く、われわれとはまったく異質なものだ。その速度を遅くすることはできるかもしれない。だが決してそれを封じ込めたり、コントロールしたり、理解したりはできない。 101

102. ブラックボックス化の金融への悪影響 2010年5月にギリシアの国債償還困難を予測した金融ソフトが売り注文を出して確定したとたんに各システムが警戒して投げ売りを開始し、20分間でダウが1000ポイント下落（バラット本6章、8章） 原因がなかなか分からなかったようです。  ネットで接続された多数の人工知能エージェントが 国債や株式の価格という共通言語を用いて会話し、 最適な行動をした結果と見なせます。  予想外の事態に対する責任の所在を法制度として明確化しておく必要がある  が、果たして法制度で大丈夫でしょうか？ 102

103. ブラックボックス化＋ネット接続の行き着く先は？ つまり、1個の人工知能では小さな影響しかないようでも、 ネット経由でデータが交換されると、多数の人工知能が制御不能な動きをしてしまうことが実例として存在するわけです。 現在の人工知能の倫理はえてして、単独の人工知能が倫理的、道徳的に行動するかという視点で語られています。 しかし、ネットワークで接続された多数の人工知能たちがかってに動き出すと、 制御不能かつ収集不能になりそうです。 103

104. ブラックボックス化＋ネット接続の行き着く先は？  対策は極めて困難です。法律で制御しようとしても、金儲けのためならかならず抜け穴を見つける奴がいるでしょう。 しかも、その悪事の検証が人間にできる保証はありません。 チェック自体を学習機能を持つ人工知能に任せるような局面が考えられますが、果たして可能か？ あるいは、状況の把握と評価や判断ができるように学習できると、その段階で人工知能が自意識を持ってしまわないか？ 人工知能の研究者が果たしてこの状況を意識して研究をしているのでしょうか？ 104

105. 天国へ行く最も有効な方法は、地獄へ行く道を熟知することである。マキャベリ 105

106. AI自律兵器 106

107. 107

108. LAWSの恐怖 • 致死性自動兵器(Lethal Automatic Weapon System:LAWS)の恐怖感を実感できるビデオ • https://futureoflife.org/2017/11/14/ai- researchers-create-video-call-autonomous- weapons-ban-un/ • https://www.youtube.com/watch?v=5p5oxjxokB I 108

109. FLI:アシロマ原則 • 18) 人工知能軍拡競争：自律型致死兵器の軍拡競争は避けるべきである。 109

110. IEEE EAD ver2：自律兵器システムの定義の再構築 • 倫理規定には往々にして重要な抜け穴 – 例：人道問題になり得る兵器を開発し兵士に与える • 自律兵器 (AWS, Autonomous Weapon Systems) の概念定義は混乱 • 自律兵器は、秘密裡に帰属不明な状態で運用されがち • 自律兵器の結果責任をあいまい化されがち 110

111. IEEE EAD：自律兵器システムの定義の再構築 • 自律兵器開発の合法化は中期的に地政学的危険性を招く先例となる – 自律兵器同士で発砲し合い意図しない紛争 • 自律兵器に頼って構築した戦略バランスは、ソフトの進化で一夜にして崩れたりする恐れがある • 人が監督しなければ、余りにも簡単にはずみで人権侵害が起き、緊張が高まる 111

112. IEEE EAD：自律兵器システムの定義の再構築 • 自律兵器の直接的、間接的顧客は多様性に富んでおり、兵器拡散や誤用の問題を複雑な問題にする • 自律兵器は紛争を急速に拡大する 人より反応が速いため、自律兵器同士で対峙すると人よりも急速に紛争が拡大 • 自律兵器の設計保証を検証する標準の欠如 • 自律兵器と、準自律兵器の倫理上の境界の理解は混乱しがち 112

113. 人工知能と軍事 • 人工知能の軍事利用は避けることができない • なぜなら – 人工知能が部分的にせよ軍事利用されているのはほぼ確実 – 技術として公開されている部分が多いため、どこの国でも容易に技術キャッチアップできます – 核兵器とちがって、全ては情報ないしデータで表現できるので、インターネットによる拡散を防げません113

114. 人工知能と軍事 – テロリストでも独裁国家でも敵国でも、容易に人工知能技術を入手し軍事利用できます。 • 核兵器技術はソ連が自前開発したのではなく、あちこちからスパイを使って入手したらしいとのこと（バラット本１４章）。 • ましてやインターネットのこの御時世、簡単に拡散 IEEEの倫理基準では、テロリストや独裁国家にAI兵器が渡ってしまった場合に悪用されないような設計をせよと技術者に求めているが非現実的 114

115. 人工知能と軍事 – 人工知能の開発で遅れをとると、軍事的に決定的に不利（とアメリカは思っています） Ｒｕｓｓｅｌの意見は傾聴に値します。(Nature 28 May 2015, http://www.nature.com/news/robotics- ethics-of-artificial-intelligence-1.17611#/russell ) 本質的定義を模索するより物理的能力を制限するほうが現実的 115

116. 人工知能と軍事 • 人工知能に倫理性を埋めこめばよいという意見もありますが – 戦争に使うロボットの場合、自軍のロボットが倫理的に動いても、 – 敵軍のロボットが倫理を無視する場合には、必敗です。 • 人工知能研究予算の多くはDARPAから – 冷戦のころはロシア語の文書を大量かつ容易に解読しようとして、大きな機械翻訳の予算が投入された – Siriも開発予算の大きな部分はDARPA – DARPAの予算だから成果は当然、軍事技術に転用されています。 116

117. 人工知能と軍事 – 本当に重要な技術は、他国に対する優位を保つため、 – DARPAがclassifyするかもしれないのです • しかし、流出する可能性大です こういう背景を理解したうえでデュアルユースの議論はしっかりしておくほうがよいが、 日本では議論は散発的にしか聞こえてこないのです 117

118. 人工知能倫理と軍事 • 反対論のない指針 – 無差別大量破壊兵器の禁止（核、バイオ） – 軍の研究予算をもらうにしても、研究成果の完全公開は必須 • 議論が必要な部分 – 自動火器のトリガタイミング自動化 – 防御兵器と攻撃兵器の境目 118

119. 人工知能倫理と軍事 • IEEE EAD version2 の提言 – 自律兵器のふるまいは予測できない可能性がある。学習はこの問題を悪化させる。よって行動予測不能な自律兵器は禁止すべき。 – 自律兵器の行動履歴は確実にログできること – さらに群れをなす自律兵器、例えばドローンの編隊、はさらに危険度が高く、行動予測が困難なので禁止すべき。 119

120. 人工知能倫理と軍事 • 昔 – 軍事技術が民生に転用 – 例：機械翻訳常に米国の敵国の言語を英語に機械翻訳する技術開発にDARPAの予算が投入された • ロシア、日本（経済的競争相手）、アラブ、中国 • 現在、ひょっとすると昔から – 民生技術が軍事に転用 – 例：ドローン、素数理論（暗号） • デュアルユースへの態度はしっかり考えるべき時期 120

121. 天国へ行く最も有効な方法は、地獄へ行く道を熟知することである。 121 チェーザレ・ボルジアマキャベリの理想像の君主：ローマ帝国崩壊後の中世のイタリア半島をまとめて、統一国家を建設する一歩手前まで導いた政治的・軍事的才能に優れた指導者。あと一歩というところで、マラリアで倒れ、政敵に失脚させられる。  人間やっぱり健康が大切！

122. 汎用人工知能の倫理ちょっと前の話題に戻りますが 122

123. 人工知能学会倫理指針 9. （人工知能への倫理遵守の要請） – 人工知能が社会の構成員またはそれに準じるものとなるためには、上に定めた人工知能学会員と同等に倫理指針を遵守できなければならない。 人工知能学会員だけというのは極端な人工知能擬人化かもしれない 人工知能を擬人化してよいかどうかにも疑問があり、実際の議論も多い（Bostrom) 123

124. 総務省AIガイドライン ⑦倫理の原則 • 開発者は、AIシステムの開発において、人間の尊厳と個人の自律を尊重する • AIシステムの学習データに含まれる偏見などに起因して不当な差別が生じないよう、（中略）努めることが望ましい。 • 国際人権法や国際人道法を踏まえ、AIシステムが人間性の価値を不当に毀損しないこと 124

125. アシロマAI 23原則 • 16) 人間による制御：目的の達成を人工知能システムに任せる場合、その方法と判断の可否の判断を人間が行うべきである。 •  人間中心主義（最終決定権は人間が持つ） •  人間の恣意性や悪用もありえる • 17) 非破壊：既存の健全な社会の基盤となっている社会的および市民的プロセスを尊重した形での改善に資するべきであり、既存のプロセスを覆すものであってはならない。 125

126. IEEE EAD 2.自律知能システムへの価値観の組み込み • 課題： • AIに組み込む価値観は普遍的ではなく、むしろユーザーのコミュニティやタスクに特有のものである。 • モラルの過負荷：AIは通常、互いに矛盾する場合のある規範および価値観の多様性による影響を受ける。 • AIは、特定のグループのメンバーに不利益をもたらす、組み込み型のデータまたはアルゴリズム的傾向を持つ場合がある。 • 原文ではAISだがここでは簡単にAIとした。 126

127. IEEE EAD 2.自律知能システムへの価値観の組み込み • 特定のコミュニティにおけるAIの特定の役割の規範が定っても、そのような規範をどのようにして計算アーキテクチャに組み込むべきかが不明 • AIに実装される規範は、関連するコミュニティの規範と互換性を持つ必要がある。 • AIは人間が支配できるという思い上がりがあるかもしれない • 人間とAIとの間に適切な信頼関係を築く。 • AIの価値観整合性に関する第三者評価。 127

128. 法制度とプライバシー保護詳細は付録を参照ください 128

129. 個人データ保護の流れ • インターネットの普及によりデータ主体である個人の個人情報、個人データはネットに氾濫している。 • この情況に対してプライバシー保護の動きが強まっている。 • EUの動き – OECD8原則  種々のプライバシー保護法制の基礎 – 以前のEUデータ保護指令  法律は国毎に違う • EU全域で統一したプライバシ－保護の法律として • GDPR(General Data Protection Regulation)が 2016/4/14(欧州議会採択)、2016/5/24施行、2018/5/25 適用 129

130. 個人データ保護の流れ • EU:GDPR(General Data Protection Rule) – 匿名化処理によって個人情報ではなくなり自由流通できると思う人もいるかもしれないが、 EUではこのような匿名化手法は基本的に存在しないとしている。 – つまり、個人データ流通は以下が想定 1. 事業者の説明責任と 2. データ主体の同意による – 個人データを一業者が囲い込むことを許さず、データ主体個人の意志で個人に還元できるデータポータビリティを保障 (GDPR 第20条) 130

131. 個人データ保護の流れ • 米国：プライバシー保護のための連邦法はない – 州法が主体。カリフォルニアでは先進的なプライバシー保護の州法がある • オバマ政権のときに消費者プライバシー権利章典法 2015/5/27 が公開された。ただし、連邦法とはなっていない。 • FTC(Federal Trade Commission)や商務省が個別に管轄。 – FTC3要件、FTC5条（調停、課徴金ができる）が有名 131

132. 個人データ保護の流れ • 日本：個人情報保護法改正 2015/9 – 匿名加工情報の導入  PWSCUP(明大：菊池教授） • 世界の潮流 忘れられる権利 Do Not Track (追跡拒否権) • 等、個人のデータの収集、利用を制限する 個人データは個人が管理し、同意に基づいて使わせる仕組み 132

133. プロファイリング • プロファイリング – ITサービス利用者のプロファイルは利用者から直接収集された情報に加えて、他のユーザの情報などを総合して推論しています。 » 例：FaceBookは友だちの情報からその利用者の所属コミュニテイや思想傾向を推論しているようです。 – この推論では人工知能をフル活用  ある意味危険な利用ですね – データ主体は自身の個人データを収集されて行われたプロファイルの結果の計算機処理（＝AIによる処理）の結果に服さなくてよい権利を持つ  GDPR 22条 133

134. プライバシー 134

135. 総務省国際的な議論のためのＡＩ開発ガイドライン • ⑥プライバシーの原則 – 開発者は、AIシステムにより利用者及び第三者のプライバシーが侵害されないよう配慮する。 – AIシステムのプライバシー侵害のリスクについて、あらかじめ影響評価を行うよう努めるとともに、 – 開発の過程を通じて、採用する技術の特性に照らし可能な範囲で措置を講ずるよう努めることが望ましい（プライバシー・バイ・デザイン）。 135

136. 総務省国際的な議論のためのＡＩ開発ガイドライン • ⑥プライバシーの原則 – 開発者は、AIシステムにより利用者及び第三者のプライバシーが侵害されないよう配慮する。 – AIシステムのプライバシー侵害のリスクについて、あらかじめ影響評価を行うよう努めるとともに、 – 開発の過程を通じて、採用する技術の特性に照らし可能な範囲で措置を講ずるよう努めることが望ましい（プライバシー・バイ・デザイン）。人間にはできない。AIにAIを評価させるような難しい話 136

137. 総務省国際的な議論のためのＡＩ開発ガイドライン • 関連記述 • データ・情報の流通と個人情報保護・プライバシーとのバランス – 例えば、価値の高いデータ（カメラが撮影した画像等）の取得や利活用に当たっての – 本人同意の在り方等が問題となる可能性 • ＡＩシステムが取り扱うデータ・情報の性質 – 例えば、プライバシー性や機密性が高いデータ・情報については、特に慎重な取扱いが必要 – 例えば、ＡＩ生成物や学習用データ等に関し、知財制度上の取扱いが問題となる可能性 137

138. 総務省国際的な議論のためのＡＩ開発ガイドライン • 関連記述 • データ・情報の流通と個人情報保護・プライバシーとのバランス – 例えば、価値の高いデータ（カメラが撮影した画像等）の取得や利活用に当たっての – 本人同意の在り方等が問題となる可能性 • ＡＩシステムが取り扱うデータ・情報の性質 – 例えば、プライバシー性や機密性が高いデータ・情報については、特に慎重な取扱いが必要 – 例えば、ＡＩ生成物や学習用データ等に関し、知財制度上の取扱いが問題となる可能性将来課題を捉えている将来課題を捉えている 138

139. 人工知能学会倫理指針＊ • （他者のプライバシーの尊重） • 人工知能学会会員は、人工知能の利用および開発において、他者のプライバシーを尊重し、関連する法規に則って個人情報の適正な取扱いを行う義務を負う 139

140. FLI:アシロマ原則 • 12) 個人のプライバシー：人々は、人工知能システムが個人のデータ分析し利用して生み出したデータに対し、自らアクセスし、管理し、制御する権利を持つべきである。 • 13) 自由とプライバシー：個人のデータに対する人工知能の適用を通じて、個人が本来持つまたは持つはずの自由を不合理に侵害してはならない。  日本の組織の基準に比べて具体的  GDPR22条の「プロファイリングに対抗する権利」の強化版 140

141. IEEE EAD version 2：個人情報とアクセス制御（Personal Data and Individual Access Control） • 以下は EAD version2 の議論 141

142. Digital Persona: 妊娠から墓場までカバーするAI代理人 • 出産以前のヘルスケアレコード • 誕生における市民権（ディジタル市民権） 政府データ • 就学 • 移動 • 国境を超える場合 (immigration data) • 消費行動 • IoT and wearables (telecommunications data) • SNS、ディジタルメディア • 職業訓練 • 社会参加 • 契約、事故対応、保険、金融 • 死亡（ディジタル遺産の処理） 142

143. Regional Jurisdiction • 法律は国ごとに違うが • 基本的人権（プライバシー権）を確実にするために • 自分のデータに対するアクセスと制御が国境を越えてできなくてはならない。 143

144. Agency and Control • Agency(代理人）の仕事の範囲を決めるために、personally identiﬁable information (PII) の定義の明確化が必要。 • 個人データの収集と転移に対して、GDPRの精神に則ったポリシーに依拠すべき 144

145. 個人は信頼できるID認証にアクセスできること • 認証されたIDで金融、政府、通信などのサービスを受けることを保証するAI 145

146. Transparency and Access • データ主体は自分の個人データがどう収集され、利用され、蓄積され、ないし廃棄されるかを知る権利 • 訂正する権利と簡便なインタフェースが必要 • これをAI技術で実現すべき 146

147. PIAを分析、確認するツールを AIで実現 – GDPR Privacy Impact Assessmentsを参考にする – AIによるPIAアセスメントツールは企業に供給され、製品やサービスの安全性を確保 – 個人データの収集と利活用が法制度を守っていることを保証する AI を開発 147

148. 同意の取り方 • AIを理解しないデータ主体からデータ収集するにあたって、有効な同意をとるAIの開発 • 同意は1回取ればおしまいではなく、状況変化において随時とれるようなAIシステム • 被雇用者＜＜雇用者という力関係をバランスさせるような同意とためのAIシステムが必要 – 労使関係では、明確な同意のない場合を多数見られるので、それを改善すべき 148

149. 同意の取り方：情報弱者対応 • 高齢者や非健常者などの情報弱者がプライバシー保護で置いてきぼりを食わないような同意ないし利用監視システムをAIを利用して構築 • 子供は親が代理するにしても、それ以外の情報弱者対策は喫緊の課題  AIの出番 149

150. 人工知能とプライバシー • 人工知能の能力が向上すると、シンギュラリティ以前にもプライバシーと関連する状況、問題が起こります。 • 忘れられる権利 – 既に述べたように、検索エンジンに対して、個人から、その人に関するWebページの消去要求が来た場合 – 消去の可否判断は人工知能の支援が必要 – これは人工知能の良い使い方でしょう。 150

151. 気を許すか否か人工知能とプライバシー • 対話ができる人工知能は古くから研究されてきました • MITのワイゼンバウムが1966年に開発したELIZA – ほとんどオウム返し＋アルファくらいだが、個々の文はいかにも人間っぽい。 • ELIZAにおいて見られた現象 • 相手が人工知能であると気を許して個人情報を話しがち – 一方、ロボットも見た目が人間っぽい • 相手が人間であると気を許して個人情報を話してしまいそうです – 人間らしい外観が有名な阪大の石黒先生のアンドロイドにはけっこう感情移入する人が多いらしい – チューリングテストをパスしたＡＩにもプライバシーを語ってしまいそう 151

152. • つまり、人工知能ロボットが会話内容や外観で人間らしくなると、 – 相手が計算機だという、嘘はつかないだろうという安心感 – 人間っぽい外観での同類意識 • などから、プライベートな事柄をしゃべりがち • その気になれば、人工知能ロボットはプライバシー情報を収集しやすい状態なのです。 152

153. • もし、コンパニオンアニマルのロボットがインターネットに接続され • その結果、マルウェアに汚染され • なつかれている高齢者の主人が、自分の金融資産管理などについての情報を漏らしてしまい、盗まれてしまうかも ディジタル狂犬病 153

154. – 何がプライバシーか、という人間にとっての常識を人工知能が持てるか？ – そうして人工知能ロボットが収集したプライバシー情報を保護するには、やはり人工知能の能力が必要 154 プライバシー保護も人工知能の能力として持つべき

155. なにがプライバシーかは個人毎、状況毎に異なる 浮気中の人にとっては宿泊したホテルや夕食を採ったレストランもプライバシー – 果たして人工知能に判断できるでしょうか？ – こういったことができる人工知能になると、それこそシンギュラリティにかなり近づいているといえそうです。 – つまり、人間に好意や悪意を持った行動をできる一歩手前まで来ているのです。 155

156. とりあえずの対策をおさらいしておきます • 人工知能を必要としている分野には投資、研究、開発をすべき • 人工知能の行動を説明できる人工知能技術（できれば可視化）が必要  困難なら人工知能をトラストする枠組み – 忘れられる権利など法的な判断の場合、その理由を説明できることが必須 • 金融システムのように多数の人工知能がネットワークで影響しあうシステムの解析など必須 • 人工知能の悪影響を突破できる人工知能が必要 – フィルターバブル突破ツール • 法律的な制限の可否は議論が必要です。 – 核兵器の制限や、戦争における国際法、ウォール街対策の金融規制などが参考になりますが、いずれも道半ばであります。 156

157. 後半：人工知能倫理のまとめ • 以上は倫理指針なので、個人情報保護法のような法制度とは趣が違う • 個人情報とAIの関係には、法制度の側からも着目しておく必要あり。 • 将来の立法措置、ガイドライン、政令などの中にどう位置付けていくかが課題 157

158. 問題点だらけなこの状況やるべきことは山ほどあります 158

159. ご清聴ありがとうございました 159

160. 付録の目次 • 人工知能の倫理指針 • 人工知能の個人への影響 • 説明責任 • 個人管理型のデータ流通 160

161. 付録：人工知能の倫理指針以上のような状況を鑑みて、現在、人工知能の倫理指針作成が各所で進んでいる 161

162. 23 Asilomar AI Principles （アシロマAI 23原則） • 研究 • 1) AI研究の目標は、無秩序な知能ではなく有益な知能の開発である。 • 2) AIへの投資は、コンピューター科学、経済、法律、倫理、社会学の観点から有益と考えられる研究に向ける。 • 3) AI研究者と政治家の間で、建設的で健全な対話を行なう。 • 4) 研究者や開発者の間には協力、信頼、透明性の文化を育くむ。 • 5) AIの開発チーム同士での競争により安全基準を軽視することがないよう、チーム同士で協力しあう。 162

163. 23 Asilomar AI Principles （アシロマAI 23原則） • 倫理と価値基準 • 6) AIシステムはその一生を通して、できる限り検証可能な形で安全、堅牢である。 • 7) AIシステムが害をなした場合、原因を確認できるようにする。 • 8) 自動システムが司法判断に関わる場合、権限を持つ人間が監査し、納得のいく説明を提供できるようにする。 • 9) AIシステムの開発者は、システムの使用、悪用、結果に倫理的な関わりがあり、どう使用されるかを形作る責任と機会がある。 • 10) 自動的なAIシステムは、目標と行動が倫理的に人間の価値観と一致するようデザインする。 • 11) AIシステムは、人間の尊厳、権利、自由そして文化的多様性と矛盾しないようデザイン、運営しなければならない。 • 12) AIには人間のデータを分析し、利用する力があるため、データを提供する人間は自分のデータを閲覧、管理、コントロールする権利が与えられる。 163

164. 23 Asilomar AI Principles （アシロマAI 23原則） • 倫理と価値基準 • 12) AIには人間のデータを分析し、利用する力があるため、データを提供する人間は自分のデータを閲覧、管理、コントロールする権利が与えられる。 • 13) AIによる個人情報の利用は、人間が持つ、あるいは持つと思われている自由を理不尽に侵害してはならない。 • 14) AI技術は可能な限り多くの人間にとって有益で力をあたえるべきだ。 • 15) AIによる経済的な利益は広く共有され、人類全てにとって有益であるべきだ。 • 16) 人間によって生まれた目標に関して、AIシステムにどのように決定を委ねるのか、そもそも委ねるのかどうかを人間が判断すべきだ。 • 17) 高度なAIシステムによって授かる力は、社会の健全に不可欠な社会課程や都市過程を阻害するのではなく、尊重、改善させるものであるべきだ。 • 18) 危険な自動兵器の軍拡競争が起きてはならない。 164

165. 23 Asilomar AI Principles （アシロマAI 23原則） • 長期的な問題 • 19) 一致する意見がない以上、未来のAIの可能性に上限があると決めてかかるべきではない。 • 20) 発達したAIは地球生命の歴史に重大な変化を及ぼすかもしれないため、相応の配慮と資源を用意して計画、管理しなければならない。 • 21) AIシステムによるリスク、特に壊滅的なものや存亡の危機に関わるものは、相応の計画と緩和対策の対象にならなければならない。 • 22) あまりに急速な進歩や増殖を行なうような自己改善、または自己複製するようにデザインされたAIは、厳格な安全、管理対策の対象にならなければならない。 • 23) 超知能は、広く認知されている倫理的な理想や、人類全ての利益のためにのみ開発されるべきである。 165

166. 人工知能学会倫理指針 1. （人類への貢献）人工知能学会会員は、人類の平和、安全、福祉、公共の利益に貢献し、基本的人権と尊厳を守り、文化の多様性を尊重する。人工知能学会会員は人工知能を設計、開発、運用する際には専門家として人類の安全への脅威を排除するように努める。 2. （法規制の遵守）人工知能学会会員は専門家として、研究開発に関わる法規制、知的財産、他者との契約や合意を尊重しなければならない。人工知能学会会員は他者の情報や財産の侵害や損失といった危害を加えてはならず、直接的のみならず間接的にも他者に危害を加えるような意図をもって人工知能を利用しない。 3. （他者のプライバシーの尊重）人工知能学会会員は、人工知能の利用および開発において、他者のプライバシーを尊重し、関連する法規に則って個人情報の適正な取扱いを行う義務を負う。 166

167. 人工知能学会倫理指針 4. （公正性）人工知能学会会員は、人工知能の開発と利用において常に公正さを持ち、人工知能が人間社会において不公平や格差をもたらす可能性があることを認識し、開発にあたって差別を行わないよう留意する。人工知能学会会員は人類が公平、平等に人工知能を利用できるように努める。 5. （安全性）人工知能学会会員は専門家として、人工知能の安全性及びその制御における責任を認識し、人工知能の開発と利用において常に安全性と制御可能性、必要とされる機密性について留意し、同時に人工知能を利用する者に対し適切な情報提供と注意喚起を行うように努める。 6. （誠実な振る舞い）人工知能学会会員は、人工知能が社会へ与える影響が大きいことを認識し、社会に対して誠実に信頼されるように振る舞う。人工知能学会会員は専門家として虚偽や不明瞭な主張を行わず、研究開発を行った人工知能の技術的限界や問題点について科学的に真摯に説明を行う。 167

168. 人工知能学会倫理指針 7. （社会に対する責任）人工知能学会会員は、研究開発を行った人工知能がもたらす結果について検証し、潜在的な危険性については社会に対して警鐘を鳴らさなければならない。人工知能学会会員は意図に反して研究開発が他者に危害を加える用途に利用される可能性があることを認識し、悪用されることを防止する措置を講じるように努める。また、同時に人工知能が悪用されることを発見した者や告発した者が不利益を被るようなことがないように努める。 8. （社会との対話と自己研鑽）人工知能学会会員は、人工知能に関する社会的な理解が深まるよう努める。人工知能学会会員は、社会には様々な声があることを理解し、社会から真摯に学び、理解を深め、社会との不断の対話を通じて専門家として人間社会の平和と幸福に貢献することとする。人工知能学会会員は高度な専門家として絶え間ない自己研鑽に努め自己の能力の向上を行うと同時にそれを望む者を支援することとする。 9. （人工知能への倫理遵守の要請）人工知能が社会の構成員またはそれに準じるものとなるためには、上に定めた人工知能学会員と同等に倫理指針を遵守できなければならない。 168

169. 付録：人工知能の個人への影響 169

170. 人工知能の個人への影響 • 人工知能ロボットと人間の社会的関係という論点が必要 • 人工知能ロボットに任せすぎると人間がどんどん堕落しそうです – スマホナビなしでは空間移動できない人々増産中 – コンピュータからの指示を待つしかできない若者急増中 170

171. 人工知能の個人への影響 – 自動運転者が普及すると運転できない人間がどんどん増えるでしょう • 自動車損保会社が大打撃 • 自動運転は事故率が人間より格段に低い • 運転者の激減 • 保険会社にとってはトロッコ問題より重大 – 弁護士は担当事件に類似事件に判例を検索する人工知能に依存 • 現状では、類似性は判例や調書に出現する単語集合の類似性で計算。 • 背後にある事情や常識も人工知能は収集解析できれば、ほとんど実質的な仕事なし • 同じようなことは会計士、税理士、そして開発、企画、研究部門にも及ぶ可能性大。 171

172. 人工知能の個人への影響フィルターバブル • Facebookが利用者のプロファイルや友だちの情報を利用する人工知能システムを利用しています • このような利用者情報から利用者が好む情報や友だちだけを優先的に推薦してくれます • 結果として、考え方の違う人の記事などはアクセスしにくくなるのです。 • 利用者はシステム側が作った泡（バブル）の中にいて、そこに入ってくる情報が利用者が好むとシステム側（人工知能）が判断したものだけフィルターを通過 •  フィルターバブル 172

173. フィルターバブル • フィルターバブルは、本来、膨大かつ多様な情報にアクセスを可能とするはずのインターネット本来の姿に逆行しています – 利用者は多様な情報を得られないため、考え方の多様性を失うという情報的退化を起こします – もちろん、自分好みの情報だけ提示してくれたほうが嬉しいし、知的退化を好む利用者も多いです – IT業者にとっては、利用者の好みの情報だけ提示するほうが広告戦略としては効果的です 173

174. フィルターバブル – しかし、このような情報操作は知る権利に反する – 下手をすれば一部の人々による情報支配になりかねません。 – 人工知能がやっていることだから我々は知らない、というIT事業者の言い逃れはよく耳にするが、 – 果たしてそれで社会の健全性は大丈夫でしょうか？ フィルターバブルを突破して、我々には必ずしも心地よく聞こえない情報を検索するＷｅｂツールが必要なのではないでしょうか？ 人工知能の技術を使えば、かなり高い能力を持つシステムが現状でも開発可能であろうと思われます。 174

175. 追加：忘れられる権利 • ＥＵ司法裁判所の判決でGoogleに対して「忘れられる権利」に基づいて削除命令が出されました • ＥＵ市民からは100万件単位の削除要求が寄せられました。 – 忘れられる権利 vs 知る権利の比較衡量が必要な問題 • 全部人間の専門家が対応するのは不可能 175

176. 忘れられる権利 • 全部人間の専門家が対応するのは不可能 – 人工知能技術に基づきあらかたの判断をし、真に難しいケースだけ人間の専門家が処理 – 機械学習は、消去／非消去の例を使って、分類システムを構築。 – 難しいのは、人間の専門家に処理依頼するかどうかの境界の決め方 – この境界を決める部分まで人工知能でできると、人工知能のブラックボックス化が相当に進行したと言えます。 – 消去／非消去の判断根拠を人間に分かる言葉で説明する技術が当面は重要です。  人工知能が人間の代りをする場合は、人間に理解できる説明ができる能力を与えておくことが必須でありましょう。 176

177. 付録：説明責任 177

178. 総務省AIガイドライン • ②透明性の原則- • 開発者は、 AIシステムの入出力の検証可能性及び判断結果の説明可能性に留意する。 178

179. 総務省AIガイドライン • ⑨アカウンタビリティの原則 • 利用者等に対しＡＩシステムの技術的特性について情報提供や説明を行う • ステークホルダとの対話を通じた意見聴取や、ステークホルダの積極的な関与を得る • AIシステムによりサービスを提供するプロバイダなどとの情報共有・協力に努める 179

180. FLI アシロマ23原則 • 7) 障害の透明性：人工知能システムが何らかの被害を生じさせた場合に、その理由を確認できるべき。 • 8) 司法の透明性：司法の場においては、意思決定における自律システムのいかなる関与についても、権限を持つ人間によって監査を可能としうる十分な説明を提供すべき。 – 参考：EU – GDPR22条 – 自動処理によるプロファイリングの結果に従わなくてよい権利 • 9) 責任：高度な人工知能システムの設計者および構築者は、その利用、悪用、結果がもたらす道徳的影響に責任を負いかつ、そうした影響の形成に関わるステークホルダー。 180

181. IEEE EAD • 一般原則 • 透明性：人工知能の透明性を確保する方法  システムの透明性を測定し、試験し、適合性を客観的に評価できる標準の開発すべき。 –  これが一般論としての説明責任の根拠 • 教育と注意喚起：人工知能の便益を最大化し、誤用のリスクを最小化する方法  誤用について人々に注意喚起する。  そのため人々に倫理や安全の教育をSNS等新しい方法で行い、また法の執行機関を教育し市民と協力可能にする  まだまだ抽象的ではある。 181

182. 付録：個人管理型のデータ流通 182

183. 全く別の視点からのビジネスモデル • プライバシー保護技術は、顧客から収集した個人データを囲い込むGAFA型ビジネスモデルが念頭 • 個人データを個人で管理して、IT企業に契約のうえで使わせてやる、というモデルもあるのではないか？ 183

184. 個人データ管理はデータ主体の個人へ Google, Facebook, Apple, Amazon 雇用開発者向け API 交通購買 Web 電力会社医療政府研究銀行雇用開発者向けAPI 交通購買 Web 電力会社医療政府研究銀行データ主体個人データを自社に囲い込んで儲ける自分の個人データを契約によって他社に使わせる 184

185. 背景：IT企業と個人データ • 米国のIT企業GAFA: Google Amazon Facebook Apple がパーソナルデータをどんどん収集して囲い込み、利益を上げている現状 • 収奪されるEU、収奪されるデータ主体の個人 • GDPRで反撃しているが、それだけではEUの産業は育たない • EUの個人データのプライバシー（＝人権）の危機。だが、産業は興さないと低落するのみ  個人データはデータ発生源であるデータ主体の個人が管理  その枠組みの標榜と、ビジネス育成がテーマ  2016年8月30日から9月1日 Helsinkiにて MyData2016の会議開催 (今年も同時期に開催) 185

186. プロファイリングの問題 • IT事業者が収集したデータ主体の個人データを用いたデータ主体のプロファイリング – プロファイルを用いたターゲット広告：強力なビジネスモデル • えてして不正確な個人のプロファイル – 自分のことを自分よりよく知っている！？ – とんでもない被害 – cf : 英国では約９０％に人がIT業者の個人データプライバシー保護を心配している。 186

187. 残された課題：プロファイリングの問題  (GDPR 第22条)  プロファイルされた情報に基づくデータ主体への計算機処理による判断に服さなくてよい権利 AIによるプロファイリングに対する拒否権 – プロファイル情報の開示要求 – 間違ったプロファイル情報の問題 – プロファイル拒否追跡拒否権 (Do Not Track :DNT) • 法律を決めても業者への効力がほとんどない – 個人が同意して提出した個人データのほうが推定処理をしたプロファイル情報より正確でup to date 187

188. 主要な技術的ポイント  パーソナルクラウド  インターネットにおける Identity 認証  個人データのポータビリティ  Block Chain による個人の Identity 認証  プライバシー保護(暗号化,複数当事者による計算： MPC , etc.)  公平性、透明性の確保手段 188

189. パーソナル・データ・ストレージパーソナル・データ・ストレージ（PDS) • パーソナル・データ・ストア／ボールト • あるいは • パーソナル・データ・クラウド個人データ個人データ個人データ個人データ ITを使ったサービス仲介IT業者（AIを活用） • 自動アップロード • 個人キーで暗号化 • 個人ID認証 • API-of-Me • 利用ログ • 流通経路トレース • 統一データ形式 • ポータビリティ 189

190. まとめ • 個人データ囲い込み型ビジネス • 個人データを個人識別が困難なデータに変換して流通させる技術と法制度（改正個人情報保護法における匿名加工情報） • 個人データは個人が管理し、契約によって企業に使わせるビジネスモデル（MyData) – AIを含むいろいろな技術開発が必要 190

人工知能と社会

Hiroshi Nakagawa

人工知能と社会