人工知能学会全国大会（2019年6月4日：朱鷺メッセ）で行われた倫理委員会の企画セッション「AI研究に自由はあるのか？」で発表した資料です。内容は、最近、世界で数多く公開されている人工知能倫理指針のうちから重要なものを選んで、人工知能倫理が何を目指しているのかを分析した結果です。

1. 企画セッション：AI研究に自由はあるのか？
ー 最近のAI倫理指針から考察ー
中川裕志
(理化学研究所 革新知能統合研究センター）
スライド中の図はpower point の機能でダウンロードした
creative commons のライセンスです。
2019/6/4
人工知能学会全国大会
1

2. 国内外の組織が提案している
人工知能の倫理（古い順）
FLI Asiloma 23原則(2017)
IEEE Ethically Aligned Design, version 2(2017/12)
– AIおよび開発者が持つべき倫理
総務省 AIネットワーク社会推進委員会(2018)
• AI開発ガイドライン OECDに提案
ICDPPC（40th International Conference of Data
Protection and Privacy Commission 2018)
2

3. 国内外の組織が提案している
人工知能の倫理
 内閣府 人間中心のＡＩ社会原則(2019/3/29)
• AI ready な社会の在り方 G20に提案
 IEEE Ethically Aligned Design, first edition (2019/3)
• 倫理的なAIの設計指針
 EU: High Level Expert Group: Ethics Guidelines for
Trustworthy AI (2019/4/8)
• 倫理的なAIの設計指針
 Recommendation of the Council on OECD Legal
Instruments Artificial Intelligence
OECD 閣僚理事会承認 (2019/5/22) 3

4. 4
FLI
Asilom
a 23
人工知
能学会
倫理委
員会
ICDP
PC
IEEE
EAD
v1,2
IEEE
EAD
e1
人間
中心AI
EC Trust
worthy
AI
OECD AI
Recomm.
人権 〇 〇 〇 〇 〇
公平性、差別 〇 〇 〇 〇 〇 〇 〇 〇
法令遵守 〇 〇 △ 〇
透明性 〇 〇 〇 〇 〇
アカウンタビリ
ティ
〇 〇 〇 〇 〇 〇
トラスト 〇 〇 〇
自律的AI・自
由意志
〇 〇 〇
old new
ICDPPC: International Conference of Data
Protection Commissioners
universal
Recent trend
Hot topic

5. 5
FLI
Asiloma
23
人工知
能学会
倫理委
員会
ICDP
PC
IEEE
EAD
v1,2
IEEE
EAD
e1
人間
中心AI
EC
Trust
worthy
AI
OECD AI
Recomm.
悪用・誤用 〇 〇
プライバシー 〇 〇 〇 〇 〇 〇 〇 〇
AIエージェント 〇 〇 〇 〇
安全性 〇 〇 〇 〇 〇 〇
SDGｓ 〇
教育 〇 〇 〇
独占禁止、協調 〇 〇
軍事利用 〇 〇
幸福 〇 〇 〇 〇 〇 〇

6. 以下のスライドは項目ごとの各論です。
6

7. 7
FLI
Asilom
a 23
人工知
能学会
倫理委
員会
ICDP
PC
IEEE
EAD
v1,2
IEEE
EAD
e1
人間
中心AI
EC Trust
worthy
AI
OECD AI
Recomm.
人権 〇 〇 〇 〇 〇
公平性、差別 〇 〇 〇 〇 〇 〇 〇 〇
法令遵守 〇 〇 △ 〇
透明性 〇 〇 〇 〇 〇
アカウンタビリ
ティ
〇 〇 〇 〇 〇 〇
トラスト 〇 〇 〇
自律的AI・自
由意志
〇 〇 〇
old new
ICDPPC: International Conference of Data
Protection Commissioners
universal
Recent trend
Hot topic

8. AI倫理の実装
透明性 説明可能性
理解可能性
アカウンタビリティ
トラスト
8

9. 透明性とアカウンタビリティ
急速にすすんでいるAIのブラックボックス化
への対応策が必要
– IEEE EADversion2 法律編によれば
• 事故時の責任の所在を法制度として明確化
しておく必要がある
• 具体的には
透明性 と アカウンタビリティ（説明責任）
9

10. 透明性
– ＡＩにおける学習で使われた入力教師データ と
ＡＩ応用システムに投入された入力データを開示
できる
– ＡＩ応用システムの出力結果
– ＡＩ応用システムにおける大雑把なデータの流れ
– ＡＩ応用システムを開発主体、出資者、
10

11. Accountability:説明責任 誤訳？
• accountabilityを日本では説明責任と訳しているが、ど
うもこれが誤解の元らしい。
• 「説明をする責任」ではなくて
• 「責任をだれがとるかを説明する」と言ったほうがむし
ろ正しいようだ。
•
そして、transparency は accountabilityを支援する手段
•  ＡＩのどの部分をtransparencyの対象にするかも自
ずと見えてくる。
11

12. 説明責任
• 正しい考え方
入力データから結果出力の妥当性、公平性、
正統性を ＡＩ応用システムの利用者が納得
できる形で説明すること
• 単なる透明性に基づく開示では不十分
• 一般利用者には納得できない専門的な説明×
– もちろんAIの動作を理解できれば理想的だが、一般利用者、
多くの場合は専門家にも、なかなか困難
責任者を明確に指摘できること
被害者に対する補償が確保されること
12

13. 説明からトラストへ：利得と損害
一般人に理解可能なAIの動作説明は無理
信じてもらうしかない！  トラスト
多数に上る過去の類似例の入力データと結果
出力を示して、当該結果の妥当性、公平性、正
統性を納得してもらう方法
ＡＩ応用システムの利用履歴を開示して信用を得
る
13

14. 注意
• 技術的にみたトラスト
＝ 故障せずに安定して動くこと
• AI倫理の文脈でのトラストはむしろ「社会科学
的な信用」という概念に近い
14

15. トラストはどうやって確保するか？
• 過去の学問的成果の集積を信用してもらう
– 数学、物理学、医学、…
• 専門家をトラストしてもらうライセンス制度
– 専門家のスキルのトラスト：医師国家試験、司法試験など
– ライセンスする側（国など）へのトラスト
• それでも事故は起きる
– 補償制度の確立：保険など
• これら全部を統合したシステム体系がトラストの基本
15

16. トラストの補足
• 利用者がサービス提供側をトラストするという
局面ばかり考えてきたが
• サービス提供側が利用者をトラストするという
問題もある
– 利用者認証（多くはネットワーク越し）
– Bad userではないことを推定
– Self Sovereign Identity  対応するサービスに
必要なことだけ identify できればよい
16

17. 個人は信頼できるID認証にアクセス
できること
• 認証されたIDで金融、政府、通信などのサー
ビスを受けることを保証するAI
• 認証はインターネットにおける個人の存在の
証拠
– 対面認証でないので、技術的な問題が多い。
– 特に生体認証の危険性
17

18. 残された問題
• トラストするのは
– 組織か （利用者からみたら）
• 情報銀行、ITサービス企業
– 人か （サービス業者からみたら）
• 利用者の個人をトラストできるか
• Self Sovereign Identity
– データか
• 流通する個人データか、サービスの結果か？
18

19. IEEE Ethically Aligned Design version 2
1. Executive Summary
2. General Principles
3. Embedding Values Into Autonomous
Intelligent Systems
4. Methodologies to Guide Ethical Research
and Design
5. Safety and Beneficence of Artificial General
Intelligence (AGI) and Artificial
Superintelligence (ASI)
6. Personal Data and Individual Access
Control
7. Reframing Autonomous Weapons Systems
8. Economics/Humanitarian Issues
9. Law
10. Affective Computing
11. Classical Ethics in Artificial Intelligence
12. Policy
13. Mixed Reality
14. Well-being 19
The final version was published

20. IEEE EAD （Final） on April 2019
• 1. Human Rights
– A/IS shall be created and operated to respect, promote,
and protect internationally recognized human rights.
• 2. Well-being
– A/IS creators shall adopt increased human well-being
as a primary success criterion for development.
• 3. Data Agency
– A/IS creators shall empower individuals with the
ability to access and securely share their data, to
maintain people’s capacity to have control over their
identity.
• 4. Effectiveness
– A/IS creators and operators shall provide evidence of
the effectiveness and fitness for purpose of A/IS.
20

21. 21
FLI
Asiloma
23
人工知
能学会
倫理委
員会
ICDP
PC
IEEE
EAD
v1,2
IEEE
EAD
e1
人間
中心AI
EC
Trust
worthy
AI
OECD AI
Recomm.
悪用・誤用
プライバシー
AIエージェント 〇 〇 〇 〇
安全性 〇 〇 〇 〇 〇 〇
SDGｓ 〇
教育 〇 〇 〇
独占禁止、協調 〇 〇
軍事利用 〇 〇
幸福 〇 〇 〇 〇 〇 〇

22. パーソナルAIエージェント *
- 誕生から死まで -
22
• AI personal agent
このAIエージェントト
ラストできますか？
* IEEE EAD ： Personal Data Agent
複雑すぎる情報の
世界

23. パーソナルAIエージェント *
- 誕生から死まで -
23
• Several AI personal agents
これまでの行動履歴が一番信用できるAI
エージェントをトラストしたらどうでしょう?
複雑すぎる情報の
世界

24. IEEE EAD version2： 個人情報とアクセス制御
（Personal Data and Individual Access Control）
24
• Digital Persona:妊娠から墓場までカバーする AI personal agent
この写真 の作成者 不明な作
成者 は CC BY-NC-ND のライ
センスを許諾されています
人工知能
Ａｇｅｎｔ
この写真 の作成者 不明な作成者 は CC BY-SA の
ライセンスを許諾されています
トラストできます
か？

25. 妊娠から墓場までカバーする
AI personal agent が扱うMyData
• 出産以前、以後のヘルスケアレコード
• 誕生における市民権（ディジタル市民権） 政府データ
• 就学
• 移動
• 国境を超える場合 (immigration data)
• 消費行動
• IoT and wearables (telecommunications data)
• SNS、ディジタルメディア
• 職業訓練
• 社会参加
• 契約、事故対応、保険、金融
• 死亡（ディジタル遺産の処理）
25

26. 26
Biological
Birth
Biologocal
Death
Digital
Birth
Digital Death
dementia etc.
Digital heritage,
SNS etc.

27. 27
FLI
Asiloma
23
人工知
能学会
倫理委
員会
ICDP
PC
IEEE
EAD
v1,2
IEEE
EAD
e1
人間
中心AI
EC
Trust
worthy
AI
OECD AI
Recomm.
悪用・誤用 〇 〇
プライバシー 〇 〇 〇 〇 〇 〇 〇 〇
AIエージェント 〇 〇 〇 〇
安全性 〇 〇 〇 〇 〇 〇
SDGｓ 〇
教育 〇 〇 〇
独占禁止、協調 〇 〇
軍事利用 〇 〇
幸福 〇 〇 〇 〇 〇 〇

28. IEEE EAD （Final） on April 2019
• 5. Transparency
– The basis of a particular A/IS decision should always be
discoverable.
• 6. Accountability
– A/IS shall be created and operated to provide an
unambiguous rationale for all decisions made.
• 7. Awareness of Misuse
– A/IS creators shall guard against all potential misuses
and risks of A/IS in operation.
• 8. Competence
– A/IS creators shall specify and operators shall adhere to
the knowledge and skill required for safe and effective
operation. 28

29. ツールAIの悪用
不法行為の責任は操作した人間
AIAIの判断に従わな
い権利を持つ社会が
必要
 実際はどう実装？
AIがお前
にやれと
判断した
んだよ。
こんな無理な
仕事、なんで
私がしなきゃい
けないの？
29
ツールAIをあたかも自律型AIのように見立てた詐欺行為といえる。
実際起こりそうだが、法的責任者は明確

30. • こうして、悪用された人工知能に一般人が文句
を言うことができなくなってくると、実質的に言論
の自由も人権もない状況になりかねません
人工知能に対して文句を言える社会制度を考え
る必要があります。
GDPR 22条： 計算機（人工知能）のプロファイリング
から出てきた決定に服さなくてよい権利
具体的には以下のようにします。
プロファイリングに使った入力データの開示
出力された決定に対する説明責任を人間が果たす。
ただし、この権利の社会実装、技術による実現はかなり困
難
守秘義務や企業秘密の壁もあります。
30

31. GDPR22条
• 計算機（人工知能）のプロファイリングから出てきた決
定に服さなくてよい権利
 他人事ではありません！
• 業界の有名な方が突如としてT社からアカウントを凍
結され、使えなくなりました。
• それまでの発言の記録が問題にされた模様
• ディジタルには死亡宣告と等価
• T社説明を求めるメールをだしましたが、1日後に不穏
当発言チェッカーの誤動作という連絡があり解除
31

32. IEEE EAD version2 の法律編の示唆する
「悪用対策」
– このような悪用を看破し、見逃さぬように
 AIがその結論に至った推論、入力データを明確化でき
る仕掛けを予め組み込む (＝GDPR22条の実現方法）
 AIのおかしな動きに対する内部告発の制度的保証
 AIが悪さをした場合の救済策を立法化しておくこと
 保険などの経済的救済策も重視
32

33. 人間中心AIの社会原則
Social Principles of
Human-Centric AI
2109/3/29
Council for Social Principles of Human-
centric AI
内閣府, Japan

34. 34

35. • Dignity、
• Diversity & Inclusion、
• Sustainability
• Society 5.0  「AI-Readyな社会」
– 「人」、「社会システム」、「産業構造」、
– 「イノベーションシステム(イノベーションを支援す
る環境)」、
– 「ガバナンス」
35

36. AI社会原則
1. 人間中心の原則、
2. 教育・リテラシーの原則、
3. プライバシー確保の原則
4. セキュリティ確保の原則、
5. 公正競争確保の原則
6. 公平性、説明責任及び透明性の原則、
7. イノベーションの原則
36

37. EC High Level Expert Group
Ethical Guideline for Trustworthy AI
• 2019/4/8
37

38. Trust(信頼)
• （1）能力、誠実さ、および予測可能性を扱う一連
の特定の信念
• （2）危険な状況下で、ある当事者が他の当事者
に依存する意思
（証明したわけではないが…）
• 「信頼」はAIシステムのライフサイクルに関与す
るすべての人々とプロセスに帰することができま
す。
38

39. Trust
• We take the following definition from the literature: “Trust
is viewed as:
• (1) a set of specific beliefs dealing with benevolence,
competence, integrity, and predictability (trusting beliefs);
• (2) the willingness of one party to depend on another in a
risky situation (trusting intention); or
• While “Trust” is usually not a property ascribed to
machines, this document aims to stress the importance of
being able to trust not only in the fact that AI systems are
legally compliant, ethically adherent and robust, but also
that such trust can be ascribed to all people and processes
involved in the AI system’s life cycle.
39

40. Trustworthy AI
• (1) lawful, ensuring compliance
– with all applicable laws and regulations
• (2) ethical
– demonstrating respect for, and ensure adherence to, ethical
principles and values
• (3) robust
– both from a technical and social perspective,
• since, even with good intentions, AI systems can cause
unintentional harm. Trustworthy AI concerns not only the
trustworthiness of the AI system itself but also comprises the
trustworthiness of all processes and actors that are part of
the system’s life cycle.
40

41. Trustworthy AI
• Lawful, Ethical, Robust
• 具体的要件
1. Human agency and oversight
2. Technical robustness and safety
3. Privacy and data governance
4. Transparency
5. Diversity non-discrimination and fairness
6. Societal and environmental well-being
7. accountability
41

42. Recommendation of the Council on OECD
Legal Instruments Artificial Intelligence
• 2019年5月22日のOECD 閣
僚理事会lで採択
• 強制力はないが、各国での
立法の指針になる可能性大
– 例： OECD Guidelines on the
Protection of Privacy and
Transborder Flows of
Personal Data （1980）
は各国のプライバシー保護
法の基礎になった
42

43. OECD, Recommendation of the Council on A I,
OECD/LEGAL/0449, 2019/5/23
• 技術的目標：
• inclusive growth, sustainable development and well-being
• human-centred values and fairness
• transparency and explainability
• robustness, security and safety
• accountability
•
• 政策的目標：
• investing in AI research and development
• fostering a digital ecosystem for AI
• shaping an enabling policy environment for AI
• building human capacity and preparing for labour market
transformation
• international co-operation for trustworthy AI 43

44. ご清聴ありがとうございました
44