発表資料「AIネットワーク環境化における社会的次元の倫理的責任の検討」(2019年度 人工知能学会全国大会 (第33回))の発表資料

1. AIネットワーク環境化における
社会的次元の倫理的責任の検討
河島茂生(青山学院女子短期大学，理化学研究所，青山学院大学)

2. 2
内容
▶研究背景
▶研究目的
▶オートポイエティック・システムおよびそれに関連した
倫理・責任
▶電子人間に対する批判的検討
▶AIネットワーク化における集合的責任
▶まとめ
▶注・参考文献

3. 3
研究背景
▶電子人間(electronic persons)の提案
EU議会では，高いレベルのロボットに電子人間という法的地位を与えることが提
案され話題になった。
具体的には，「Report with Recommendations to the Commission on Civil Law
Rules on Robotics」(Delvaux, 2017)の59のf)で提案されている次の文言が該当する。
長い目でみたときにロボットに特化した法的地位を策定することはありうる。その場合，少なく
とも最も洗練された自律型ロボットは電子人間の地位を得て，そのロボットが成した功績や損害
の責任を引き受ける。おそらく自律的決定を行ったり，みずからの判断で第三者と相互作用した
りするようなケースでは電子人格が適用される。
反対を唱える公開書簡が作られ，反対署名へ
▶AIネットワーク化による倫理的責任の所在不明
AI間のネットワーク化(複数のAIがネットワーク化し連携しながら動くこと)が進
むことで倫理的責任の帰属先が不透明になってしまいかねないことも危惧される。

4. 4
研究目的(1)
本報告の目的は，ネオ・サイバネティクスの理論に依拠しながら電子
人間の検討ならびにAIネットワーク下における集合的責任(collective
responsibility)ともいうべき考え方を考察することである。
この両主題は互いに関連しており，本報告は，後述するように電子人
間の導入を批判し，集合的責任の導入の意義を述べていく。
【関連研究および研究の目的】
▶Perrow(1984)は，定常事故(normal accident)という語を生み出し，複雑なテクノ
ロジーが緊密に結びつけられているため，それぞれ単独では起こりえない動きが生
じ予期せぬ大事故につながることを指摘した。このPerrowの指摘は，AIネットワ
ーク環境下においても成り立つ。けれどもPerrowの研究は，複雑かつ大規模な科
学技術の倫理的責任にまで及んでいない。

5. 5
研究目的(2)
【関連研究および研究の目的】
▶Schomberg(2009)は，不確実性が増す技術が社会に組み込まれる状況を作り出し
ているのは，個人の意図というよりも集合的行為であるため集合的責任を考えなけ
ればならないとした。とはいえ，Schombergの論文はAIもしくはAIネットワークに
ついては射程外である。
▶赤坂(2018)は，不法行為法との関連からAIに法的人格を与えた場合の損害補填機
能や抑止機能，制裁機能を検討しており，一定の妥当性は見出せるものの，制裁機
能やAI自体の故意・過失の認定に疑問があるとしている。必ずしもAIに法的人格
を付与する必要性はなく，本報告でも集合的責任の一形態として上げる無過失補償
制度について支持している。とはいえ赤坂の研究は，あくまで法学的観点から論じ
たものであり，本報告とは理路が異なる。本報告は，AI・ロボットが根源的な自律
性を備えていないことを述べ，AIロボットに責任を帰属することはAI・ロボット
への責任転嫁につながることを指摘し，集合的責任を支持する。
このほか，大屋(2017)や拙研究(2016, 2018, 2019)が先行研究として挙げられるが，
これらの研究と本報告はいずれも区別される。

6. 6
オートポイエティック・システムおよびそれに関
連した倫理・責任(1)
▶オートポイエーシス理論
▶セカンド・オーダー・サイバネティクス(ネオ・サイバネティクス)の枢要な一
角を占める。
▶ウンベルト・マトゥラーナとフランシスコ・ヴァレラによるオートポイエーシ
ス論は，生物もマシンと捉えるが，それは機械とは別種のマシンであり，自分で
自分を作っていく性質が生物の特徴であることを理論化した(Maturana & Varela,
1980=1991)。
図 オートポイエティック・システム
作動のネットワーク
構成素
観察者
例: 細胞，免疫システム，心，社会
オートポイエティック・システムは，自
分で自分(auto)を制作(poiesis)しながら
円環的に内閉したシステムである。
マトゥラーナとヴァレラが主に細胞や神
経系、生物個体の認知機能に関する研究
をもとにして学術的に定立した。オート
ポイエティック・システムは，生物の十
分かつ必要な条件を兼ね備えている。

7. 7
オートポイエティック・システムおよびそれに関
連した倫理・責任(2)
▶アロポイエティック・システム
アロポイエティック・システムは、オートポイエティック・システムの反対概念
であり、「自動車のように、その機能が自分自身とは異なったものを産出する機
械」(Maturana & Varela, 1980:135= 1991:242)であって、入出力関係に従属して
動作するシステムである。すなわち、アロポイエティック・マシンは、開放シス
テムであり、ある入力(input)をすれば、常に一定の出力(output)をするように調
整されているシステムである。
図 アロポイエティック・システム
入力 出力
観察者
例: エアコン，自動車，AI，ロボット
オートポイエーシス理論を踏まえる
と，AIやロボットはまだ生物の条件
を兼ね備えていない。というのも，
人間がデータを大量に収集したり機
械学習のソフトウェアを作り精度を
確認して調整したり，あるいは多額
の資金を投じて最先端のハードウェ
アを用意しているからである(河島,
2016)。

8. 8
オートポイエティック・システムおよびそれに関
連した倫理・責任(3)
▶倫理・責任のありか
AIは自動化の範囲が広がっているにせよあくまで人間が作った機械であり，根源
的かつ内発的な自律性を備えておらず，AI自体に倫理的責任を負わせることは困
難である。
[近代社会]
人間は自由意志(free will)をもち自己決定するがゆえに，その選択から生じた結
果を引き受けることを原理とする。人間の心理は，オートポイエティック・シス
テムの一種であり，心的システムと呼ばれる。心的システムの思考のうち，自由
意志なるものが特権的に位置づけられ，責任もそれに関連づけられることとなっ
た。
オートポイエティック・システムへ帰責
作動のネットワーク
構成素
観察者
心的システム
責任

9. 9
オートポイエティック・システムおよびそれに関
連した倫理・責任(4)
▶倫理・責任のありか
ネオ・サイバネティクスによれば社会は，社会システムと呼ばれ，オートポイエ
ティック・システム，つまり「生物的」に把握される。特定の組織に責任が帰属
されることも多い。
とはいえ特定の人や組織に帰責できる場面ばかりではない。
・株式市場全体の株価変動
・新聞全体の発行部数の下落
・国家全体の出生率の低下
・・・・・・・・・・・・・
作動のネットワーク
構成素
観察者
社会システム(例: 法人)
責任

10. 10
電子人間に対する批判的検討(1)
▶電子人間の提言
EU議会での電子人間としてロボットを扱う提言は，ロボットの法的責任を考え
るために編み出された案である。
同様の指摘は他にもあり(Chopra & White, 2011)。
▶批判
[反対署名の理由](Robotics-openletter.eu, 2018)
・技術的な面
最先端のロボットでさえ実装されていない機能を過大評価し，予見不能性や
自己学習能力についても表層的な理解にとどまっている。また，SFやいくつ
かのセンセーショナルな報道発表によって歪められたロボット観に基づいて
いる。
・法的な面
自然人のモデルからも法人のモデルからも，導きだすことができない。
・強制加入の保険制度を確立して補償基金を設立すること
・EUで登録簿を用意し，個々のロボットと基金との対応関
係を可視化しておくこと

11. 11
電子人間に対する批判的検討(2)
▶批判
・ロボット単体に責任を帰属することにはプラグマティックな観点からも疑問で
ある(大屋, 2017)。というのも，多くのロボットは通信ネットワークにつなが
っておりデータ収集・送信，ソフトウェア更新などを絶えず行っているからで
ある。
・オートポイエーシスの有無で考えると，第3次ブームのAIもアロポイエティッ
ク・システムであり，いまだ生物(人間を含む)と機械は異質である(河島，
2016)。AIは，ネオ・サイバネティクスの意味では根本的な自律性を備えてい
ない。そうしたものに倫理的責任を負わせることは難しい。
・ロボットに法的人格を付与することは，根源的な自律性のないものに責任を帰
属させることであり，開発・利用した人や組織は免責となる。たとえ，製造者
の瑕疵が明確なケースであっても，その責任を問えない事態に陥る。
・AIやロボットが起こした事故に対する補償基金は，電子人間とは別個の論点で
あり，電子人間なるものを確立しなくとも設立できる。というのも，過失が不
分明な場合には集合的責任を導入すれば機能するように想定されるからである。

12. 12
AIネットワーク化における集合的責任(1)
▶特定の人や組織にミスがあることが明確な場合
AIが普及した社会が無責任社会になってはならず，開発者・利用者の故意
の過失もしくは怠慢，責任感の減退を防ぐためには，また技術を改善する
動機の維持のためには，これまで通り明確なるミスについてその倫理的責
任を追及し続けざるをえない。ある人や組織のミスが明らかなケースまで，
集団的責任として補償することは人々が納得しないと考えられる。許し難
い過失や故意があった場合でも，それを追及できないとするならば被害者
は不満を募らし鎮静化には至らない。
▶悪意や過失が同定できない場合もしくは行為者を同定できない場合
集合的責任の定立＝AIネットワークが組み込まれた社会システムそれ自体が
一種の道義的責任を担い，損害を被った人に補償していく制度の構築
が望まれる。これは，言い換えれば社会システムを道徳的行為者と定
位する社会制度であり，社会システムの問題として受け止めるという
ことである。

13. 13
AIネットワーク化における集合的責任(2)
▶集合的責任の定立
[社会的背景]
AIネットワーク社会＝複数のAIがネットワーク化し連携しながら動くコンピ
ュータ・システムが埋め込まれている社会
・個々のエンジニアや運営者に瑕疵が認められない場合でも，他者の人生や生命に強く影響
を与えるような，誤った動きが起きることが想定
・困った状態を引き起こす行為があっても，誰が行った行為なのかを特定できないケースの
現出(デジタル・フォレンジックの限界など)
・協業／分業のリスク
[集合的責任がない場合]
・過失がない場合にも，エンジニアや運営者が責任追及されるとすれば，それはAI開発
および利用の萎縮につながり，社会的な損失となる恐れ
・被害者が救済されない事態の発生

14. 14
AIネットワーク化における集合的責任(3)
▶悪意や過失が同定できない場合もしくは行為者を同定できない場合
[身体への傷害などに対する金銭的補償]
＋
［フェイクニュースなどによる名誉毀損への対応]
集合的責任の制度構築により，開発者・利用者の
負担を過度に増加させなくとも被害者を救済する
途が開かれる。
集合的責任の定立
具体的には，公益財団法人等の運営組織を共同で立ちあげてフェイクニュースが事実誤認であ
ることを示し，合わせてAIのデータの書き換え要請を行う。
「ハッキングにより引き起こされた事故の損害(自動車の保有者が運行供用者責任を負わ
ない場合)に関しては，政府保障事業で対応することが妥当であると考えられる。他方，
例えば，自動車の保有者等が必要なセキュリティ上の対策を講じておらず保守点検義務違
反が認められる場合には上記の通りではないと考えられる」(高度情報通信ネットワーク
社会推進戦略本部・官民データ活用推進戦略会議「自動運転に係る制度大綱」2018: 18)
具体的には，税金や保険，業界の組合，業界からの拠出，利用者の一部負担などの財源による補償
[注1]

15. 15
AIネットワーク化における集合的責任(4)
▶アンケート調査
問 通信ネットワークに接続された複数のAIが誤作動したとします。その結
果，大きな経済的損失が起きたとしましょう。このとき，開発者・運営
者に責任を求めればよいでしょうか。それとも，責任を追求するのをや
め，社会的に損害を補償する制度を整えるべきでしょうか。ただし，そ
の経済的損失は複数のAIが相互作用した結果起きたものであり，それぞ
れのAIに欠陥があったわけではありません。左・右に書かれた意見のど
ちらが良いかを１～5の中から1つに○をつけてお答えください。
(N=623，無回答＝2(0.3％))[注]
左の意見
↓
左が
良い
やや
左が
良い
どちら
とも
いえない
やや
右が
良い
右が
良い
右の意見
↓
開発者・運営者に
責任を求める
75
(12％)
112
(18％)
126
(20.2％)
187
(30％)
121
(19.4％)
社会的に損害を補
償する制度を整え
る

16. 16
AIネットワーク化における集合的責任(5)
▶留意点
▶集合的責任の担い手の想定規模
集合的責任とは，集合知の対といってもよく，特定個人や特定組織を
超えた大きな規模(業界や国家，国際社会など)における責任を指して
いる。
▶集合的責任≠アカウンタビリティ
というのも，予期できない事故が起き，また被害者もしくはステーク
ホルダーが納得する意味を伴った説明ができない場合に機能すること
を想定しているからである。
▶集合的責任≠罪
あくまで集合的責任は，過誤の罪を引き受けることを指しているので
はなく，補償的責任である。

17. 17
まとめ(1)
 過失が個人や特定組織の判断に求められる場合
 個人の悪意や過失が同定できない場合
個人や当該組織に倫理的責任を帰属する
社会に倫理的責任を帰属する
(個人的責任では限界)
本報告は，ネオ・サイバネティクスという学術的礎をもとに，電子人間の提言への懸
念を示し，AIネットワーク環境下の集合的責任ともいうべき考え方を支持してきた。
[電子人間の提言に対する批判]
電子人間に対する提案は，アロポイエティック・システムであり非自律的なものに人
格という位置を与えることであり，それは，実情に合わないのに加えて倫理的問題を
引き起こす。
[個人的・組織的責任と集合的的責任の両立の支持]

18. 18
まとめ(2)
[残された課題]
・具体的な社会制度の検討
相互に関連するファクターを考えていかなければならない。
・集団的責任を認定する仕組みをいかにするか
・補償の金額は定額にするのか，それとも個別に対応していくのか
・補償や運営組織の財源はどのようにするのか。
・どのような領域を適用範囲とするのか。
・あまりにも数が多くなってしまった場合，どのように対処していくのか。
・・・・・・・・

19. 19
謝辞・注(1)
[謝辞]
本報告は，本報告は，中川裕志先生(理化学研究所)からいただいたご示唆を踏まえ行
った。深く感謝申し上げる。また本報告は，科学研究費補助金若手研究(B)「人工知
能・ロボット・サイボーグの倫理的問題に関する理論的かつ実証的研究」(平成29年
度−平成31年度，代表: 河島茂生，研究課題番号: 17K12800) の助成を受けた研究に
基づいたものである。
[注1]
税金の税率を増やして社会保障を強化したり，加入を義務とする保険を設けたりして，
いわゆる無過失補償制度の確立を目指すことも一手段である。すでにフランスでは医
療事故事例において損害賠償制度と併存するかたちで無過失補償制度が導入されてお
り，このほかスウェーデンやニュージーランド，デンマークでも導入されている。日
本でも産科医療補償制度が整備されている。

20. 20
謝辞・注(2)
[注2]
本調査は，中央調査社のマスターサンプルに対する郵送調査(督促はがき1回)である。
中央調査社のマスターサンプル: 電子住宅地図を利用した層化三段無作為抽出法に基
づいて依頼を受けた個人が登録されている。調査会社が保有する調査パネルの中でも
偏りが小さく，代表性が高いという特徴がある。調査対象者は，マスターサンプルの
うち日本全国に居住する者で，20歳以上59歳以下の男女である。調査対象者は性別
と年齢層(10歳刻み)で母集団比例の割付を行った上で，予測回収率を元に重み付けを
行い，地域(10地域)と都市規模(3段階)で層化無作為抽出された1300人で，回答者は
623人であった。発送期間～返送期間は2019年1月～2月である。なお，調査企画は，
河井大介(東京大学大学院情報学環)とともに行った。調査対象者は59歳までであった
が，調査期間中に60歳代になった人が5名いた。
(回答者属性)
性別: 男性311人(49.9%)， 女性312人(50.1%)
年齢: 20歳代132人(21.2%)，30歳代138人(22.2%)，40歳代210人(33.7%)，50歳代
138人(22.2%)，60歳代5人(0.8%)

21. 21
参考文献(1)
 赤坂亮太 (2018) 「不法行為法における AI の法的人格に関する検討」, 2018年度人工知能学会全国大会発
表資料, <https://confit.atlas.jp/guide/event-img/jsai2018/1F2-OS-5a-03/public/pdf?type=in> Accessed 2019,
January 12.
 Arendt, H. (1987=2007) Collective Responsibility. Boston College Studies in Philosophy, (26),
pp.43-50.(中山元訳「集団責任」, 『責任と判断』筑摩書房, pp.195-208.)
 Chopra, S. & White, L. F. (2011) A Legal Theory for Autonomous Artificial Agents, University
of Michigan Press, Michigan, 252p.
 Delcker, J. (2018) Europe Divided over Robot ‘Personhood’,
<https://www.politico.eu/article/europe-divided-over-robot-ai-artificial-intelligence-personhood/> Accessed
2019, January 12.
 Delvaux, M. (2017) Report with Recommendations to the Commission on Civil Law Rules on
Robotics
<http://www.europarl.europa.eu/cmsdata/113782/juri-final-report-robotics.pdf> Accessed 2019, January
12.
 Hosken, G. (2008) Army Blames Gun's Maker for Lohatla, IOL News,
<https://www.iol.co.za/news/south-africa/army-blames-guns-maker-for-lohatla-387027> Accessed 2019,
January 12.
 河島茂生 (2016) 「ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ」, 『社会情
報学』5(2), pp. 53-69.

22. 22
参考文献(2)
 河島茂生 (2018) 「ビッグデータ型人工知能時代における情報倫理」, 『基礎情報学のフロンティア』東京大
学出版会, pp.59-79.
 河島茂生 (2019) 「AI社会における「人間中心」なるものの位置づけ」, 『情報システム学会誌』 14(2),
pp.21-28
 国土交通省自動車局 (2018)「自動運転における損害賠償責任に関する研究会 報告書」,
<http://www.mlit.go.jp/common/001226452.pdf> Accessed 2019, January 12.
 高度情報通信ネットワーク社会推進戦略本部・官民データ活用推進戦略会議 (2018) 「自動運転に係る制度大
綱」, <https://www.kantei.go.jp/jp/singi/it2/kettei/pdf/20180413/auto_drive.pdf> Accessed 2019, January
12.
 Maturana, H. R., Varela, F. J., (1980=1991) Autopoiesis and Cognition, D. Reidel Publishing
Company, Dordrecht, 146p. (河本英夫訳『オートポイエーシス』国文社, 320p.)
 西垣通(2008)『続 基礎情報学』NTT出版, 219p.
 大屋雄裕 (2017) 「外なる他者・内なる他者」, 『論究ジュリスト』(22), pp.48-54.
 Perrow, C. (1984) Normal Accidents, Basic Books, New York, 386p.
 Robotics-openletter.eu (2018) Open Letter to the European Commission on Artificial Intelligence
and Robotics,
<http://www.robotics-openletter.eu/> Accessed 2019, January 12.

23. 23
参考文献(3)
 Robotics-openletter.eu (2018) Open Letter to the European Commission on Artificial Intelligence
and Robotics,
<http://www.robotics-openletter.eu/> Accessed 2019, January 12.
 Schomberg, R. von (2009) Organising Collective Responsibility, Keynote lecture at the first
annual meeting of the Society for the Study of Nanoscience and Emerging Technologies, Seattle,
11 September.
 Wiener, N. (1964=1965) God and Golem, inc., M.I.T. Press, Cambridge, 99p. (鎮目恭夫訳『科学と
神』みすず書房, 149p.)