AI社会において，人間はいかように倫理的な態度を形成する必要があるのか。ネオ・サイバネティクスの理論をもとに考察した。

1. AI社会における道徳的行為者
としての人間のありかた
ネオ・サイバネティクスの理論をもとに
河島茂生
(青山学院女子短期大学，理化学研究所AIPセンター)
1

2. 発表の流れ
1. はじめに
1. 研究の背景
2. 研究の目的・方法
2. 概念装置
1. オートポイエティック・システム
2. 階層的自律コミュニケーション・システム
3. 視点移動の操作による倫理的領域の整理
1. 心的システムへの道徳的配慮
2. 社会システムの公正さ
3. 両次元の関わり
4. 人工知能をめぐる倫理的課題
1. 心的システムの次元
2. 社会システムの次元
5. 結言
2

3. 1. はじめに
3

4. 1.はじめに(1):研究の背景
 情報倫理は，マナーや生活指導のように語られているが，それは情報倫理の表
面的なものをみているにすぎず，本質とはいえない。
 情報がその原義通りの意味であると解すならば，つまり西垣通がいうように
「生命に価値をもたらすもの」ならば，情報倫理は，生命倫理と同様，生の根
幹に迫るものでなければならない(河島・竹之内, 2014)。
 国際的に注目を集めている情報倫理の基礎的議論としては，ルチアーノ・フロ
リディ(Luciano Floridi)の情報哲学が挙げられる。フロリディの情報哲学は，
極限まで倫理の範囲を拡大した。
<フロリディの情報哲学>
生命倫理 環境倫理 情報倫理
生物中心的であり，偏向 情報的に理解できる存在物すべて
が道徳的価値
4

5. 1.はじめに(2):研究の背景
<フロリディの情報哲学の問題点>
 生物も人間もコンピュータも「情報」という概念で記述できるからといって，
これらを一緒に語ってよいのだろうか。人間を含む生物と機械との間には埋め
がたい差がある(河島, 2016) 。
 人工知能を含む機械は，後でいうアロポイエティック・システムであり，人間
によって設計・製造・維持されるものである。
 技術的人工物である機械にまで保護される権利を与えてしまえば，損壊したと
しても捨てられない。あるいは人間が勝手に電源を切ったり改変したりするこ
とが躊躇われる。人間が機械と対等に扱われる事態さえ招きかねない。
<フロリディの情報哲学>
生命倫理 環境倫理 情報倫理
生物中心的であり，偏向 情報的に理解できる存在物すべて
が道徳的価値
5

6. 1.はじめに(3):研究の背景
<人工知能をめぐる倫理的議論の必要性>
 アロポイエティック・システムである情報技術の作動の責任はあくまで人間が
負うべきである(Johnson & Noorman, 2015; 河島, 2016)。そうであるならば，
人工知能技術が着実に広がりをみせている現在，その内的メカニズムの倫理性
については十分に検討することが求められる。
<情報倫理の目的>
 人間が機械と対等に扱われる事態は，情報倫理の淵源として挙げられるノバー
ト・ウィナー(Norbert Wiener)がもっとも危惧したことである(Bynum, 2005;
西垣, 2010)。
 情報倫理は，やみくもに範囲を拡大するよりも，むしろ人間を含む生物のあり
かたに第一義的に目配りし，生物との異質性／関係性のなかで情報技術の果た
す役割・機能を論じる姿勢を保つべきではないだろうか。
6

7. 1.はじめに(4):研究の目的・方法
<ネオ・サイバネティクスの理論を使うことによる認識利得>
人間を含む生物と人工知能との差異を視野に収めながら，下記の点を指摘できる。
 人間の心理の領域には人工知能が組み込まれていないこと。
 社会の領域に人工知能が介在することで歪んだ自律性が生じ一部の人々の社会
的排除につながってしまう危険性。
 心理レベル／社会レベルの倫理性の相互依存性。
<本報告の目的>
ネオ・サイバネティクスの理論に依拠しながら，生の根源的なありように目を向
けた情報倫理の基盤づくりを図り，そのうえで人工知能との関わりについて検討
する。具体的には，基礎情報学における視点移動の操作により社会的次元と個人
的次元との倫理的ありかたの違いを確認し，その交差領域のなかで生じる人工知
能倫理の課題を議論していく。
7

8. 2. 概念装置
8

9. 2.概念装置(1):オートポイエティック・
システム
オートポイエティック・システム
みずからで自己(auto)を制作(poiesis)する
システムを指す。
アロポイエティック・システム
自己産出するのではなく他者(allo)によっ
て生産(poiesis)される。そして，その動
きは人間が設定した目的に規定される。
もし指示通りに動かなければ故障である。
例:エアコン，自動車，人工知能
入力 出力
観察者
作動のネットワーク
構成素
観察者
 生命システム
 心的システム
 社会システム
9
Maturana & Varela, 1980＝1991

10. 2.概念装置(2):階層的自律コミュニケー
ション・システム(HACS)
社会システム
心的システム
個人
観察者
観察者
社会的次元
個人的次元
正義の倫理
ケアの倫理
拘束関係
 オートポイエティック・システムもアロポイエティック・システムも，
そのようなシステムとして同定する存在(観察者)が欠かせない。
 基礎情報学は，観察者の視点移動の操作により，社会システム／心的シ
ステムの間に階層性を見出した(西垣, 2003)。
10
“人間＝機械”複合系

11. 3.視点移動の操作による倫理的領域
の整理
11

12. 3.視点移動の操作による倫理的領域の整
理(1):心的システムへの道徳的配慮
 倫理は，社会的次元で議論されることが主であった。しかし，社会システム内
の倫理(最大多数の最大幸福，公正さ，平等，共同体の目的といった議論)だけ
では，心的システムに寄り添った倫理が欠落してしまう。
 心的システムに耳をそばだてる倫理は，一般的にはケアの倫理に似ている。ケ
アの倫理は，キャロル・ギリガン(Carol Gilligan)が提唱し，多くの賛同者が生
まれた。相手への思いやり，相手の個別具体性を重視する。
 心的システムの倫理は，心的システムの内側に寄り添うようにして，その人に
とって価値ある情報を見出してケアすることである。
12
観察者
 相手の心的システムに配慮する個別具
体的な経験を通じて，社会レベルの道
徳的共同体のイメージが形成される。 思いやり
相手の心的システム

13. 3.視点移動の操作による倫理的領域の整
理(2):社会システムの公正さ
 社会的次元である道徳的共同体の倫理は，正義の倫理の名のもとに，富の分配
や機会平等などについて検討を加えてきた。マスメディア・ジャーナリズムも，
正義の倫理に則り功利主義的な「社会的関心」「公共性」「公益性」の最大化
を図ってきた(林, 2011)。
 ネオ・サイバネティクスの用語でいえば，社会システムをみている観察者の観
点から公正さについて検討しているレベルである。非人称的・三人称的に公平
性を担保する議論であり，個人の内面を寄り添って眺める視点から立論された
ものではない。
13
 コミュニケーションの連続的継起こそが
社会システムにとって一義的であり，個
人は入出力関係で捉えられ，アロポイエ
ティック・システムとして現れる。
社会システム
個人(アロポイエティック・システム)
観察者

14. 3.視点移動の操作による倫理的領域の整
理(3):両次元の関わり
 他者の心的システムへの共感が無ければ，社会システム内の倫理は存立基盤を
失いかねない。統計的な数字で悲惨な社会的問題の全体像を示したとしても，
人々は「心理的無感覚」(psychic numbing)に陥り，それほど深く社会的問題を
捉えない(Slovic, 2007; Västfjäll & Slovic & Mayorga, 2014)
14
 社会システムの次元でみると，すなわち社会システムを観察している観点から
すれば，個人は社会システムの拘束・制約を受けている。社会システムによる
拘束・制約は否定的なものばかりではない。それがあるからこそ，公平性が保
たれ，また法やガイドラインといったものにしたがって個人は安心して判断し
行動できる 。
心的システムへの道徳的配慮 社会システム内の倫理
個人の行動 社会システムレベルのルール
存立基盤
拘束関係

15. 4.人工知能をめぐる倫理的課題
15

16. 4.人工知能をめぐる倫理的課題(1):心的
システムの次元
 これまでと変わらず，心的システムは純然たるオートポイエティック・システ
ムである。人工知能技術等によって心的システムの思考が直接的に操作可能に
なっているわけではない。ましてや，人工知能技術等によって心的システム自
体が作られるようになっているわけではない。
 人工知能技術が進展しても，心的システムの倫理が社会的次元に回収されるこ
とはない。このことを忘れてしまえば，人間は，単なるアロポイエティック・
システムにすぎなくなり，機械と同一視されてしまう。人工知能によってその
機能が代替されてしまえば人間の尊厳が脅かされてしまいかねない。
16
人工知能時代であっても，心的システムの内面に配慮し
た慈しみが欠かせない。

17. 4.人工知能をめぐる倫理的課題(2):社会
システムの次元
 すでに社会システムのレベルでは，コミュニケーション連鎖のなかでコン
ピュータ技術が組み込まれた「 “人間＝機械”複合系」(西垣, 2008)が成立して
いる。
 「アルゴリズム嫌悪」 (algorithm aversion)なる現象が知られており，これま
でアルゴリズムの予測が十分な信頼を獲得するまでには至っていない
(Dietvorst & Simmons & Massey, 2014) 。
17
「アルゴリズム嫌悪」＝たとえアルゴリズムが人間よりも正確な予測をし
ても，人間は，アルゴリズムの予測を選ばず人間による予測を好む現象
 これほどまで人工知能が高度化してくると，重大な意思決定の場面で人工知能
が人間にはない視野を提示してくれる期待が大きく高まっている(阿曽村,
2017)。
 心的次元の倫理だけでは場当たり的になってしまい，社会全体の最適化を図る
には不十分である。計算モデルによって社会全体を俯瞰的に見ていくことが欠
かせない。
However,

18. 4.人工知能をめぐる倫理的課題(3):社会
システムの次元
<人工知能を含むコンピュータ技術が倫理的問題を惹起した代表的な例>
 グーグルの写真自動認識サービスで、黒人の写真に「ゴリラ」とタグ付けして
しまった問題
 マイクロソフトの人工知能がTwitter上で人種差別的・性差別的な発言を連発
 黒人の名前で検索すると，白人の名前に比べて犯罪履歴の有無を調べられる
サービスの広告がより目立って表示された問題(Sweeney, 2013)
 アメリカでは犯罪リスク評価のコンピュータ・システムで，黒人の被告は，実
際よりも犯行が常習化すると推定されているのに対して白人の被告は不当に低
くリスクが算定されていた(Larson, et al. 2016)
 顔写真データを用いた犯罪者の自動推定も試みられている(Wu & Zhang, 2016)
18
など

19. 4.人工知能をめぐる倫理的課題(4):社会
システムの次元
<大きな動向として>
 スコア社会(Citron & Pasquale, 2014)
 ビッグデータにより，たとえ断片的であっても従来よりも多面的に個人に関する
データが数多く集まり，それらを組み合わせていくことによってあたかも実像であ
るかのように人物像が形成され点数化される。
 一度の失敗が次なる失敗を導く負の連鎖が生じており，社会システムの自律性があ
る個人にとって負の方向に立ち上がり，さまざまな社会システムから連鎖的に排除
される危険性。
 ビッグデータの偏向性
 ビッグデータであっても，必ず偏向性が生じる(The White House，2014; Federal
Trade Commission, 2016)。
 アメリカの連邦取引委員会は，低収入や十分な社会サービスを受けられていない
人々の排除につながらないように，ビッグデータを扱う企業に対して「データの代
表性」「モデルに入り込んでいる偏見」「予測の正確性」「倫理的な問題の誘発」
を考慮するように推奨
19

20. 4.人工知能をめぐる倫理的課題(5):社会
システムの次元
<社会システムによる個人の拘束＋人工知能技術>
 社会システムを観察している視点からすれば，社会システムのありかたが個人
を制約していることである。オートポイエティック・システムとして個人を観
察して心の内面をケアしようともしても，社会システムの拘束が働いている。
 人工知能の計算処理は，科学的信憑性を帯びるため，異議申し立てしづらい。
人工知能が組み込まれた“人間＝機械”複合系の社会システムでは，これまで以
上に個人が異論を唱えにくい面を抱えている。
20
人工知能が組み込まれた社会システムの作動を観察して，人工知
能の働きによって倫理性が損なわれないように注視しなければな
らない。
これまでの3スライドで述べたことに加え，

21. 4.人工知能をめぐる倫理的課題(6):社会
システムの次元
 我々は，社会システムを観察することができる。そして人工知能が歪んだ倫理
的問題を導いていることを観察したら，それをコミュニケーションの素材とし
て記述することができる。
21
そのためには，
 開発者の経済的活動・技術開発に十二分に配慮しつつ，人工知能が人々に信頼
され受け入れられるためにも，透明性や説明責任等が守られる必要がある。
 抽象度を保ったかたちでの内部公開
 確率論的推論であることの明示
 事故があったときの証跡管理(特に直接身体に被害が加えられかねない機械(自動運転
車等)のAIシステム)
 人間側に責任があることの再確認

22. 5.結語
22

23. 5.結言
<要約>
 ネオ・サイバネティクスの理論を参照すれば，人工知能はアロポイエティッ
ク・システムであり，その作動の責任は人間側にある。そうした観点のもと，
本報告では，情報倫理の基礎的な議論を行い，人工知能に関わる倫理を検討し
てきた。
 心的システムの次元の倫理は，相手の心理への道徳的配慮であり，社会的次元の倫
理的基盤をなすものである。この心的システムの領域には，現在でも人工知能が直
接入り込んでおらずオートポイエティック・システムのまま作動している。このこ
とを忘れてしまえば，人間は機械と同等であり交換可能なアロポイエティック・シ
ステムのみに還元されてしまう。
 一方，社会システムでは人工知能が入り込んでいる。社会のありかたは個人を拘束
するゆえにそこでの倫理性の担保はきわめて重要な意義を帯びる。社会システムの
自律性に人工知能が加わることで差別の生成・助長が起こることも想定しなければ
ならず，注意が要される。
23
<本報告で残された課題>
 情報収集のカスタマイズ化(フィルター・バブル)などの心的システムの環境の
領域，サイボーグ倫理，人工知能を活用した軍事兵器の問題，個人情報の統合
の扱いなどである。

24. 謝辞・注
<謝辞>
 本報告は，科学研究費補助金若手研究(B)「人工知能・ロボット・サイボーグの倫理
的問題に関する理論的かつ実証的研究」(平成29年度−平成31年度，代表: 河島茂生，
研究課題番号: 17K12800)による研究成果の一部である。
24
<注>
 ビッグデータには必ず偏向性が生じるため，完全なる公正性は半ば幻想であると
いってよい。たとえばレイチェル・タットマン(Rachael Tatman)は，Youtubeの字幕
の精度が男性の声に関しては高いにもかかわらず，女性の声に関して低いことを指
摘した(Tatman, 2017)。字幕は，人工知能の音声認識技術により自動生成されてお
り，学習データが男性のほうが多かったために女性よりも認識率が高かったと考え
られる。こうしたことは頻繁に起こりえる。この例のように学習データに偏りが少
しでもあればそれが認識率に影響するからである。したがって，あまりにも過度に
公平性に拘泥するとビッグデータを基にした人工知能のサービスを展開できなく
なってしまう。他者の心的システムを鑑み，あるいはともに社会システムを支える
共生の存在であることを忘れず，その人たちの人生にどれだけ深刻なダメージをも
たらすかを考え，人工知能の非公正性を批判する場合は批判していくことが条件づ
けられる。

25. 参考文献(1)
 阿曽村雄太(2017)「「退職率下がった」 AI人事に偏見なし」『日本経済新聞』電
子版, 2017/1/30発行
 Bynum, T. W. (2005)“Norbert Wiener's Vision” Cavalier, Robert J. ed. The Impact of
the Internet on Our Moral Lives. State University of New York Press, pp. 11-26.
 Citron, D.K.& Pasquale, F. (2014) “The scored society” Washington Law Review,
Vol. 89
 Dietvorst, B. J. & Simmons, J. P. & Massey, C. (2014) “Algorithm Aversion”, Journal
of Experimental Psychology, American Psychological Association.
 Federal Trade Commission(2016) “Big Data”.
https://www.ftc.gov/system/files/documents/reports/big-data-tool-inclusion-or-
exclusion-understanding-issues/160106big-data-rpt.pdf アクセス日: 2018/5/20
 Floridi, Luciano(2010) Information, Oxford University Press.
 林香里(2011)『<オンナ・コドモ>のジャーナリズム』岩波書店.
 Johnson, D. G. & Noorman, M. (2015) “Recommendations for Future Development
of Artificial Agents”.
 河島茂生・竹之内禎(2015)「情報倫理の目指すもの」竹之内禎・河島茂生編『情報
倫理の挑戦』学文社, pp.1-18.
25

26. 参考文献(2)
 河島茂生(2016)「ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題
の基礎づけ」『社会情報学』 5(2) pp.53-69.
 Larson, J., Mattu, S., Kirchner, L. & Angwin, J.(2016) “How We Analyzed the
COMPAS”. https://www.propublica.org/article/how-we-analyzed-the-compas-
recidivism-algorithm アクセス日: 2018/5/20
 Maturana,H.R & Varela, F.J(1980) Autopoiesis and Cognition, D.Reidel Publishing
Company (河本英夫訳(1991)『オートポイエーシス』国文社).
 西垣通(2003)「オートポイエーシスにもとづく基礎情報学」『思想』岩波書店,
No.951, pp.5-22.
 西垣通(2008)『続 基礎情報学』NTT出版.
 西垣通(2010)「ネオ・サイバネティクスの源流」『思想』岩波書店, No.1035,
pp.40-55.
 Slovic, P. (2007) “If I look at the mass I will never act” Judgment and Decision
Making, vol. 2, no. 2, pp. 79-95.
26

27. 参考文献(3)
 Sweeney, L. (2013) “Discrimination in Online Ad Delivery”
http://dataprivacylab.org/projects/onlineads/1071-1.pdf アクセス日:
2018/5/20
 Tatman R. (2017) “Gender and Dialect Bias in YouTube’s Automatic Captions”
Proceedings of the First Workshop on Ethics in Natural Language Processing,
pp.53–59.
 The White House(2014) “Big Data”.
https://obamawhitehouse.archives.gov/sites/default/files/docs/big_data_privacy
_report_may_1_2014.pdf アクセス日: 2018/5/20
 Västfjäll, Daniel & Slovic, Paul & Mayorga, Marcus(2014) “Whoever Saves One Life
Saves the World”.
 Wu, X & Zhang, X(2016) “Automated inference on criminality using face images”.
27