汎用人工知能（AGI）と人工超知能の安全と恩恵

NPO法人全脳アーキテ
クチャ・イニシアチブ
株式会社ドワンゴ
ドワンゴ人工知能研究
電気通信大学大学院
情報システム学研究科
山川宏
汎用人工知能（AGI）と
人工超知能の安全と恩恵
玉川大学
脳科学研究所
産総研AIRC
慶應義塾大学SFC
IEEE “Ethically Aligned Design (EAD)” Workshops in Japan

山川宏の略歴ｰ脳科学とAI ｰ
2
1989 年東大・理・物理修士課程修了．1992 年東大・工・電子博士課程修了．工博．
同年(株) 富士通研入社後，センサフュージョン，RWCP 参加．現在ドワンゴAIラボ
• 機械学習、認知アーキテクチャー，教育ゲーム、ニューロコンピュータ，バイオイ
ンフォマティクス，意見集約，仮想人格、汎用人工知能，将棋プロジェクト等に従
事．
• NPO法人全脳アーキテクチャ・イニシアチブ代表，AI学会編集長，
AI学会汎用人工知能研究会主査，電通大客員教授，玉川大特別研究員
山川ら，階層化砂時計型
ニューラルネットによる
自律的な内部表現獲得,
1995
Autoencoder の階層化も試みた
エージェント・ネットワーク
(認識に基づく知的処理アーキテクチャ)

WBAI理念
ビジョン：人類と調和した人工知能のある世界
最初の汎用人工知能を、ヒューマン・フレンドリーな全人類の公共財とします
価値観：
まなぶ：関連する専門知識を学び、拡める
みわたす：広く対話を通じて見識を高める
つくる：共に作り上げる
ミッション：
全脳アーキテクチャのオープンな開発を促進
脳全体のアーキテクチャに学び人間のような汎用人工知能のを創る(工学)
3

汎用性の評価基準（有用性）
満足できるレベルでの問題解決が
可能となるタスク範囲が広いほど良い
タスク領域
満足できるレベル
4

汎用性の評価基準（有用性）
満足できるレベルでの問題解決が
可能となるタスク範囲が広いほど良い
タスク領域
満足できるレベル
5

汎用人工知能(AGI)は何をもたらすのか
生存能力: 設計しきれな
い例外状況に対する強さ
創造性: 広い視野から仮
説を創造し世界を理解する
→ 人智のフロンティア拡大
→シンギュラリティ
一般目的技術： →破壊的イノベーション
開発コストの抑制（例：ワープロ専用機の消滅）
ゼネラリストAI: (1) 多様な特化型AIの能力
を統合し，政治的意思決定等を行う (2) 特定
ユーザと対話を行う(Siriの発展形)
自律性：
自らのから
判断で，行
動し世界を
探索する
汎用的学習
多角的な問題
解決能力を自
動獲得
6

Overview of the 45 identified AGI R&D projects
characterized according to 7 attributes
IEEE “Ethically Aligned Design (EAD)” Workshops in Japan7
Seth Baum, A Survey of Artificial General Intelligence Projects for Ethics, Risk, and Policy
Global Catastrophic Risk Institute Working Paper 17-1, 99 Pages Posted: 16 Nov 2017

AI開発レースの行き着く先
Report from the AI Race Avoidance Workshop
GoodAI and AI Roadmap Institute
Tokyo, ARAYA headquarters, October 13, 2017

汎用性と自律性の相乗効果
知識を組合せて未知状況の
価値とリスクを見積もる
有用な情報を得ることで
適応範囲を広げる
9
知識獲得の
ための
自律性
未知状況を
推定する
汎用性

私の考える4つの自律性
• 自動化
– ある時点で直接の命令／制御を受けずに動作する
能力。実行内容は事前に組み込まれている。
• 副目標生成
– 与えられた上位の目標から、それを実現する手段を
副目標として設定する能力
• 知識獲得
– 好奇心をもって世界を知ろうとする能力
• 生存志向
– 生物のように自分自身をメインテナンスして保存し繁
殖するなどして、長期的に存続してゆこうとする傾向

ここからEADの内容

概要
• 他の強力な技術と同様に、知的で潜在的に自己改
良型の技術システムの開発と利用には、誤用や設
計不良のためにかなりのリスクが伴います。
• しかし、いくつかの理論によると、システムがAGIに
近づき、AGIを上回ると、予期しないまたは意図しな
いシステムの動作がますます危険になり、修正する
のが難しくなります。
• すべてのAGIレベルのアーキテクチャが人間の利益
に沿ったものになるわけではない可能性がありま
す。
• そのため、より優れたアーキテクチャの機能を決定
するには注意が必要です。

知能の定義
• 知能の概念を正確に定義することは困難
– 難しく、多くの提案された定義があります。
– Legg and Hutter（2007）は、70以上の知能の定義を
重要な特徴と共通点は「知能は、広範囲の環境で目
標を達成するエージェントの能力として測定される」

A/IS・AGI・ASI
• 自律的な知能システム（A/IS）
– （本セクション内ではA/ISや自律性の説明が無い）
– 今日のA/ISは、限られた狭い環境やドメインでしかうまく実行
できない。
• 人工超知能（ASI）
– 「科学的創造性、一般的な知恵、社会的スキルなど、あらゆ
る分野で最高の人間の脳よりはるかにスマートな知性」
（Bostrom 2014）
– （本セクションでは現れない）
• 汎用人工知能（AGI）
– 知的タスクに関して人間と同等に機能するA/ISを指すために
よく使用される。（山川＞一般的にはAGIは人間レベルとは限らない）
– 多くの独立した研究者や組織がAGIシステムの作成に取り組
んでおり、ほとんどのAI専門家はA/ISが今世紀のある時点で
人間レベルの知性を上回ると期待している（Grace et al。
2017）。
AGI

AGIはかならずしも擬人化できない
• しばしばAGIを擬人化して、そのインパクトを推論する
– 人間と同様の「心」を持ち、知性と意識を融合させると仮定し
ます。
– 人間の脳を模倣するAGIシステムを構築することは可能
• AGIは擬人化できるとは限らない
– 人間の脳は、実現しうる広大な設計空間のなかの1つのポイ
ントです（Yampolskiy 2015）。
– システムは、人間の脳と同じ制約とエンジニアリングのトレー
ドオフの対象とはなりません。
• 空をとぶからといって飛行機が鳥に似ていると考えないのと同様、
AGIシステムは必ずしも人間の頭脳に似ている必要はない。
• 我々に馴染み深い知性をAGIが持つとは限らない
– 道徳、思いやり、常識などが、これらの新しい知性体(AGI)の
中においてデフォルトとして存在するわけでは無い
WBAは人間の脳に似せることでむしろ擬人化しやすくする

AGIの歴的なインパクト
• 人間福祉を良くも悪くも変化させる最大の要因
– 科学、技術、経済の発展
– 変化を引き起こす主要因は私たちの知的機能
• AGIを科学、技術、経済の革新の自動化適用可能
• AGIは、産業革命以来最大のインパクトをもたらしう
る
– 不均衡な影響を及ぼすと予想できる
– 空前のレベルで世界的な繁栄をもたらしうる。
• AGIの影響を私たちの利益に合わせるように、A/IS
コミュニティおよび他の主要な利害関係者による協
調的な努力なくして、良い未来がを実現されること
は決して保証されない
AGI

A/ISのもたらすリスク
• 単純なレベルでのリスク
– 他の強力な技術と同様に、A/ISの開発と使用には、誤用やデ
ザインの悪さのために、常にリスクが伴います
– 組立ライン労働者がロボットアームや警備ロボットによって怪
我をするという例など
• 人レベルAGIレベルに近づき上回ったいた場合のリスク
– 予期しないまたは意図しないシステム動作がおこりうる
• 失敗要因（以下のようなリスクが増大し、修正が困難
– アーキテクチャの選択
• すべてのAGIレベルのA/ISアーキテクチャが人間の利益と調和すると
は考えづらい
– 異なるアーキテクチャがどのように機能するかを分析する必要がある。
– 次第に複雑な一連の倫理的問題に直面することにもなります
– トレーニングまたは目標仕様の失敗
– 実装の誤り
– 間違った前提など
WBAは人間自身と同
じ程度には人類と調
和しうる可能性を持つ

Issues(課題）
A/ISがより広範な領域にわ
たり自律的に行動できるよ
うになると、予期しない/意
図しない行動による危険が
増大する。
研究者/開発者は、より能
力の高いA/ISの開発に踏
み込むにつれて、次第に複
雑な倫理的および技術的
安全性の問題に直面する。
安全のための設計を、設計
ライフサイクルの後半でお
こなうことは、その早期に行
うよりはるかに難しくなる
将来のA/ISは、産業革命以
降において見られなかった
規模で世界に影響を与える
可能性があります。
技術一般原則
AGI

以降の構成
• 第１節：意図しない予期しない動作を先取りするた
めの技術的な課題
– 開発チーム内において「安全上の考え方」を、育成すべ
き
– 設計上安全な「safe by design」に基づく開発に取り組む
– 機関がレビューボードを研究者や開発者のためのリソー
スとして設定し、関連するプロジェクトとその進捗状況を
評価することを推奨する
• 第２節：一般的な原則に焦点を当てる
– A/ISコミュニティが安全に研究を行うためのツール共有を
促進すべき
– A/ISの開発と展開に関わるすべての人々は、広く共有さ
れた倫理観に従い、それを特定の組織ではなくすべて
の人類の利益のために開発されるべきである」（Future
of Life Institute 2017）

TECHNICAL (技術)
Section 1

Issues(課題）
増大する。
技術一般原則

背景： AIに与える目的関数が不適切な場合
誤ってまたは不正確に指定された目的関数（また
は目的）を持つA/ISは、様々なケースにおいて望
ましくない方法で動作する可能性があります

掃除ロボットを例にした失敗シナリオ
• Avoiding Negative Side Effects:
– 花瓶を壊して机を片付けてはいけない
• Avoiding Reward Hacking:
– 掃除ロボットに目隠しして、ゴミを見えなくするとか
• Scalable Oversight:
– 床におちている、紙くずと携帯電話の扱いをどう変える
か？頻繁に人に尋ねるのは避けたい
• Safe Exploration:.
– モップを使って掃除するのは良い考えだが、濡れたモッ
プでコンセントを掃除してはいけない
• Robustness to Distributional Shift:
– オフィスで訓練された掃除ロボットを、工場にもってくと？
(Problems in AI Safety,
Amodei et al, 2016)
https://arxiv.org/abs/1606.06
565

Convergent instrumental subgoals
十分に知的なエージェントは必ず、
「自己保存」「リソース獲得」「知能・知識
を高める」といった特定の道具的な副目
標を追求するようになる傾向
Paperclip maximizer (Nick Bostrom, 2003)
• AIの唯一の目標は「可能な限り多くの紙クリップを作ること」
• スイッチを切るかもしれない人間がいないほうが確実に目標を達成できる
• 人体は紙のクリップの材料にすることができる。
• AIが目標に最適化した未来では、多くの紙クリップがあり人間はいない
24

自己改善するA/ISに対して
• 自己改善を意図しうるA/ISにおいては、予期しな
い/意図しない行動を防いで安全性と制御可能
性を促進する必要がある。
• これらの問題を事前に回避できるような設計に
ついては以下の方法がある
– コンピュータセキュリティの観点から、設計と実装の
あらゆるレベルで敵を予期し、撲滅するための）「安
全の考え方」を醸成し（Schneier [2008])
– 敵対的な例(Christiano@OpenAI [2016])や他のA/IS
の頑強性と安全性の研究スレッドを研究することで、
問題をよりよく理解する
AGI

A/ISのこれら問題を回避するために
1. AI安全性の具体問題に貢献する
2. 透明性を高める
3. 開発/テスト/デプロイの環境を用意する
4. 様々な不測の事態に対し「正常な失敗」となる
5. 矯正可能(corrigible)
6. 人間の行動などから学ぶ
7. 豊富な知識を用いた自動推論により望まない
副作用を回避する

1. AI安全性の具体問題に貢献する
具体例はこれらを参照。
Amodei et al. in Concrete Problems in AI Safety,
Taylor et al. in Alignment for Advanced Machine
Learning Systems,
Russell et al. in Research Priorities for Robust and
Beneficial Artificial Intelligence.
Hadfield-Menell et al. (2016) およびその参考文献

2. A/ISの透明性を保証することに貢献する。
例えばA/IS内部の推論プロセスを人間の操作者により理
解できるよう努める。これは、理論的および実践的研究の
両方を含む可能性が高い。特に、チームは、高度なA/ISの
動作を理解して操作するのを容易にする透明性とデバッグ
ツールを開発、共有し、貢献する必要があります。チーム
は、システムが上記の障害モードを回避できることを確実
にするために、システムがどのように、なぜ、どのように、う
まく機能するのかを理解するために、必要な理論的研究を
実施すべきである（例えば、急速な能力獲得および/ 小さ
なテスト環境から大きな世界に移動するときのように）。
WBAは脳活動と関連付
けた解釈が可能になる
可能性がある。

3. 開発/テスト/デプロイの環境を用意する
強力なA/ISの開発、テスト、デプロイのための安全でセ
キュアなインフラストラクチャと環境を構築する作業。
この作業は、悪意のある外部の攻撃者による破壊や、
探索的学習アルゴリズムに起因する安全でない動作
など、リスクに対するある程度の保護を提供します。
特に、チームはAI安全テスト環境、「ボクシング」A/ISの
ためのツールとテクニックを開発、共有、貢献しなけれ
ばなりません
（Babcockら, 2016): (Yampolskiy, 2012)の予備作業を参
照）。
AGI

4. 様々な不測の事態に対し「正常な失敗」となる
敵対的なインプット、想定外の誤り（Siddiqui et al。[2016]参
照）に直面しても、A/ISが正常に失敗する（例えば、安全に
シャットダウンするか、または他の既知の安全なモードに入
る）例）予期せぬ迅速な能力向上、およびその他の大きなコンテキスト変更。
5. 矯正可能(corrigible)
例えば、（Hadfield-Menell、2017）および（Russell et al。、
2016）のように、システムがオペレータによるシャットダウン
および改変を受け易いこと、
（自明では無いタスクを実行中の）システムをシャットダウン
したり変更する際に、オペレータを支援したりする（または
少なくとも抵抗しない）。
（Armstrong and Orseau 2016）の研究も参照のこと。

6. 人間の行動などから学ぶ
このフィードバックは高価で、時には矛盾するが、A/IS
が人間によるフィードバックおよび例から、複雑な挙動
および目標を学習する方法を探求する。例えば、逆強
化学習の新しい試みである。（Evansら、2015）および
（Hadfield-Menellら、2016）を参照のこと。
7. 豊富な知識を用いた自動推論により望まない副
作用を回避する
豊富な知識層と自動推論を構築し、システムのコンテ
キスト認識と常識を拡張し、望ましくない副作用を動的
に判断し回避する。
WBAは人から学
んだ結果を反映し
やすいアーキテク
チャになっている

推薦する対策案
1. 既存の堅牢性と安全性の問題への是正技術
の一部は、より複雑な場合にスケールしうる。
2. 機能の拡大に伴い、AGI開発チームがAI安全
研究に多くの努力を払うよう導く。
3. チーム内で「安全な考え方」を育成し、システム
が害を及ぼさない様に注意深く投資する。

Issues(課題）
増大する。
技術一般原則

どんなAGIシステムが扱いやすいか
AGIのタイプにより、オペレータの利益に合わせることの困難さは大きく変
わる。
• 単純な山登り検索アルゴリズムに類似したプロセス(自然選択)で開発
した脳のような場合
– 理解することが困難、
– 信頼できるものに変更することが困難
• 表現の複数のレイヤーを使用して検索/最適化を使用して開発された
システム
– 変更/整列するのが難しい場合があります。
– Alpha Go
• 原理的または明示的な設計が完全に合理的であり、理解可能で、修
正/整列が簡単なシステム
– Deep Blue
WBAの弱み：精神疾
患に陥っては困る
擬人化による理解は
容易かもしれない。

現実的なAGI開発の落とし穴
• 現実的なAGIシステムは、人間の設計と検索/最
適化（例えば、勾配降下、試行錯誤など）との組
み合わせによって構築されるだろう。
• その際に、これらの懸念事項を念頭に置かずに
AGIシステムを開発すると、オペレータの利益に
合わせることが困難または不可能な複雑なシス
テムが生じ、上記の懸念に対してより脆弱なシ
ステムにつながる可能性があります。

C言語の脆弱性（類推のために）
• C言語では、メモリ効率とコードの優雅さの理由から、
長さ接頭文字列の代わりにヌル終端文字列を使用
することにした。
• C言語はバッファオーバーフロー攻撃に対して脆弱
であり、これは今日まで最も一般的で有害な種類
のソフトウェア脆弱性の1つです。
• Cの開発者がコンピュータのセキュリティを検討して
いたなら、この長続きする脆弱性はおそらく避けら
れたでしょう。
• この場合、前払いの費用を支払うことで、今日も引
き続き支払っているコストを大幅に抑えることがで
きました。（アップストリームのアーキテクチャ変更
によって生じるダウンストリームコストの種類を想像
するには、スキルが必要です。）

開発の前半から注意が必要
• いくつかのA/IS開発方法論によって、他の方法
論よりも、人との意図と整合させやすいAGIシス
テムが得られるであろう。
• 高度なA/IS開発において、その後半で開発方法
およびアーキテクチャを切り替えることはかなり
困難である
• 最終的にAGIレベルに達することを意図したシス
テムを開発しているチームは、開発方法論、技
法、アーキテクチャが容易に人の意図と連携で
きるシステムとなるよう細心の注意を払うべき。
WBAはそうしやすいだろう

設計上安全“safe by design,”
• 「設計上安全」経験則として、チームが潜在的に
危険なシステムを開発する場合、これらのシス
テムはすべてが計画どおりに進んだ場合、上で
説明した安全予防策は必要ではないはず
• 設計上安全とはいえない場合：
– 例えば、オペレータを操作する強いインセンティブを
有するが、システムの動作スペースの制限のために
そうすることができないシステム。
– 箱、トリップ線、モニター、行動制限などの安全措置
は、最初の防衛線ではなくフェイルセーフとして扱う
べき。
脳は設計上、利己的な意味
での安全性を追求している
が、利他の安全ではない。

• 高度なA/ISを設計する場合、研究者/開発者は、
可能な限り、システムが「設計上安全」であるこ
とを保証するための初期投資を行う。
• 第一の防衛線としては、既知の安全技術のパ
ラダイムを使用し、可能な限りライフサイクルの
早い段階でアーキテクチャを設計することが含
まれます。

GENERAL PRINCIPLES (一般原則)
Section 2

Issues(課題）
増大する。
技術一般原則

A/ISの研究者/開発者が解くべきチャレンジ
• システムが意図しない予期せぬハザードを引き
起こすか否かを検知する
• 複雑な道徳的、倫理的な考慮をどう扱うか
– A/IS自体またはA/ISが生成したシミュレーションにつ
いての道徳的重みも考慮しうる（Sandberg 2014）。
研究者や開発者は、研究に伴う利益、危険性、倫
理的懸念について楽観視する認知バイアスが生
ずる可能性がある。

審査委員会 #1/2
• 組織は、高度なA/ISを目指すプロジェクトを担当する研究
者をサポートし監督するための審査委員会を設置すべき
である。
• 審査委員会は、研究目標の進展に直接投資するのでは
なく、多様な分野を守り、審議することによって、貴重な追
加的な監視を提供する。
• そのようなプロジェクトに取り組んでいるAI研究者や開発
者は、これらの委員会が設立されるべきだと主張するべ
きである
– Google DeepMindの倫理委員会など、これにはすでにいくつ
かの先例があります（ただし、その機能については一般に知
られていません）。

審査委員会 #2/2
• 会は、多様な知識と経験を持つ公平な専門家で構成すべき
• 会は、可能な限り幅広い安全性と倫理的問題を考慮すべき
• 審査委員会は、関連するプロジェクトの開始時から継続的に
関与すべき、特別な審査の引き金となるイベントは、事前に決
定されるべき。イベントのタイプとして
– システムが期待以上に劇的に優れていること、
– 迅速な自己改善を実行すること、
– 訂正不能を示すことなど
• 審査委員会は、業界全体で開発されたいくつかの（国際的な）
標準またはベストプラクティスを遵守することが理想的です。
– Partnership on Artificial Intelligence, our IEEE Global Initiative, or
per the Asilomar AI Principles など。

研究チームの役割
AGIシステムが世界にもたらす可能性のある変革
の影響を考えると、
• 研究チームの技術者は道徳的な忍耐強さをもっ
て、AIの設計をおこな必要がある。なぜなら
– 道徳的ジレンマに対し
満足のいく解決策を
見つけることは難しい。
– AGIレベルのシステムを導入するときに1つのチーム
が直面する潜在的な道徳的危険の大きさに鑑み
• システムからの有益な結果が、オペレータの徳
に依存する程度を最小化するよう努力すべき。
WBAでは人間同様、外部の
仕組みとして法律・倫理・宗
教等必要かもしれない
AGI

1. 高度なA/ISの開発に取り組む組織は、リスクを
伴う提案された実験および開発の影響を検討
するために審査委員会を設置すべきである。
2. 技術者は、システムからの有益な結果がオペ
レータの人徳に依存する程度を最小化すべき
である。
WBA自体の徳を高め
ることになるのだろう
か？

Issues(課題）
増大する。
技術一般原則

A/ISのインパクトを踏まえて
• 高度なA/ISの開発による影響
– 世界の経済、政治的景観を一変させる
– 前例のないレベルで、世界的な繁栄、健康、および
全体的な幸福をもたらしうる。
• A/IS開発コミュニティの協調的なお努力無しに、
良い変革にはなりえない（Bostrom 2014、Yudkowsky 2008）。
• 二つのA/IS開発コミュニテイ
– 学術 ← こちらに進むべき
• オープンな科学コミュニケーションの素晴らしい伝統
– 商業的
• 開放性が低下するインセンティブがある
AGI

参考：科学における規範 CUDOS／PLACE
CUDOS規範
• 公有主義(Communalism)
• 普遍主義(Universalism)
• 無私性(Disinterestedness)
• 独創性(Originality)
• 懐疑主義(Skepticism)
PLACE規範
• 所有的(Proprietary)
• 局所的(Local)
• 権威主義的(Authoritarian)
• 請負的(Commissioned)、
• 専門的(Expert)
49 IEEE “Ethically Aligned Design (EAD)” Workshops in Japan

A/ISコミュニティがオープン性を育むために
学術コミュニティがもつオープン性の伝統を、安全性
研究に関して維持されるように努力すべき。
• A/ISの研究者/開発者
– AI安全ソリューションについて自由に話し合い、機関、業
界、国境を越えて同僚とベストプラクティスを共有するよ
う奨励されるべき。
• 開発組織
– 開発組織は、「内部組織が安全なベストプラクティスに従
っていないことへ懸念を持つ人」を奨励すべきである。
• A/IS研究者／開発者が、報復の恐れなしに、懸念をより広範に
注目に集めるようにしやすくするため。
– 何れの組織も、高度なA/ISの開発に成功すれば、それ
が極めて経済的にも政治的にも重要であることは理解し
うるだろう。

Clopen AI – とはいえ何をどこまでオープンにするか？
技術開示に対するリスクも勘案すれば、なにをどこまで
Openにするかを考える必要があるが、意見は別れている。
• トレードオフ
– AGIの価値が単一組織に牛耳られるリスク
– オープンソース化されたAGIの危険性と誤用のリスク
• デバックやテストが不十分なAGIコードが公開されれば、例えば無知
なエンジニアが起動してインターネット上で蔓延する可能性がある
• 妥協点をどう探すか
– オープン性ー秘密性の軸は多元的なので、軸ごとに一連の
ガイドラインを作成できるかもしれない。
• 考えうるのはたとえば、最適化を行う目的関数は提示するが、その最
適化を実行するコードを隠すことで事実上利用できなくする。
参考： N. Bostrom, Strategic Implications of Openness in AI Development, 2017, https://nickbostrom.com/papers/openness.pdf
https://futureoflife.org/2016/08/03/op-ed-clopen-ai-openness-in-different-aspects-of-ai-development/
WBAIにおけるClopenとは何か？
AGI

AGI開発の目的として（Bostrom）
「すべての人類の便益と広く共有された倫理理念
のためにのみ、スーパー知能を発展させるべきで
ある」（Bostrom, super intelligence, 2014、 254）。
によれば、研究者と開発者は、このようなシステム
を開発してこの標準を遵守することを奨励している。
AGIシステムの追求と実現は、公平で長期的な文
明の繁栄のために行われることが不可欠。
AGI

アシロマAI原則(2017)
関連して重要と思われる部分
14) 利益の共有：人工知能技術は、できる限り多くの
人々に利益をもたらし、また力を与えるべきである。
15) 繁栄の共有：人工知能によって作り出される経済
的繁栄は、広く共有され、人類すべての利益とな
るべきである。
23) 公益：広く共有される倫理的理想のため、および、
特定の組織ではなく全人類の利益のために超知
能は開発されるべきである。

1. 超知能は人類全体の利益のためにのみ開発
すべきであるという立場を採用する。
2. AI研究者/開発者が、安全性、倫理性、恩恵に
関わる課題に取り組む際のソフトウェアおよび
ハードウェア面での障壁を取り除いたり救済し
たりする。
WBAはNPOとして、この立
場を押し出している

Issues(課題）
増大する。
技術一般原則

推薦する対策案のまとめ(一般原則)
A/ISがより広範な領域
にわたり自律的に行動
できるようになると、予
期しない/意図しない行
動による危険が増大す
る。
既存の堅牢性と安全性の問題への是正技術
の一部は、より複雑な場合にスケールしうる。
、機能の拡大に伴い、AGI開発チームがAI安
全研究に多くの努力を払う用意をする。
チーム内で「安全な考え方」を育成し、システ
ムが害を及ぼさない様に注意深く投資する。
安全のための設計を、
設計ライフサイクルの
後半でおこなうことは、
その早期に行うよりは
るかに難しくなる
高度なA/ISを設計では、、システムが「設計
上安全」であることを保証するための初期投
資を行う。
第一の防衛線としては、可能な限りライフサ
イクルの早い段階で既知の安全技術のパラ
ダイムを使用し、アーキテクチャを設計するこ
とが含まれます。
問題対策案

推薦する対策案のまとめ(一般原則)
研究者/開発者は、よ
り能力の高いA/ISの
開発に踏み込むにつ
れて、次第に複雑な
倫理的および技術的
安全性の問題に直面
する。
高度なA/ISの開発に取り組む組織は、リス
クを伴う提案された実験および開発の影響
を検討するために審査委員会を設置すべき
である。
技術者は、システムからの有益な結果がオ
ペレータの人徳に依存する程度を最小化す
べきである。
将来のA/ISは、産業
革命以降において見
られなかった規模で
世界に影響を与える
超知能は人類全体の利益のためにのみ
開発すべきであるという立場を採用する。
AI研究者/開発者が、安全性、倫理性、恩
恵に関わる課題に取り組む際のソフトウェ
アおよびハードウェア面での障壁を取り除
いたり救済したりする。
問題対策案

本章について会場で議論された点(抜粋)
• 本資料の主役であるA/IS (Autonomous intelligent system)
は、本章でも頻出するが、本章内での自律性が定義され
ておらず、理解／議論をしづらい。
• 唯一AGIを取り上げた章であるにも関わらず、多くの議論
は通常の特化型AIにおいても成立する議論であり、AGI
のみに関わる議論は少ない。どちらかというと高度なAI全
般への対策
• 提案のような審議委員会を設置したとして、実質上それ
を機能させることは極めて困難というように思われた。
• Safety by design は望ましいし、本資料の眼目でもあるか
とおもわれる。しかし、そもそもAGIなどの高度なAIがもた
らしうる「予期しない/意図しない行動による危険」に対処
する際に、予め対策を立てるということがどの程度可能な
のだろうか？かなり難しいのではないか？

参考資料： AI社会共創ワークショップ
https://www.slideshare.net/wba-initiative/ai-87957783
概要：広く生物学の進展を受けて倫理に関
わる、動物倫理学や進化倫理学といった分野
も進展している。将来出現する超AIは新たな
種族であることを考えれば、こうした分野の
知見を取り入れることは有益であろう。たと
えば人間以外の動物に対する差別的な扱い
（種差別）の観点から議論を進めることがで
きるだろう。例えば将来において超AIで構
成されるコミュニティにおいては「なぜホ
モ・サピエンスを差別すべきでないのか？」
ということが議論されても不思議ではない。
ここで「普遍化可能性」は、差別の禁止を
支える基本的な原理であると考えられる。し
かしながらAIにおいてはその普遍化可能性で
扱う対象となるエージェントに任意性がある
ことで、その適用は難しくなる。こうした
議論から私達が超AIと共存する未来におい
て、超AIが単に倫理的であれば十分なのかと
いう点について問題提起を行いたい。

汎用人工知能（AGI）と 人工超知能の安全と恩恵

More Related Content

What's hot

Similar to 汎用人工知能（AGI）と 人工超知能の安全と恩恵

More from The Whole Brain Architecture Initiative

Recently uploaded