中川裕志
理化学研究所・革新知能統合研究センター
「信頼できる AI 評価リスト」が提案されたが、63 項目のリストがあり、熟読するのは骨が
折れる。そこで、私が提案するパーソナル AI エージェントについて説明し、それが「信
頼できる AI 評価リスト」の各項目に該当するかどうかをチェックする方法で「信頼できる
AI 評価リスト」の役立ち感を調べてみた。第 1 部では、簡単にパーソナル AI エージェ
ントを説明し、第 2 部ではパーソナル AI エージェントに「信頼できる AI 評価リスト」を適
応した結果を示す。
第1部 パーソナル AI エージェントの概要
1.概念設計
まず、IEEE EAD 1e の Personal Data and Individual Agency の章で導入されている A
person’s A/IS agent すなわち個人を代理する Data Agent を AI 技術によって実現するパー
ソナル AI エージェント(以下では、PAI Agent と略記する)について説明する1
。
情報が溢れかえり、複雑化する一方の情報社会において、生身の人間が対峙できる時代は
終わり、外界と個人を仲介してくれる AI による個人の代理、すなわち PAI Agent が各個人
にとって不可欠な存在になる。
IT プラットフォームないし IT 経由の種々のサービスプロバイダが個人の生活に入り込
んでいる。また個人情報を預けて運用を任せる情報銀行なども存在している。これらを一般
人が利活用、運用するには自らの知識と操作だけでは困難なことが多く、PAI Agent の支援
が必要になるであろう。PAI Agent の概念を図1に示す。
1 ここでの PAI Agent は IEEE EAD 1e に書かれていることそのものではなく、そこに書
かれた指針を実装する場合の私案、および補足である。
HIGH-LEVEL EXPERT GROUP ON ARTIFICIAL INTELLIGENCE
TRUSTWORTHY AI ASSESSMENT LIST
信頼できる AI 評価リスト パーソナル AI エージェントへの適用例
図1.PAI Agent の概念
データ主体である個人の代理をする PAI Agent(図の中央)のデータ内容は、図の右側の
データ主体の個人データと、個人データを外部の事業者など(図の左側)が使う場合の利活
用条件群2
を格納した利活用条件 DB からなる。個人データも利活用条件 DB も PAI Agent
に最初から与えられているわけではない3
。最初からデータ主体が自身の個人データの利活
用条件を記述することはデータ主体にとって負担が大きい。加えて種々の利活用ケースを
事前に数え上げることは現実的ではない。よって、外部事業者との利活用に関するやり取り
において、既存の利活用条件に当てはまらない場合は、PAI Agent がその利活用の可否をデ
ータ主体に伺いを立て、データ主体の可否判断の結果を使って利活用条件を徐々に更新し
拡充していく。このような処理はデータベースの解釈、更新を含む知的処理が必要であるた
め、PAI Agent のデータ主体向けインタフェースと外部事業者向けインタフェースには AI
技術が使われる。
図2では PAI Agent は独立したソフトウェアのように描かれている。たしかにこのよう
2 英語では、terms and condition と表現する。
3 最初から利用条件をデータ主体が記述するシステムとして、PDE(Personal Data
Ecosystem)が提案されていたが、あまり普及していないようである。筆者がみたところで
は、利用条件の記述が難しく、IT 技術の専門家でもなければとても書けそうにないと思わ
れた。
データ主体の個人
データ
個人データを利活用で
きる条件 DB:目的、
コピー可不可、第 3 者
転送の可不可、利用可
能な時間 etc. etc…
外部の情報
環境・世界
データ主体
トラスト
できる?
この条件は
死後も有効
PAI Agent
な独立したソフトとして個人にスマホや個人対応するクラウドサーバ上で実現することも
ありえるだろう。一方で、情報銀行や SNS 業者の個人個人に対応したサービスを行う AI イ
ンタフェースとして実現されることもあるだろう。PAI Agent の具体的な実装は今後の課題
である。
2.死後のディジタル遺産データの扱い
次に考えるべきことは、PAI Agent はどのような期間においてデータ主体の代理をするか
という問題である。人間は生まれる前、すなわち胎児のときから両親の氏名や DNA という
個人情報を持っている。これを他者が知ろうと思えば知られてしまう可能性がある。成⾧し
て学校に通い、社会人として仕事をし、退職して死にいたるまで、常に自分の外側にある膨
大かつ複雑な情報の世界に係わり続けなければならない。死後は、SNS メッセージやメー
ルのような大量のディジタル遺産として個人データが残される。当然、死後は自分自身の個
人データを管理できない。あるいは認知症によって生物学的な死の前に自分の個人データ
が管理できなくなるかもしれない。つまり、データ主体自身が自らの意思で個人データを管
理できる期間とその前後にある自らの意思で管理できない⾧い期間にわたって、データ主
体を PAI Agent が代理をするようになれば、PAI Agent はどのような機能を持つべきかと
いう問題がある4
。このような状況を図2に示した。以下でこの図に沿って検討課題を説明
する。
妊娠と同時に発生する胎児に関する種々の個人データを格納するメディアとしては、⾧
く使われてきたのは母子手帳である。これを電子化し、内容も拡大した電子母子手帳は個人
データ格納メディアとして有力である。母子手帳と同様に電子母子手帳も母親あるいは父
親、場合によっては親権者が管理することになる。ただし、身⾧、体重や予防接種記録のよ
うに誰にでもわかりやすい情報に比べて、遺伝子など一般人にはわかりにくいデータの記
載も増えるだろう。すると、個人データがたくさん詰まった電子母子手帳の管理は一般人の
手に余ることが予想される。そこで電子母子手帳の情報管理を支援する手段として PAI
Agent が期待される。電子母子手帳に書かれた種々の個人データとその利用条件は図2に示
される形でデータベース化される。ただし、図2の右側にデータ主体は本人ではなく母親な
どである。
子供はやがて成⾧し、自分の個人データを自分で意識するようになると、PAI Agent のデ
ータ主体としての地位を母親などから譲り受ける。だが、この委譲に関しては、母親などと
子供の意見をすり合わせるという教育的ないし心理的な問題があり、実用化においてはリ
アルなケースを想定した分析、調査が行ったうえで、場合に応じた委譲方法を準備するとい
う課題がある。
4 科学研究費基盤(B)『情報ネットワーク社会における「死」の再定義』代表者:折田明
子。筆者も分担者として共同研究を行っている。
図2.誕生前と死後の個人データの扱い
さて、高齢になって個人データを自分でまったく管理できなくなる状況を考えてみる。生
物学的な死の後は管理できない。病気などで体力を失って死亡する場合は、病状によっては
自身の個人データを死のかなり前から管理できくなり、生物学的な死よりも情報的な死の
ほうが早く訪れる。例えば、認知症の場合は、情報的な死が生物学的死よりもかなり早い。
事故になどによる不慮の死では、生物学的な死と情報的な死がほぼ同時に起きる。
いずれの場合でも、PAI Agent は仕えていたデータ主体を失う。ただし、それまでのデー
タ主体が存命中の個人データの処理で蓄積された個人データの利活用条件 DB は存在する。
よって、これを使えば、生前と同じような個人データの処理ができる。問題はディジタル遺
産の処置である。ディジタル遺産とは、生前の SNS で発信した情報、送受信した電子メー
ル、さらに個人 PC ないし Dropbox や Google Drive などのクラウドストレージの残された
個人データを意味する。また、残されたファイルに書かれていた銀行アカウントやパスワー
ド、さらには暗号資産など、金銭的価値のあるディジタル遺産もある5
。
5 Edina Harbinja (2017) Post-mortem privacy 2.0: theory, law, and
technology,International Review of Law, Computers & Technology, 31:1, 26-
42,DOI:10.1080/13600869. 2017.1275116.
https://doi.org/10.1080/13600869.2017.1275116
生物学的誕生
生物学的な死
情報的誕生
情報的な死、例:認知症
情報的遺産 SNS
メッセージ etc.
DNA,
父母の氏名
複雑な外界の情報環境
自分で管理でき
る個人情報
自分で管理
できない個
人情報
自分で管理できな
い個人情報
パーソナル AI エージェント
まず、金銭的なディジタル遺産は、通常の金融資産と同様に相続人が決まれば相続される
ものである。遺言があれば、相続の手続きは従来と同じような方法で行えるように思える。
しかし、不慮の事故死など遺言がない場合は、厄介なことが起きる。すなわち、金融資産に
関する情報を知らなければ相続できないが、金融機関自身が保持している情報の場合、金融
機関が相続人候補には開示しないという問題がある。そのため故人の金融資産が塩漬けに
なって利用できなくなる問題がありえる。さらにディジタル銀行口座についての情報が含
まれたディジタル遺産を開示しないという Yahoo!のポリシーも報告されている6
。
では、相続人の候補者は金融資産情報が書いてある可能性のあるディジタル遺産を見て
よいのだろうか?ディジタル遺産には個人のプライバシーに係わるデータが記載されてい
る可能性が高いが、死者の個人データには個人情報保護法や GDPR は適用されないので、
法律的には一見許容されそうである。ところが、ディジタル遺産の中に存命中の第三者のプ
ライバシーに係わる個人データが書かれていると、これを相続人が見るのは、個人データの
第三者移転あるいは目的外使用になり、法律を遵守していないことになる。つまり、ディジ
タル遺産の内容は、仮に相続人が見ることを許容するように故人が遺言していたとしても、
相続人が見ることはできない7
。
この状況への解決策の一つが PAI Agent に蓄積されている個人データおよびその利用方
法のデータベースを死後に利用する方法である。蓄積されている情報へのアクセスを以下
の場合について考えてみる。
(1)PAI Agent 内部に蓄積された個人データの処理(財産的情報):この場合、個人データ
中に記載されている金融資産など財産的価値のある情報の記述を PAI Agent 自身が分析
して抽出し、提示する機能が必要である。
(2)PAI Agent 内部に蓄積された個人データの処理(第三者個人情報):PAI Agent に蓄積
された存命中の第三者のプライバシー情報は、自然人が見てしまうとその時点で個人情
報の第三者提供になり法的問題となる。したがって、PAI Agent 自身が、第三者に関する
プライバシー情報を認識して、消去ないしはアクセスできない処理を施す必要がある。こ
れは、外部情報、例えば当該第三者が存命中かどうかの調査、などの文脈依存的な自然言
語の意味解析技術が必要になり、解決可能性はあるにしても大きな技術課題である。
(3) PAI Agent の内部に個人データとして蓄積されているもの以外に SNS やメールサービ
ス事業者などの外部の組織に蓄積されているデータへのアカウントへのアクセス情報が
ある。これはいわゆるディジタル遺産であり、外部組織との間での死後データの扱いを決
めてあればその決め事の通りに処理できる。しかし、決めていない場合は、PAI Agent の
利用条件の記載、外部事業者との法的関係によることならざるを得ない。ここに法律的な
6 Natasha Chu, Protecting Privacy after Death, 13 Nw. J. Tech. & Intell. Prop 255
(2015).https://scholarlycommons.law.northwestern.edu/njtip/vol13/iss2/8
7 他者の個人データが書かれていなければ見ることはできるが、そのようなデータが書か
れているかどうかは、読んでみなければ分からないという矛盾に陥る。
資格をもつ第三者の介入する必要性があると考えられる。
データ主体の個人の生物学的死亡、ないしは情報的死亡に際しての PAI Agent への権限
の委譲方法は課題である。データ主体が情報的死亡以前に自分の意思で権限委譲の方法を
個人データ利用条件に記載しておくことが望ましい。財産的価値のあるディジタル遺産の
相続では、データ主体が個人データの利用条件にディジタル遺産の処理方法を記載してお
くことができる。ただし、法律的な資格をもつ第三者がこの条件の正統性、真正性を保証し
なければならないだろう。この問題は、PAI Agent の技術と、その法的位置づけの双方に関
連している。
また、死後のディジタル遺産の扱いついて利用条件に記載がない場合の処理はさらに問
題であり、法的措置の介入方法を定める必要がある。
第2部
HIGH-LEVEL EXPERT GROUP ON ARTIFICIAL INTELLIGENCE
TRUSTWORTHY AI ASSESSMENT LIST
信頼できる AI 評価リスト パーソナル AI エージェント(PAI Agent と略記)
への適用例
Qn. は評価リストの n 番目の質問、Qn-m は Qn の m 番目の枝質問を表す。 yes/no は
質問に対する PAI Agent 設計における回答を意味する。ただし、今後の課題である場合は、
そのことを明記している。Qn は Q1~Q63 まであり、以下のカテゴリーに分かれている。
1.人間のエージェンシーと監督
2.技術的堅牢性と安全性
3.プライバシーとデータガバナンス
4.透明性
5.多様性、非差別、公正性
6.社会的および環境的福祉
7.説明責任
回答はあくまで第 1 部で記述した PAI Agent の範囲で行った。PAI Agent の設計や実装が
進むと、yes と回答した部分のコメントはより詳細化さるだろうし、no と回答した部
分はyes になり、コメントも精密になるであろう。PAI Agent のような抽象的な概念レ
ベルでも、Q1~Q63 に答えようとすることにより、検討課題が明確化してくるというご利
益があることが分かった。
-----------------------------------
1.人間のエージェンシーと監督
基本的権利
Q1.-基本的権利に悪影響が及ぶ可能性がある場合、基本的権利影響評価を実施しました
か?
 yes
Q2. -異なる原則と権利の間で行われる潜在的なトレードオフを特定して文書化しました
か?
 yes
Q3 -AI システムは、人間(エンド)ユーザーによる決定(たとえば、推奨されるアクショ
ンや実行する決定、オプションの提示)と相互作用しますか?
 yes
Q3.1-AI システムは、(エンド)ユーザーの意思決定プロセスを意図しない方法で妨害する
ことにより、人間の自律性に影響を与える可能性がありますか?
 yes
Q3.2-意思決定、コンテンツ、アドバイス、または結果がアルゴリズムによる決定の結果で
あることを AI システムがユーザーに通知する必要があるかどうかを検討しましたか?
 yes
Q3.3-チャットボットまたはその他の会話システムの場合、人間のエンドユーザーは、人間
以外のエージェントと対話していることを知っていますか?
yes
人間のエージェンシー
Q4-AI システムは仕事と労働のプロセスに実装されていますか?もしそうなら、意味のあ
る相互作用と適切な人間の監視と制御のために AI システムと人間の間のタスク割り当てを
検討しましたか?
yes
Q4.1-AI システムは人間の能力を強化または増強しますか?
yes
Q4.2-AI プロセスへの過度の信頼または過度の依存を防止するために、作業プロセスのため
に安全対策を講じましたか?
yes and no PAI Agent への trust の在り方として検討
人間の監督
Q5-特定の AI システムとユースケースに適切なレベルの人間による制御を検討しました
か?
yes
Q5.1-人間による制御または関与のレベルを説明できますか?
yes
Q5.2-「管理下にある人間」とは誰ですか?人間の介入のための瞬間やツールは何ですか?
yes 介入の瞬間はモデル化した。ツールは開発中。
Q5.3-人間による制御または監視を確実にするためのメカニズムと対策を導入しました
か?
yes 複数の PAI Agent を平行して動かす方法を提案。
Q5.4-監査を有効にし、AI の自律性の管理に関連する問題を解決するための対策を講じまし
たか?
yes
Q5.3 の回答にある複数の PAI Agent を平行して動かす方法が監査に対しても有効です。
Q6-自己学習または自律 AI システムまたはユースケースはありますか?もしそうなら、あ
なたは統制と監視のより具体的なメカニズムを導入しましたか?
no 現在のところ、我々が提案する形の PAI Agent は実用化されていません。
Q6.1-問題が発生する可能性があるかどうかを評価するために、どの検出および応答メカニ
ズムを確立しましたか?
yes (1) Q5.3 の回答にある複数の PAI Agent を平行して動かす方法、(2) この目的のた
めに PAI Agent に対してデータ主体が個人データとその利用条件に対する問い合わせをで
きるようにする。
Q6.2-必要に応じて、操作を安全に中止するための停止ボタンまたは手順を確認しました
か?この手順では、プロセスを部分的に完全に中止しますか、それとも制御を人間に委任し
ますか?
no ただし、使用停止、再開はいつでもできる。
2.技術的堅牢性と安全性
攻撃に対する耐性とセキュリティ
Q7-AI システムが脆弱になる可能性がある攻撃の潜在的な形式を評価しましたか?
no
Q7.1-データ汚染、物理インフラストラクチャ、サイバー攻撃など、脆弱性のさまざまな種
類と性質を考慮しましたか?
no
Q7.2-潜在的な攻撃に対する AI システムの整合性と復元力を確保するための対策またはシ
ステムを導入しましたか?
yes いまのところ複数 PAI Agent 併用くらいしか対策はみえていない
Q8-予期しない状況や環境でのシステムの動作を確認しましたか?
 no ううむ。他人が乗っ取るようなことはあり得る。また、パーソナルデータの価値観や
保護法制の変化は考慮しきれていない。なお、死後のデータについてはかなり考えている。
Q9-システムがデュアルユースなる可能性をどの程度考慮しましたか?その場合、このケー
スに対して適切な予防策を講じましたか(たとえば、研究を公開しない、またはシステムを
展開しない)。
yes デュアルユースなる可能性はない。
フォールバック計画と一般的な安全性
Q10-システムが敵対的な攻撃やその他の予期しない状況(技術的な切り替え手順や続行す
る前に人間のオペレーターに尋ねるなど)に遭遇した場合に、システムに十分なフォールバ
ック計画があることを確認しましたか?
yes ◆パーソナルデータ利用規則は経年変化を全て記録してあるので、適切な時点まで戻
れる。また、複数システム併用なら、別のシステムの結果を読み替えて回復できるが、その
手法は今後の課題。
Q11-この特定のユースケースで AI システムによって発生するリスクのレベルを考慮しま
したか?
no ◆具体的な AI システムの形と応用分野が想定できないと、この質問は簡単には答え
られない。
Q11.1-リスクと安全性を測定および評価するためのプロセスを導入しましたか?
no ◆ 同上
Q11.2-人間の身体的完全性にリスクがある場合に必要な情報を提供しましたか?
yes 生物的な生死と個人情報的な生死のズレという基本問題は考察。具体的な対応策は
これからの研究開発課題。
Q11.3-AI システムによる潜在的な損害に対処するための保険契約を検討しましたか?
no ◆完全に欠落していた。
Q11.4-偶発的または悪意のある誤用を含む、技術の(その他の)予測可能な使用の潜在的な
安全リスクを特定しましたか?これらのリスクを軽減または管理する計画はありますか?
 no ◆完全に欠落していた。
Q12-AI システムがユーザーやサードパーティに損害や害を及ぼす可能性があるかどうか
を評価しましたか?可能性、潜在的な損傷、影響を受ける聴衆と深刻度を評価しましたか?
yes/no ◆部分的にしか評価方法を考えていない
Q12.1-責任と消費者保護のルールを検討し、それらを考慮に入れましたか?
 no ◆完全に欠落していた。
Q12.2-環境または動物への潜在的な影響または安全リスクを考慮しましたか?
 no
Q12.3-リスク分析には、サイバーセキュリティハザードなどのセキュリティまたはネット
ワークの問題が、AI システムの意図しない動作が原因で安全性のリスクまたは損傷をもた
らす可能性があるかどうかが含まれていましたか?
 no ◆問題点は認識していたが、複数の PAI Agent 利用しか検討しておらず。
Q13-誤った結果を提供したり、利用できなくなったり、社会的に受け入れられない結果(差
別など)を提供したりする場合の AI システムの障害の影響の可能性を推定しましたか?
 no ◆問題点は認識していたが、評価はできていなかった。
Q13.1-しきい値を定義し、代替/フォールバック計画をトリガーするためのガバナンス手順
を導入しましたか?
 no ◆問題点は認識していたが、この質問への対策は今後の課題。
Q13.2-フォールバック計画を定義してテストしましたか?
 no
精度
Q14-AI システムとユースケースのコンテキストで必要となる精度のレベルと定義を評価
しましたか?
no. ◆今後の課題。
Q14.1-精度の測定方法と保証方法を評価しましたか?
no. ◆今後の課題。
Q14.2-使用したデータが包括的で最新であることを確認するための対策を講じましたか?
no. ◆今後の課題。
Q14.3-精度を向上させるため、またはバイアスを排除するためなど、追加のデータが必要
かどうかを評価するための対策を講じていましたか?
no. ◆今後の課題。
Q15-AI システムが不正確な予測を行う場合、どのような害が発生するかを確認しました
か?
yes/no 予測はしたが確認方法までは未開発
Q16-システムが許容できない量の不正確な予測を行っているかどうかを測定する方法を導
入しましたか?
no. ◆今後の重要課題。
Q17-システムの精度を高めるために一連の手順を導入しましたか?
no. ◆今後の重要課題。
信頼性と再現性
Q18-AI システムが目標、目的、および目的のアプリケーションを満たしているかどうかを
監視およびテストする戦略を導入しましたか?
◆not yet.
Q18.1-再現性を確保するために特定のコンテキストまたは特定の条件を考慮する必要があ
るかどうかをテストしましたか?
◆not yet. 重要課題
Q18.2-システムの信頼性と再現性のさまざまな側面を測定および保証するための検証方法
を導入しましたか?
◆not yet. 重要課題
Q18.3-AI システムが特定のタイプの設定で失敗したときを説明するプロセスを導入しまし
たか?
◆not yet. 重要課題
Q18.4-AI システムの信頼性のテストと検証のために、これらのプロセスを明確に文書化し
て運用しましたか?
◆not yet. 重要課題
Q18.5-システムの信頼性を(エンド)ユーザーに保証するための通信メカニズムを確立し
ましたか?
◆not yet. 重要課題
3.プライバシーとデータガバナンス
プライバシーとデータ保護の尊重
Q19-このユースケースを考慮して、AI システムのデータ収集(トレーニングおよび操作用)
およびデータ処理のプロセスで、プライバシーまたはデータ保護に関連する問題を他のユ
ーザーがフラグできるメカニズムを確立しましたか?
no.
Q20-データセットのデータの種類と範囲(たとえば、個人データが含まれているかどうか
など)を評価しましたか?
 yes 死後のディジタル遺産は考察したが、それ以外は未着手
Q21-潜在的な機密データや個人データを使用せずに、または使用を最小限にして、AI シス
テムを開発する方法またはモデルをトレーニングする方法を検討しましたか?
 yes 同種の利用法について他の利用者の統計的傾向を利用
Q22-このユースケースでは、個人データを通知および制御するためのメカニズムを組み込
んでいますか(該当する場合、有効な同意や取り消しの可能性など)?
 yes
Q23-暗号化、匿名化、集約など、プライバシーを強化するための対策を講じましたか?
 yes
Q24-データプライバシー担当者(DPO)が存在する場合、プロセスの早い段階でこの人物
を関与させましたか?
 no
データの品質と整合性
Q25-システムを関連する標準(ISO、IEEE など)または日常的にデータを管理および管理
するために広く採用されているプロトコルに合わせましたか?
 no その実装レベルまで至っていない。
Q26-データの収集、保存、処理、使用のための監視メカニズムを確立しましたか?
 no その実装レベルまで至っていない。監視メカニズムの必要性は認識している。
Q27-使用する外部データソースの品質をどの程度管理しているかを評価しましたか?
 no 現在、データモデルの作成中。
Q28-データの品質と整合性を確保するためのプロセスを導入しましたか?他のプロセスを
検討しましたか?データセットが侵害またはハッキングされていないことをどのように確
認していますか?
 no 現在、データモデルの作成中。
データへのアクセス
Q29-適切なデータガバナンスを管理および保証するために、どのようなプロトコル、プロ
セス、および手順を実行しましたか?
no. ◆必須の課題
Q29.1-誰がユーザーのデータにアクセスできるか、およびどのような状況で評価しました
か?
 yes: 死後のデータについては検討中。存命中は未検討だが、必要。
Q29.2-これらの人物が資格を持ち、データにアクセスする必要があること、およびデータ
保護ポリシーの詳細を理解するために必要な能力を持っていることを確認しましたか?
 no
Q29.3-いつ、どこで、どのように、誰が、どのような目的でデータにアクセスしたかを記録
する監視メカニズムを確保しましたか?
no ◆必須の課題
4.透明性
トレーサビリティ
Q30-トレーサビリティを確保できる対策を講じましたか?これには、次の方法を文書化す
る必要がある場合があります。
yes 個人データ利用条件 DB を使ってトレースする予定。
Q31-アルゴリズムシステムの設計と開発に使用される方法:
yes 個人データ利用条件 DB を使ってトレースする予定。
Q31.1-ルールベースの AI システム:プログラミングの方法またはモデルの構築方法。
yes 個人データ利用条件 DB の設計中。
Q31.2-学習ベースの AI システム;どの入力データが収集および選択されたか、およびどの
ようにしてこれが発生したかを含む、アルゴリズムのトレーニング方法。
yes 個人データ利用条件 DB の更新方法の検討中。
Q32-アルゴリズムシステムのテストと検証に使用される方法:
Q32.1-ルールベースの AI システム;テストおよび検証するために使用されるシナリオまた
はケース。
yes 個人データ利用条件 DB を使ってシミュレート
Q32.2-学習ベースのモデル:テストと検証に使用されるデータに関する情報。
yes 個人データ利用条件 DB を使って更新結果を確認するシミュレーション
Q33-アルゴリズムシステムの結果:
Q33.1-アルゴリズムの結果またはアルゴリズムによって行われた決定、およびさまざまな
ケースから生じる可能性のある他の潜在的な決定(たとえば、ユーザーの他のサブグルー
プ)。
no
説明可能性
Q34-以下を評価しましたか:
Q34.1-AI システムによって行われた決定、したがって結果はどの程度理解できますか?
yes/no まさに研究課題
Q34.2-システムの決定は、組織の意思決定プロセスにどの程度影響しますか?
yes/no データ主体側には直接影響するし、データ主体も理解できるはずだが、サービス
提供事業者側への影響はかなり測定しにくい。
Q34.3-なぜこの特定のシステムがこの特定の領域に導入されたのですか?
yes 研究テーマのスライド参照のこと
Q34.4-システムのビジネスモデルはどのようなものですか(たとえば、組織にどのように
価値を生み出すか)。
yes 研究テーマのスライド参照のこと。特に IT プラットフォームにとっては将来的イン
タフェースの設計指針となる。
Q35-システムが特定の選択を行った結果、すべてのユーザーが理解できる特定の結果が得
られた理由を説明しましたか?
yes データ主体に対しては可能
Q36-最初から解釈可能性を考慮して AI システムを設計しましたか?
yes
Q36.1-問題のアプリケーションで可能な限り最も単純で解釈可能なモデルを調査して使用
しようとしましたか?
yes
Q36.2-トレーニングとテストのデータを分析できるかどうかを評価しましたか?これを時
間の経過とともに変更および更新できますか?
yes PAI Agent の仕様がそうなっている
Q36.3-モデルのトレーニングと開発後に解釈可能性を検証できるかどうか、またはモデル
の内部ワークフローにアクセスできるかどうかを評価しましたか?
no これからの課題
コミュニケーション
Q37-(エンド)ユーザーに、免責事項またはその他の手段を通じて、別の人間ではなく AI
システムと対話していることを伝えましたか? AI システムにそのようなラベルを付けま
したか?
 yes. システムの仕様上そうなる。
Q38-AI システムの結果の背後にある理由と基準について(エンド)ユーザーに通知するメ
カニズムを確立しましたか?
yes
Q38.1-これを意図した対象者に明確かつわかりやすく伝えましたか?
yes PAI Agent が動き出せば当然そうなる。
Q38.2-ユーザーのフィードバックを考慮し、これを使用してシステムを適応させるプロセ
スを確立しましたか?
 yes
Q38.3-バイアスなどの潜在的または認識されているリスクについてコミュニケーションを
とりましたか?
yes PAI Agent の仕様に組み込む
Q38.4-この使用例を考慮して、他の聴衆、第三者、または一般の人々に対するコミュニケー
ションと透明性を考慮しましたか?
no
Q39-AI システムの目的、および製品/サービスから誰または何がメリットを受ける可能性
があるのかを明確にしましたか?
yes
Q39.1-製品の使用シナリオを指定し、意図した対象者にとって理解可能で適切であること
を保証するためにこれらを明確に伝えましたか?
yes
Q39.2-このユースケースを考慮して、人間の心理学と、混乱のリスク、確認バイアス、認知
疲労などの潜在的な制限について考えましたか?
yes PAI Agent の仕様に組み込む
Q40-AI システムの特性、制限、潜在的な欠点を明確に伝えましたか?
 yes
Q40.1-システムの開発の場合:それを製品またはサービスに展開している誰にでも?
yes
Q40.2-システムの導入の場合:(エンド)ユーザーまたはコンシューマーへ?
yes
5.多様性、非差別、公正性
不当なバイアス回避
Q41-入力データの使用とアルゴリズム設計の両方に関して、AI システムで不当なバイアス
を作成または強化することを回避するための戦略または一連の手順を確立しましたか?
no
Q41.1-使用されたデータセットの構成に起因する可能性のある制限を評価して認めました
か?
no
Q41.2-データの多様性とユーザーの代表性を考慮しましたか?特定の母集団または問題の
あるユースケースをテストしましたか?
no そもそもユーザの代表性が設定できるかどうかが不明。
Q41.3-データ、モデル、パフォーマンスの理解を深めるために、利用可能な技術ツールを調
査して使用しましたか?
no
Q41.4-システムの開発、展開、および使用フェーズ中に潜在的なバイアスをテストおよび
監視するためのプロセスを導入しましたか?no
Q42 –このユースケースを考慮して、AI システムのバイアス、差別、またはパフォーマンス
の低下に関連する問題を他のユーザーが報告できるメカニズムを確保しましたか?
no
Q42.1-そのような問題をどのように誰に提起できるかについて、明確な手順とコミュニケ
ーション方法を確立しましたか?
no
Q42.2-(エンド)ユーザーに加えて、AI システムによって間接的に影響を受ける可能性の
ある他のユーザーを考慮しましたか?
no
Q43-同じ条件下で起こり得る意思決定のばらつきがあるかどうかを評価しましたか?
no PAI Agent における設計上の課題
Q43.1-その場合、考えられる原因は何ですか?
個人の気まぐれないしはメンタリティの時間変化
Q43.2-変動性の場合、基本的権利に対するそのような変動性の潜在的影響の測定または評
価メカニズムを確立しましたか?
no
Q44-この AI システムの設計に適用する「公平性」の適切な実用的な定義を確認しました
か?
no
Q44.1-あなたの定義は一般的に使用されていますか?これを選択する前に、他の定義を検
討しましたか?
no
Q44.2-適用された公平性の定義を測定およびテストするための定量分析または測定基準を
no
確保しましたか?
Q44.3-AI システムの公平性を確保するためのメカニズムを確立しましたか?他の潜在的な
メカニズムを検討しましたか?
no
アクセシビリティとユニバーサルデザイン
Q45-AI システムが幅広い個人の好みや能力に対応していることを確認しましたか?
 yes
Q45.1-特別なニーズや障害を持つ人、または除外のリスクがある人が AI システムを使用で
きるかどうかを評価しましたか?これはどのようにシステムに組み込まれ、どのように検
証されましたか?
no ただし、使う人の個別事情は PAI Agent のデータ主体インタフェース設計時に検討す
る
Q45.2-AI システムに関する情報に支援技術のユーザーもアクセスできることを確認しまし
たか?
no
Q45.3-AI システムの開発段階で、このコミュニティに関与または相談しましたか?
no
Q46-AI システムが潜在的なユーザーオーディエンスに与える影響を考慮しましたか?
no
Q46.1-AI システムの構築に関与するチームがターゲットユーザーのオーディエンスを代表
しているかどうかを評価しましたか?接線方向に影響を受ける可能性のある他のグループ
も考慮して、それはより広い人口の代表ですか?
no
Q46.2-否定的な影響によって過度に影響を受ける可能性のある人物またはグループが存在
するかどうかを評価しましたか?
no
Q46.3-異なる背景や経験を表す他のチームまたはグループからフィードバックを受け取り
ましたか?
no
利害関係者の参加
Q47-AI システムの開発と使用にさまざまな利害関係者の参加を含めるメカニズムを検討
しましたか?
no
Q48-影響を受ける労働者とその代表者に事前に情報を提供し、関与させることにより、組
織に AI システムを導入するための道を開いたか。
no この Q は適用しない。
6.社会的および環境的福祉
持続可能で環境に優しい AI
Q49-AI システムの開発、展開、および使用による環境への影響を測定するメカニズムを確
立しましたか(たとえば、データセンターで使用されるエネルギーの種類)。
no
Q50-AI システムのライフサイクルの環境への影響を減らすための対策を確保しました
か?
no
社会的影響
Q51-AI システムが人間と直接対話する場合:
Q51.1-AI システムが人間にシステムへの愛着と共感を育てるように促すかどうかを評価し
ましたか?
no
Q51.2-AI システムがその社会的相互作用がシミュレートされていること、および「理解」
や「感じ」の能力がないことを明確に通知していることを確認しましたか?
no
Q52-AI システムの社会的影響が十分に理解されていることを確認しましたか?たとえば、
失業や労働力のスキル低下のリスクがあるかどうかを評価しましたか?そのようなリスク
に対抗するためにどのような措置が取られましたか?
no
社会と民主主義
Q53-間接的に影響を受ける可能性のある利害関係者など、個人(エンド)ユーザーを超え
た AI システムの使用のより広範な社会的影響を評価しましたか?
no 重要な研究課題
7.説明責任
監査能力
Q54-AI システムのプロセスと結果の追跡可能性とロギングの確保など、システムの監査可
能性を促進するメカニズムを確立しましたか?
yes 個人データ利用条件 DB のログによる
Q55-基本システムの権利に影響を与えるアプリケーション(安全上重要なアプリケーショ
ンを含む)で、AI システムを個別に監査できることを確認しましたか?
no
マイナスの影響の最小化と報告
Q56-(間接的に)直接影響を受けるさまざまな利害関係者を考慮に入れて、AI システムの
リスクまたは影響評価を実施しましたか?
no
Q57-アカウンタビリティプラクティスの開発に役立つトレーニングと教育を提供しました
か?
no
Q57.1-チームのどのワーカーまたはブランチが関与していますか?開発段階を超えていま
すか?
no
Q57.2-これらのトレーニングは、AI システムに適用可能な潜在的な法的枠組みも教えます
か?
no
Q57.3-「倫理的な AI レビューボード」または同様のメカニズムを確立して、不明確な可能
性のある灰色の領域を含め、全体的な説明責任と倫理の実践について話し合うことを検討
しましたか?
no PAI Agent の実用化にあたっては必要
Q58-内部のイニシアチブに加えて、倫理や説明責任を監督するために、何らかの外部ガイ
ダンスを予測したり、監査プロセスを導入したりしましたか?
no PAI Agent の実用化にあたっては必要
Q59-AI システムの潜在的な脆弱性、リスク、またはバイアスを報告するためのサードパー
ティ(サプライヤー、コンシューマー、ディストリビューター/ベンダーなど)または労働
者のプロセスを確立しましたか?
no
トレードオフの文書化
Q60-AI システムに関連する関連する利益と価値、およびそれらの間の潜在的なトレードオ
フを特定するメカニズムを確立しましたか?
no
Q61-このようなトレードオフをどのように決定しますか?トレードオフの決定が文書化さ
れていることを確認しましたか?
no
救済能力
Q62-危害や悪影響が発生した場合の救済を可能にする適切な一連のメカニズムを確立しま
したか?
no
Q63-救済の機会について(エンド)ユーザー/サードパーティに情報を提供するメカニズム
を導入しましたか?
no

信頼できるAI評価リスト パーソナルAIエージェントへの適用例

  • 1.
    中川裕志 理化学研究所・革新知能統合研究センター 「信頼できる AI 評価リスト」が提案されたが、63項目のリストがあり、熟読するのは骨が 折れる。そこで、私が提案するパーソナル AI エージェントについて説明し、それが「信 頼できる AI 評価リスト」の各項目に該当するかどうかをチェックする方法で「信頼できる AI 評価リスト」の役立ち感を調べてみた。第 1 部では、簡単にパーソナル AI エージェ ントを説明し、第 2 部ではパーソナル AI エージェントに「信頼できる AI 評価リスト」を適 応した結果を示す。 第1部 パーソナル AI エージェントの概要 1.概念設計 まず、IEEE EAD 1e の Personal Data and Individual Agency の章で導入されている A person’s A/IS agent すなわち個人を代理する Data Agent を AI 技術によって実現するパー ソナル AI エージェント(以下では、PAI Agent と略記する)について説明する1 。 情報が溢れかえり、複雑化する一方の情報社会において、生身の人間が対峙できる時代は 終わり、外界と個人を仲介してくれる AI による個人の代理、すなわち PAI Agent が各個人 にとって不可欠な存在になる。 IT プラットフォームないし IT 経由の種々のサービスプロバイダが個人の生活に入り込 んでいる。また個人情報を預けて運用を任せる情報銀行なども存在している。これらを一般 人が利活用、運用するには自らの知識と操作だけでは困難なことが多く、PAI Agent の支援 が必要になるであろう。PAI Agent の概念を図1に示す。 1 ここでの PAI Agent は IEEE EAD 1e に書かれていることそのものではなく、そこに書 かれた指針を実装する場合の私案、および補足である。 HIGH-LEVEL EXPERT GROUP ON ARTIFICIAL INTELLIGENCE TRUSTWORTHY AI ASSESSMENT LIST 信頼できる AI 評価リスト パーソナル AI エージェントへの適用例
  • 2.
    図1.PAI Agent の概念 データ主体である個人の代理をするPAI Agent(図の中央)のデータ内容は、図の右側の データ主体の個人データと、個人データを外部の事業者など(図の左側)が使う場合の利活 用条件群2 を格納した利活用条件 DB からなる。個人データも利活用条件 DB も PAI Agent に最初から与えられているわけではない3 。最初からデータ主体が自身の個人データの利活 用条件を記述することはデータ主体にとって負担が大きい。加えて種々の利活用ケースを 事前に数え上げることは現実的ではない。よって、外部事業者との利活用に関するやり取り において、既存の利活用条件に当てはまらない場合は、PAI Agent がその利活用の可否をデ ータ主体に伺いを立て、データ主体の可否判断の結果を使って利活用条件を徐々に更新し 拡充していく。このような処理はデータベースの解釈、更新を含む知的処理が必要であるた め、PAI Agent のデータ主体向けインタフェースと外部事業者向けインタフェースには AI 技術が使われる。 図2では PAI Agent は独立したソフトウェアのように描かれている。たしかにこのよう 2 英語では、terms and condition と表現する。 3 最初から利用条件をデータ主体が記述するシステムとして、PDE(Personal Data Ecosystem)が提案されていたが、あまり普及していないようである。筆者がみたところで は、利用条件の記述が難しく、IT 技術の専門家でもなければとても書けそうにないと思わ れた。 データ主体の個人 データ 個人データを利活用で きる条件 DB:目的、 コピー可不可、第 3 者 転送の可不可、利用可 能な時間 etc. etc… 外部の情報 環境・世界 データ主体 トラスト できる? この条件は 死後も有効 PAI Agent
  • 3.
    な独立したソフトとして個人にスマホや個人対応するクラウドサーバ上で実現することも ありえるだろう。一方で、情報銀行や SNS 業者の個人個人に対応したサービスを行うAI イ ンタフェースとして実現されることもあるだろう。PAI Agent の具体的な実装は今後の課題 である。 2.死後のディジタル遺産データの扱い 次に考えるべきことは、PAI Agent はどのような期間においてデータ主体の代理をするか という問題である。人間は生まれる前、すなわち胎児のときから両親の氏名や DNA という 個人情報を持っている。これを他者が知ろうと思えば知られてしまう可能性がある。成⾧し て学校に通い、社会人として仕事をし、退職して死にいたるまで、常に自分の外側にある膨 大かつ複雑な情報の世界に係わり続けなければならない。死後は、SNS メッセージやメー ルのような大量のディジタル遺産として個人データが残される。当然、死後は自分自身の個 人データを管理できない。あるいは認知症によって生物学的な死の前に自分の個人データ が管理できなくなるかもしれない。つまり、データ主体自身が自らの意思で個人データを管 理できる期間とその前後にある自らの意思で管理できない⾧い期間にわたって、データ主 体を PAI Agent が代理をするようになれば、PAI Agent はどのような機能を持つべきかと いう問題がある4 。このような状況を図2に示した。以下でこの図に沿って検討課題を説明 する。 妊娠と同時に発生する胎児に関する種々の個人データを格納するメディアとしては、⾧ く使われてきたのは母子手帳である。これを電子化し、内容も拡大した電子母子手帳は個人 データ格納メディアとして有力である。母子手帳と同様に電子母子手帳も母親あるいは父 親、場合によっては親権者が管理することになる。ただし、身⾧、体重や予防接種記録のよ うに誰にでもわかりやすい情報に比べて、遺伝子など一般人にはわかりにくいデータの記 載も増えるだろう。すると、個人データがたくさん詰まった電子母子手帳の管理は一般人の 手に余ることが予想される。そこで電子母子手帳の情報管理を支援する手段として PAI Agent が期待される。電子母子手帳に書かれた種々の個人データとその利用条件は図2に示 される形でデータベース化される。ただし、図2の右側にデータ主体は本人ではなく母親な どである。 子供はやがて成⾧し、自分の個人データを自分で意識するようになると、PAI Agent のデ ータ主体としての地位を母親などから譲り受ける。だが、この委譲に関しては、母親などと 子供の意見をすり合わせるという教育的ないし心理的な問題があり、実用化においてはリ アルなケースを想定した分析、調査が行ったうえで、場合に応じた委譲方法を準備するとい う課題がある。 4 科学研究費基盤(B)『情報ネットワーク社会における「死」の再定義』代表者:折田明 子。筆者も分担者として共同研究を行っている。
  • 4.
    図2.誕生前と死後の個人データの扱い さて、高齢になって個人データを自分でまったく管理できなくなる状況を考えてみる。生 物学的な死の後は管理できない。病気などで体力を失って死亡する場合は、病状によっては 自身の個人データを死のかなり前から管理できくなり、生物学的な死よりも情報的な死の ほうが早く訪れる。例えば、認知症の場合は、情報的な死が生物学的死よりもかなり早い。 事故になどによる不慮の死では、生物学的な死と情報的な死がほぼ同時に起きる。 いずれの場合でも、PAI Agent は仕えていたデータ主体を失う。ただし、それまでのデー タ主体が存命中の個人データの処理で蓄積された個人データの利活用条件DB は存在する。 よって、これを使えば、生前と同じような個人データの処理ができる。問題はディジタル遺 産の処置である。ディジタル遺産とは、生前の SNS で発信した情報、送受信した電子メー ル、さらに個人 PC ないし Dropbox や Google Drive などのクラウドストレージの残された 個人データを意味する。また、残されたファイルに書かれていた銀行アカウントやパスワー ド、さらには暗号資産など、金銭的価値のあるディジタル遺産もある5 。 5 Edina Harbinja (2017) Post-mortem privacy 2.0: theory, law, and technology,International Review of Law, Computers & Technology, 31:1, 26- 42,DOI:10.1080/13600869. 2017.1275116. https://doi.org/10.1080/13600869.2017.1275116 生物学的誕生 生物学的な死 情報的誕生 情報的な死、例:認知症 情報的遺産 SNS メッセージ etc. DNA, 父母の氏名 複雑な外界の情報環境 自分で管理でき る個人情報 自分で管理 できない個 人情報 自分で管理できな い個人情報 パーソナル AI エージェント
  • 5.
    まず、金銭的なディジタル遺産は、通常の金融資産と同様に相続人が決まれば相続される ものである。遺言があれば、相続の手続きは従来と同じような方法で行えるように思える。 しかし、不慮の事故死など遺言がない場合は、厄介なことが起きる。すなわち、金融資産に 関する情報を知らなければ相続できないが、金融機関自身が保持している情報の場合、金融 機関が相続人候補には開示しないという問題がある。そのため故人の金融資産が塩漬けに なって利用できなくなる問題がありえる。さらにディジタル銀行口座についての情報が含 まれたディジタル遺産を開示しないという Yahoo!のポリシーも報告されている6 。 では、相続人の候補者は金融資産情報が書いてある可能性のあるディジタル遺産を見て よいのだろうか?ディジタル遺産には個人のプライバシーに係わるデータが記載されてい る可能性が高いが、死者の個人データには個人情報保護法や GDPRは適用されないので、 法律的には一見許容されそうである。ところが、ディジタル遺産の中に存命中の第三者のプ ライバシーに係わる個人データが書かれていると、これを相続人が見るのは、個人データの 第三者移転あるいは目的外使用になり、法律を遵守していないことになる。つまり、ディジ タル遺産の内容は、仮に相続人が見ることを許容するように故人が遺言していたとしても、 相続人が見ることはできない7 。 この状況への解決策の一つが PAI Agent に蓄積されている個人データおよびその利用方 法のデータベースを死後に利用する方法である。蓄積されている情報へのアクセスを以下 の場合について考えてみる。 (1)PAI Agent 内部に蓄積された個人データの処理(財産的情報):この場合、個人データ 中に記載されている金融資産など財産的価値のある情報の記述を PAI Agent 自身が分析 して抽出し、提示する機能が必要である。 (2)PAI Agent 内部に蓄積された個人データの処理(第三者個人情報):PAI Agent に蓄積 された存命中の第三者のプライバシー情報は、自然人が見てしまうとその時点で個人情 報の第三者提供になり法的問題となる。したがって、PAI Agent 自身が、第三者に関する プライバシー情報を認識して、消去ないしはアクセスできない処理を施す必要がある。こ れは、外部情報、例えば当該第三者が存命中かどうかの調査、などの文脈依存的な自然言 語の意味解析技術が必要になり、解決可能性はあるにしても大きな技術課題である。 (3) PAI Agent の内部に個人データとして蓄積されているもの以外に SNS やメールサービ ス事業者などの外部の組織に蓄積されているデータへのアカウントへのアクセス情報が ある。これはいわゆるディジタル遺産であり、外部組織との間での死後データの扱いを決 めてあればその決め事の通りに処理できる。しかし、決めていない場合は、PAI Agent の 利用条件の記載、外部事業者との法的関係によることならざるを得ない。ここに法律的な 6 Natasha Chu, Protecting Privacy after Death, 13 Nw. J. Tech. & Intell. Prop 255 (2015).https://scholarlycommons.law.northwestern.edu/njtip/vol13/iss2/8 7 他者の個人データが書かれていなければ見ることはできるが、そのようなデータが書か れているかどうかは、読んでみなければ分からないという矛盾に陥る。
  • 6.
    資格をもつ第三者の介入する必要性があると考えられる。 データ主体の個人の生物学的死亡、ないしは情報的死亡に際しての PAI Agentへの権限 の委譲方法は課題である。データ主体が情報的死亡以前に自分の意思で権限委譲の方法を 個人データ利用条件に記載しておくことが望ましい。財産的価値のあるディジタル遺産の 相続では、データ主体が個人データの利用条件にディジタル遺産の処理方法を記載してお くことができる。ただし、法律的な資格をもつ第三者がこの条件の正統性、真正性を保証し なければならないだろう。この問題は、PAI Agent の技術と、その法的位置づけの双方に関 連している。 また、死後のディジタル遺産の扱いついて利用条件に記載がない場合の処理はさらに問 題であり、法的措置の介入方法を定める必要がある。
  • 7.
    第2部 HIGH-LEVEL EXPERT GROUPON ARTIFICIAL INTELLIGENCE TRUSTWORTHY AI ASSESSMENT LIST 信頼できる AI 評価リスト パーソナル AI エージェント(PAI Agent と略記) への適用例 Qn. は評価リストの n 番目の質問、Qn-m は Qn の m 番目の枝質問を表す。 yes/no は 質問に対する PAI Agent 設計における回答を意味する。ただし、今後の課題である場合は、 そのことを明記している。Qn は Q1~Q63 まであり、以下のカテゴリーに分かれている。 1.人間のエージェンシーと監督 2.技術的堅牢性と安全性 3.プライバシーとデータガバナンス 4.透明性 5.多様性、非差別、公正性 6.社会的および環境的福祉 7.説明責任 回答はあくまで第 1 部で記述した PAI Agent の範囲で行った。PAI Agent の設計や実装が 進むと、yes と回答した部分のコメントはより詳細化さるだろうし、no と回答した部 分はyes になり、コメントも精密になるであろう。PAI Agent のような抽象的な概念レ ベルでも、Q1~Q63 に答えようとすることにより、検討課題が明確化してくるというご利 益があることが分かった。 ----------------------------------- 1.人間のエージェンシーと監督 基本的権利 Q1.-基本的権利に悪影響が及ぶ可能性がある場合、基本的権利影響評価を実施しました か?  yes Q2. -異なる原則と権利の間で行われる潜在的なトレードオフを特定して文書化しました か?  yes
  • 8.
    Q3 -AI システムは、人間(エンド)ユーザーによる決定(たとえば、推奨されるアクショ ンや実行する決定、オプションの提示)と相互作用しますか? yes Q3.1-AI システムは、(エンド)ユーザーの意思決定プロセスを意図しない方法で妨害する ことにより、人間の自律性に影響を与える可能性がありますか?  yes Q3.2-意思決定、コンテンツ、アドバイス、または結果がアルゴリズムによる決定の結果で あることを AI システムがユーザーに通知する必要があるかどうかを検討しましたか?  yes Q3.3-チャットボットまたはその他の会話システムの場合、人間のエンドユーザーは、人間 以外のエージェントと対話していることを知っていますか? yes 人間のエージェンシー Q4-AI システムは仕事と労働のプロセスに実装されていますか?もしそうなら、意味のあ る相互作用と適切な人間の監視と制御のために AI システムと人間の間のタスク割り当てを 検討しましたか? yes Q4.1-AI システムは人間の能力を強化または増強しますか? yes Q4.2-AI プロセスへの過度の信頼または過度の依存を防止するために、作業プロセスのため に安全対策を講じましたか? yes and no PAI Agent への trust の在り方として検討 人間の監督 Q5-特定の AI システムとユースケースに適切なレベルの人間による制御を検討しました か? yes Q5.1-人間による制御または関与のレベルを説明できますか? yes Q5.2-「管理下にある人間」とは誰ですか?人間の介入のための瞬間やツールは何ですか? yes 介入の瞬間はモデル化した。ツールは開発中。 Q5.3-人間による制御または監視を確実にするためのメカニズムと対策を導入しました か?
  • 9.
    yes 複数の PAIAgent を平行して動かす方法を提案。 Q5.4-監査を有効にし、AI の自律性の管理に関連する問題を解決するための対策を講じまし たか? yes Q5.3 の回答にある複数の PAI Agent を平行して動かす方法が監査に対しても有効です。 Q6-自己学習または自律 AI システムまたはユースケースはありますか?もしそうなら、あ なたは統制と監視のより具体的なメカニズムを導入しましたか? no 現在のところ、我々が提案する形の PAI Agent は実用化されていません。 Q6.1-問題が発生する可能性があるかどうかを評価するために、どの検出および応答メカニ ズムを確立しましたか? yes (1) Q5.3 の回答にある複数の PAI Agent を平行して動かす方法、(2) この目的のた めに PAI Agent に対してデータ主体が個人データとその利用条件に対する問い合わせをで きるようにする。 Q6.2-必要に応じて、操作を安全に中止するための停止ボタンまたは手順を確認しました か?この手順では、プロセスを部分的に完全に中止しますか、それとも制御を人間に委任し ますか? no ただし、使用停止、再開はいつでもできる。 2.技術的堅牢性と安全性 攻撃に対する耐性とセキュリティ Q7-AI システムが脆弱になる可能性がある攻撃の潜在的な形式を評価しましたか? no Q7.1-データ汚染、物理インフラストラクチャ、サイバー攻撃など、脆弱性のさまざまな種 類と性質を考慮しましたか? no Q7.2-潜在的な攻撃に対する AI システムの整合性と復元力を確保するための対策またはシ ステムを導入しましたか? yes いまのところ複数 PAI Agent 併用くらいしか対策はみえていない Q8-予期しない状況や環境でのシステムの動作を確認しましたか?  no ううむ。他人が乗っ取るようなことはあり得る。また、パーソナルデータの価値観や 保護法制の変化は考慮しきれていない。なお、死後のデータについてはかなり考えている。
  • 10.
    Q9-システムがデュアルユースなる可能性をどの程度考慮しましたか?その場合、このケー スに対して適切な予防策を講じましたか(たとえば、研究を公開しない、またはシステムを 展開しない)。 yes デュアルユースなる可能性はない。 フォールバック計画と一般的な安全性 Q10-システムが敵対的な攻撃やその他の予期しない状況(技術的な切り替え手順や続行す る前に人間のオペレーターに尋ねるなど)に遭遇した場合に、システムに十分なフォールバ ック計画があることを確認しましたか? yes ◆パーソナルデータ利用規則は経年変化を全て記録してあるので、適切な時点まで戻 れる。また、複数システム併用なら、別のシステムの結果を読み替えて回復できるが、その 手法は今後の課題。 Q11-この特定のユースケースでAI システムによって発生するリスクのレベルを考慮しま したか? no ◆具体的な AI システムの形と応用分野が想定できないと、この質問は簡単には答え られない。 Q11.1-リスクと安全性を測定および評価するためのプロセスを導入しましたか? no ◆ 同上 Q11.2-人間の身体的完全性にリスクがある場合に必要な情報を提供しましたか? yes 生物的な生死と個人情報的な生死のズレという基本問題は考察。具体的な対応策は これからの研究開発課題。 Q11.3-AI システムによる潜在的な損害に対処するための保険契約を検討しましたか? no ◆完全に欠落していた。 Q11.4-偶発的または悪意のある誤用を含む、技術の(その他の)予測可能な使用の潜在的な 安全リスクを特定しましたか?これらのリスクを軽減または管理する計画はありますか?  no ◆完全に欠落していた。 Q12-AI システムがユーザーやサードパーティに損害や害を及ぼす可能性があるかどうか を評価しましたか?可能性、潜在的な損傷、影響を受ける聴衆と深刻度を評価しましたか? yes/no ◆部分的にしか評価方法を考えていない Q12.1-責任と消費者保護のルールを検討し、それらを考慮に入れましたか?  no ◆完全に欠落していた。 Q12.2-環境または動物への潜在的な影響または安全リスクを考慮しましたか?  no
  • 11.
    Q12.3-リスク分析には、サイバーセキュリティハザードなどのセキュリティまたはネット ワークの問題が、AI システムの意図しない動作が原因で安全性のリスクまたは損傷をもた らす可能性があるかどうかが含まれていましたか?  no◆問題点は認識していたが、複数の PAI Agent 利用しか検討しておらず。 Q13-誤った結果を提供したり、利用できなくなったり、社会的に受け入れられない結果(差 別など)を提供したりする場合の AI システムの障害の影響の可能性を推定しましたか?  no ◆問題点は認識していたが、評価はできていなかった。 Q13.1-しきい値を定義し、代替/フォールバック計画をトリガーするためのガバナンス手順 を導入しましたか?  no ◆問題点は認識していたが、この質問への対策は今後の課題。 Q13.2-フォールバック計画を定義してテストしましたか?  no 精度 Q14-AI システムとユースケースのコンテキストで必要となる精度のレベルと定義を評価 しましたか? no. ◆今後の課題。 Q14.1-精度の測定方法と保証方法を評価しましたか? no. ◆今後の課題。 Q14.2-使用したデータが包括的で最新であることを確認するための対策を講じましたか? no. ◆今後の課題。 Q14.3-精度を向上させるため、またはバイアスを排除するためなど、追加のデータが必要 かどうかを評価するための対策を講じていましたか? no. ◆今後の課題。 Q15-AI システムが不正確な予測を行う場合、どのような害が発生するかを確認しました か? yes/no 予測はしたが確認方法までは未開発 Q16-システムが許容できない量の不正確な予測を行っているかどうかを測定する方法を導 入しましたか? no. ◆今後の重要課題。 Q17-システムの精度を高めるために一連の手順を導入しましたか? no. ◆今後の重要課題。
  • 12.
    信頼性と再現性 Q18-AI システムが目標、目的、および目的のアプリケーションを満たしているかどうかを 監視およびテストする戦略を導入しましたか? ◆not yet. Q18.1-再現性を確保するために特定のコンテキストまたは特定の条件を考慮する必要があ るかどうかをテストしましたか? ◆notyet. 重要課題 Q18.2-システムの信頼性と再現性のさまざまな側面を測定および保証するための検証方法 を導入しましたか? ◆not yet. 重要課題 Q18.3-AI システムが特定のタイプの設定で失敗したときを説明するプロセスを導入しまし たか? ◆not yet. 重要課題 Q18.4-AI システムの信頼性のテストと検証のために、これらのプロセスを明確に文書化し て運用しましたか? ◆not yet. 重要課題 Q18.5-システムの信頼性を(エンド)ユーザーに保証するための通信メカニズムを確立し ましたか? ◆not yet. 重要課題 3.プライバシーとデータガバナンス プライバシーとデータ保護の尊重 Q19-このユースケースを考慮して、AI システムのデータ収集(トレーニングおよび操作用) およびデータ処理のプロセスで、プライバシーまたはデータ保護に関連する問題を他のユ ーザーがフラグできるメカニズムを確立しましたか? no. Q20-データセットのデータの種類と範囲(たとえば、個人データが含まれているかどうか など)を評価しましたか?  yes 死後のディジタル遺産は考察したが、それ以外は未着手 Q21-潜在的な機密データや個人データを使用せずに、または使用を最小限にして、AI シス テムを開発する方法またはモデルをトレーニングする方法を検討しましたか?
  • 13.
     yes 同種の利用法について他の利用者の統計的傾向を利用 Q22-このユースケースでは、個人データを通知および制御するためのメカニズムを組み込 んでいますか(該当する場合、有効な同意や取り消しの可能性など)? yes Q23-暗号化、匿名化、集約など、プライバシーを強化するための対策を講じましたか?  yes Q24-データプライバシー担当者(DPO)が存在する場合、プロセスの早い段階でこの人物 を関与させましたか?  no データの品質と整合性 Q25-システムを関連する標準(ISO、IEEE など)または日常的にデータを管理および管理 するために広く採用されているプロトコルに合わせましたか?  no その実装レベルまで至っていない。 Q26-データの収集、保存、処理、使用のための監視メカニズムを確立しましたか?  no その実装レベルまで至っていない。監視メカニズムの必要性は認識している。 Q27-使用する外部データソースの品質をどの程度管理しているかを評価しましたか?  no 現在、データモデルの作成中。 Q28-データの品質と整合性を確保するためのプロセスを導入しましたか?他のプロセスを 検討しましたか?データセットが侵害またはハッキングされていないことをどのように確 認していますか?  no 現在、データモデルの作成中。 データへのアクセス Q29-適切なデータガバナンスを管理および保証するために、どのようなプロトコル、プロ セス、および手順を実行しましたか? no. ◆必須の課題 Q29.1-誰がユーザーのデータにアクセスできるか、およびどのような状況で評価しました
  • 14.
    か?  yes: 死後のデータについては検討中。存命中は未検討だが、必要。 Q29.2-これらの人物が資格を持ち、データにアクセスする必要があること、およびデータ 保護ポリシーの詳細を理解するために必要な能力を持っていることを確認しましたか? no Q29.3-いつ、どこで、どのように、誰が、どのような目的でデータにアクセスしたかを記録 する監視メカニズムを確保しましたか? no ◆必須の課題 4.透明性 トレーサビリティ Q30-トレーサビリティを確保できる対策を講じましたか?これには、次の方法を文書化す る必要がある場合があります。 yes 個人データ利用条件 DB を使ってトレースする予定。 Q31-アルゴリズムシステムの設計と開発に使用される方法: yes 個人データ利用条件 DB を使ってトレースする予定。 Q31.1-ルールベースの AI システム:プログラミングの方法またはモデルの構築方法。 yes 個人データ利用条件 DB の設計中。 Q31.2-学習ベースの AI システム;どの入力データが収集および選択されたか、およびどの ようにしてこれが発生したかを含む、アルゴリズムのトレーニング方法。 yes 個人データ利用条件 DB の更新方法の検討中。 Q32-アルゴリズムシステムのテストと検証に使用される方法: Q32.1-ルールベースの AI システム;テストおよび検証するために使用されるシナリオまた はケース。 yes 個人データ利用条件 DB を使ってシミュレート Q32.2-学習ベースのモデル:テストと検証に使用されるデータに関する情報。 yes 個人データ利用条件 DB を使って更新結果を確認するシミュレーション Q33-アルゴリズムシステムの結果: Q33.1-アルゴリズムの結果またはアルゴリズムによって行われた決定、およびさまざまな ケースから生じる可能性のある他の潜在的な決定(たとえば、ユーザーの他のサブグルー プ)。
  • 15.
    no 説明可能性 Q34-以下を評価しましたか: Q34.1-AI システムによって行われた決定、したがって結果はどの程度理解できますか? yes/no まさに研究課題 Q34.2-システムの決定は、組織の意思決定プロセスにどの程度影響しますか? yes/noデータ主体側には直接影響するし、データ主体も理解できるはずだが、サービス 提供事業者側への影響はかなり測定しにくい。 Q34.3-なぜこの特定のシステムがこの特定の領域に導入されたのですか? yes 研究テーマのスライド参照のこと Q34.4-システムのビジネスモデルはどのようなものですか(たとえば、組織にどのように 価値を生み出すか)。 yes 研究テーマのスライド参照のこと。特に IT プラットフォームにとっては将来的イン タフェースの設計指針となる。 Q35-システムが特定の選択を行った結果、すべてのユーザーが理解できる特定の結果が得 られた理由を説明しましたか? yes データ主体に対しては可能 Q36-最初から解釈可能性を考慮して AI システムを設計しましたか? yes Q36.1-問題のアプリケーションで可能な限り最も単純で解釈可能なモデルを調査して使用 しようとしましたか? yes Q36.2-トレーニングとテストのデータを分析できるかどうかを評価しましたか?これを時 間の経過とともに変更および更新できますか? yes PAI Agent の仕様がそうなっている Q36.3-モデルのトレーニングと開発後に解釈可能性を検証できるかどうか、またはモデル の内部ワークフローにアクセスできるかどうかを評価しましたか? no これからの課題 コミュニケーション Q37-(エンド)ユーザーに、免責事項またはその他の手段を通じて、別の人間ではなく AI システムと対話していることを伝えましたか? AI システムにそのようなラベルを付けま
  • 16.
    したか?  yes. システムの仕様上そうなる。 Q38-AIシステムの結果の背後にある理由と基準について(エンド)ユーザーに通知するメ カニズムを確立しましたか? yes Q38.1-これを意図した対象者に明確かつわかりやすく伝えましたか? yes PAI Agent が動き出せば当然そうなる。 Q38.2-ユーザーのフィードバックを考慮し、これを使用してシステムを適応させるプロセ スを確立しましたか?  yes Q38.3-バイアスなどの潜在的または認識されているリスクについてコミュニケーションを とりましたか? yes PAI Agent の仕様に組み込む Q38.4-この使用例を考慮して、他の聴衆、第三者、または一般の人々に対するコミュニケー ションと透明性を考慮しましたか? no Q39-AI システムの目的、および製品/サービスから誰または何がメリットを受ける可能性 があるのかを明確にしましたか? yes Q39.1-製品の使用シナリオを指定し、意図した対象者にとって理解可能で適切であること を保証するためにこれらを明確に伝えましたか? yes Q39.2-このユースケースを考慮して、人間の心理学と、混乱のリスク、確認バイアス、認知 疲労などの潜在的な制限について考えましたか? yes PAI Agent の仕様に組み込む Q40-AI システムの特性、制限、潜在的な欠点を明確に伝えましたか?  yes Q40.1-システムの開発の場合:それを製品またはサービスに展開している誰にでも? yes Q40.2-システムの導入の場合:(エンド)ユーザーまたはコンシューマーへ? yes 5.多様性、非差別、公正性
  • 17.
    不当なバイアス回避 Q41-入力データの使用とアルゴリズム設計の両方に関して、AI システムで不当なバイアス を作成または強化することを回避するための戦略または一連の手順を確立しましたか? no Q41.1-使用されたデータセットの構成に起因する可能性のある制限を評価して認めました か? no Q41.2-データの多様性とユーザーの代表性を考慮しましたか?特定の母集団または問題の あるユースケースをテストしましたか? no そもそもユーザの代表性が設定できるかどうかが不明。 Q41.3-データ、モデル、パフォーマンスの理解を深めるために、利用可能な技術ツールを調 査して使用しましたか? no Q41.4-システムの開発、展開、および使用フェーズ中に潜在的なバイアスをテストおよび 監視するためのプロセスを導入しましたか?no Q42–このユースケースを考慮して、AI システムのバイアス、差別、またはパフォーマンス の低下に関連する問題を他のユーザーが報告できるメカニズムを確保しましたか? no Q42.1-そのような問題をどのように誰に提起できるかについて、明確な手順とコミュニケ ーション方法を確立しましたか? no Q42.2-(エンド)ユーザーに加えて、AI システムによって間接的に影響を受ける可能性の ある他のユーザーを考慮しましたか? no Q43-同じ条件下で起こり得る意思決定のばらつきがあるかどうかを評価しましたか? no PAI Agent における設計上の課題 Q43.1-その場合、考えられる原因は何ですか? 個人の気まぐれないしはメンタリティの時間変化 Q43.2-変動性の場合、基本的権利に対するそのような変動性の潜在的影響の測定または評 価メカニズムを確立しましたか? no
  • 18.
    Q44-この AI システムの設計に適用する「公平性」の適切な実用的な定義を確認しました か? no Q44.1-あなたの定義は一般的に使用されていますか?これを選択する前に、他の定義を検 討しましたか? no Q44.2-適用された公平性の定義を測定およびテストするための定量分析または測定基準を no 確保しましたか? Q44.3-AIシステムの公平性を確保するためのメカニズムを確立しましたか?他の潜在的な メカニズムを検討しましたか? no アクセシビリティとユニバーサルデザイン Q45-AI システムが幅広い個人の好みや能力に対応していることを確認しましたか?  yes Q45.1-特別なニーズや障害を持つ人、または除外のリスクがある人が AI システムを使用で きるかどうかを評価しましたか?これはどのようにシステムに組み込まれ、どのように検 証されましたか? no ただし、使う人の個別事情は PAI Agent のデータ主体インタフェース設計時に検討す る Q45.2-AI システムに関する情報に支援技術のユーザーもアクセスできることを確認しまし たか? no Q45.3-AI システムの開発段階で、このコミュニティに関与または相談しましたか? no Q46-AI システムが潜在的なユーザーオーディエンスに与える影響を考慮しましたか? no Q46.1-AI システムの構築に関与するチームがターゲットユーザーのオーディエンスを代表 しているかどうかを評価しましたか?接線方向に影響を受ける可能性のある他のグループ も考慮して、それはより広い人口の代表ですか? no Q46.2-否定的な影響によって過度に影響を受ける可能性のある人物またはグループが存在 するかどうかを評価しましたか? no
  • 19.
    Q46.3-異なる背景や経験を表す他のチームまたはグループからフィードバックを受け取り ましたか? no 利害関係者の参加 Q47-AI システムの開発と使用にさまざまな利害関係者の参加を含めるメカニズムを検討 しましたか? no Q48-影響を受ける労働者とその代表者に事前に情報を提供し、関与させることにより、組 織に AIシステムを導入するための道を開いたか。 no この Q は適用しない。 6.社会的および環境的福祉 持続可能で環境に優しい AI Q49-AI システムの開発、展開、および使用による環境への影響を測定するメカニズムを確 立しましたか(たとえば、データセンターで使用されるエネルギーの種類)。 no Q50-AI システムのライフサイクルの環境への影響を減らすための対策を確保しました か? no 社会的影響 Q51-AI システムが人間と直接対話する場合: Q51.1-AI システムが人間にシステムへの愛着と共感を育てるように促すかどうかを評価し ましたか? no Q51.2-AI システムがその社会的相互作用がシミュレートされていること、および「理解」 や「感じ」の能力がないことを明確に通知していることを確認しましたか? no
  • 20.
    Q52-AI システムの社会的影響が十分に理解されていることを確認しましたか?たとえば、 失業や労働力のスキル低下のリスクがあるかどうかを評価しましたか?そのようなリスク に対抗するためにどのような措置が取られましたか? no 社会と民主主義 Q53-間接的に影響を受ける可能性のある利害関係者など、個人(エンド)ユーザーを超え た AIシステムの使用のより広範な社会的影響を評価しましたか? no 重要な研究課題 7.説明責任 監査能力 Q54-AI システムのプロセスと結果の追跡可能性とロギングの確保など、システムの監査可 能性を促進するメカニズムを確立しましたか? yes 個人データ利用条件 DB のログによる Q55-基本システムの権利に影響を与えるアプリケーション(安全上重要なアプリケーショ ンを含む)で、AI システムを個別に監査できることを確認しましたか? no マイナスの影響の最小化と報告 Q56-(間接的に)直接影響を受けるさまざまな利害関係者を考慮に入れて、AI システムの リスクまたは影響評価を実施しましたか? no Q57-アカウンタビリティプラクティスの開発に役立つトレーニングと教育を提供しました か? no Q57.1-チームのどのワーカーまたはブランチが関与していますか?開発段階を超えていま すか? no Q57.2-これらのトレーニングは、AI システムに適用可能な潜在的な法的枠組みも教えます か? no
  • 21.
    Q57.3-「倫理的な AI レビューボード」または同様のメカニズムを確立して、不明確な可能 性のある灰色の領域を含め、全体的な説明責任と倫理の実践について話し合うことを検討 しましたか? noPAI Agent の実用化にあたっては必要 Q58-内部のイニシアチブに加えて、倫理や説明責任を監督するために、何らかの外部ガイ ダンスを予測したり、監査プロセスを導入したりしましたか? no PAI Agent の実用化にあたっては必要 Q59-AI システムの潜在的な脆弱性、リスク、またはバイアスを報告するためのサードパー ティ(サプライヤー、コンシューマー、ディストリビューター/ベンダーなど)または労働 者のプロセスを確立しましたか? no トレードオフの文書化 Q60-AI システムに関連する関連する利益と価値、およびそれらの間の潜在的なトレードオ フを特定するメカニズムを確立しましたか? no Q61-このようなトレードオフをどのように決定しますか?トレードオフの決定が文書化さ れていることを確認しましたか? no 救済能力 Q62-危害や悪影響が発生した場合の救済を可能にする適切な一連のメカニズムを確立しま したか? no Q63-救済の機会について(エンド)ユーザー/サードパーティに情報を提供するメカニズム を導入しましたか? no