slide2

1. 対話型
AIHAL3
1

2. AI開発についての意義
2
・人は人間の形をしたものに、一定の共感を持つ傾向にある
・ガンダム コードギアス フルメタルパニック 鉄人28号 アトム ・・・
みんな人型です。

3. 3
・汎用人工知能研究会での研究発表
・人の持つイメージを表情に
・好感度推定 感情表現付き読み上げ
少しずつ人に近づける
・グラフに記憶情報格納 pytorch_geometric

4. 読み上げのビデオ
4

5. AIが人間に近づいたら良い事が沢山
介護医療 オフィス
5

6. 医療でのHAL3
◉ 病人の方のセンシングが行えるので、異変に気が付きやすい
◉ 患者各個人の状態にあった、対応が可能
◉ 感情認識、快不快の認識、などで精神状態などがとらえやすい
◉ 治療者側のミスなども指摘しやすい
6

7. 介護でのHAL3
見守り
高齢の方をやさしく見守りま
す。介護離職などの問題を解
決したいです。
生活補助・介助
お片付けロボット化した
HAL3が色々助けてくれます。
診断・診察・話相手
24時時間センシングなども得
意なので、急変に強いです。
また、面白い会話ができるよ
うにしていき、看護士の負担
が減るようにしたいです。
7

8. 議事録
会議の議事メモを取得できます。雑音
除去や、話している人それぞれ声に分
離します。カスタマイズ機能として、
会議中にわからない言葉が出てきたと
きに、辞書やWikiを検索できたり、会
議中の感情を一緒に取得したりできま
す。
オフィスでのHAL3
受付
用件を選択して、返答し社内の担当を
指定するとその人間に電話が行きます。
また内部の受付情報パネルからは指定
した要件を読み上げます。
8

9. 勤怠管理
顔認証技術などを利用して、入退室管
理や勤怠管理が行えます。
同時に健康管理や作業引き継ぎなどが
行える仕組み
オフィスでのHAL3
9

10. 対話型AIの入力・出力
主な入力（センシング機能）
対話型AIHAL3は主に情報を入力しセン
シングして、評価する仕組みとして
好感度推定機能がある
この機能は事前にHAL3の性格登録を
行い、例えば暗い男が好きなHAL3 は
ネガティブワードを連発し、笑顔がほ
とんどないような場合、好感度が上が
り、LOVEとなる。
逆に明るい人が好きな場合、発言が上
向きで笑顔が多いほど好感度が上がる
主な出力（今回のテーマ）
今回のテーマの出力として、HAL3 が
読み上げる内容によって、顔の表情を変
えるという機能を構築した。
文章全体の内容を解釈して、一定の表情
で読み始め、内容によって表情を変えて
いく読み上げエンジンです。
10

11. 目の上のたんこぶ
人にとって嫌な上司は左目の上か？
1
11

12. “嫌な上司を思い浮かべてください。
人によって違いますが、大抵は目の上のた
んこぶと言い、左目の上の方に黒い塊でイ
メージされます。
12

13. 人は感情を伴ったイメージを持って
いる
◎ 大きさは
◎ 色はカラーか白黒か
◎ 近くにあるか、遠くにあるか
◎ 自分が参加しているイメージか
持っているイメージによって印象が
かわり、紐づいている感情も変わる
はず。
13

14. AIが導入されるには
55%38%
7%
視覚情報 聴覚情報
メラビアンの法則
人間のコミュニケーションにおいて、
表情の重要度は高い
表情がある方がAIとの信頼関係が築きやすい。
サービス利用者の心象が良くなる。幼児でも母
親が悲しい顔をすると、同じように悲しい顔を
する。
仮説
弊社で開発中の“HAL3”に表情反映
機能を導入し、性能評価を行なった

15. 画像による表情操作
あまり世の中の人がやっていなさそうなことにチャ
レンジしました！
15

16. 感情変化の手法
• Google API モード
Google社が公開しているAPIを利用してAIの表情を制御する
• Image モード
Google APIモードに画像解析を組み合わせてAIの表情を制御する
• None モード
表情を変化させずに朗読を行う

17. 感情変化の手法
Google API モード
１ 文章全体の感情極性値を取得＝「主パラメータ」
２ 文章を句点で区切り、分割された1文ごとの感情極性値を取得
３ 「主パラメータ」との和を利用して、AIの表情を変化させる
Googleの提供するAPIに単語・文章を入力し、「-1~+1」の範囲でパラメータを出力
-1 +1
-1に近いほどNegative = Sad
+1に近いほどPositive = Happy

18. 感情変化の手法
Google API モード
• 「Positive – Negative」の軸のみでの評価しか行えない
→多様な感情を表現することができない
• 必ずしも人間に近い感情の捉え方をしているとは言えない
Google APIモードの問題点
(例) 「彼は9月の世界選手権53キロ級で勝って, 前回までの55キロ級と合わせて12連覇し,
五輪3連覇を含む自身の連続世界一を更新した.」 という文章をgoogle APIに入力
得られた感情極性値が-0.90
文章がかなりネガティブな内容であることを表しており、
人間とは違った感情の捉え方をしている

19. 感情変化の手法
Image モード
sad, happy, angry
のスコアを取得
１ 文章全体の感情極性値を取得＝「主パラメータ」
２ 文章内の単語からイメージされる画像をVGG-16*1によって感情判定
３ 感情スコアと「主パラメータ」との和をもとに、AIの表情を変化
*1 ILSVRC 2014 でトップの成績を修めた16層CNNモデル
Google APIによるテキストの感情判定 + 単語からイメージされる画像の感情判定
-1 +1
画像
朗らかに笑う

20. 感情変化の手法
Image モード
sad, happy, angry
のスコアを取得
１ 文章全体の感情極性値を取得＝「主パラメータ」
２ 文章内の単語からイメージされる画像をVGG-16*1によって感情判定
３ 感情スコアと「主パラメータ」との和をもとに、AIの表情を変化
*1 ILSVRC 2014 でトップの成績を修めた16層CNNモデル
Google APIによるテキストの感情判定 + 単語からイメージされる画像の感情判定
-1 +1
画像
朗らかに笑う
どのようにして画像の
感情スコアを得るのか…?

21. 感情変化の手法
Image モード
VGG16を転移学習し、画像から感情値を取得するように変更
VGG-16
転移学習
VGG-16
𝑎𝑛𝑔𝑟𝑦
ℎ𝑎𝑝𝑝𝑦
𝑠𝑎𝑑
=
3.19 × 10−10
1.00
1.48 × 10−8
ダックスフンド
入力
入力
出力
出力
本研究のモデル
通常のVGG-16モデル

22. 感情変化の手法
Image モード
*2 オープンソース形態素解析エンジン[3] *3 文章に含まれる単語の重要度を表す指標[4]
単語と対応する画像をセットで保存したデータベースの作成
１ Mecab*2を使って文章に対して形態素解析を行い、名詞, 形容詞, 動詞の
みを抽出
２ 抽出した単語において、TF-IDF*3の計算を行い、文章内の重要単語を選
出
３ 選出した単語の中から画像をイメージしやすいものを人間の主観で選出
4 単語と画像をセットにし、ワードイメージセットというデータベースを
作成

23. 検証
表１ 「sad」な文章タイトル
表2 「happy」な文章タイトル
表3 「angry」な文章タイトル
１ 数名の登録者が「sad」,「happy」,「angry」な内容で
あると感じた文章を選出(表１~表３)
２ それぞれの文章を”HAL3”に朗読させ、20名以上の被験
者に聞かせた後、以下の質問を行なった
検証方法
①朗読文をどのような内容だと感じたか?
②AIによる朗読を聞いて心を動かされたか?
③朗読を聞いて, AIに対してどのような感情を抱いたか?
④AIに対してどのくらい親しみを感じたか?
→それぞれの質問に対して4~5段階の評価で回答

24. 検証結果
AIの表情変化が重要・より多くの人の感情を意図した感情にすることができている
・AIに親しみや共感を持つ人の割合を増やすことができている
NoneモードよりImageモードの方が...
表4 「sad」な文章の判定結果 表5 「happy」な文章の判定結果 表6 「angry」な文章の判定結果
Imageモードの方が意図した通りの
感情表現ができていることがわかる

25. “
25
・感情合成音声により、表情と合った発声を行う
・イメージ記憶をもう少し実態にあった物にする
→ 明るい太陽 ・ 狂った太陽
形容詞と名詞の関係をグラフ型に表現をする
・自己認識他者認識などを意識として持たせる → 人格との整合性
今後の展望

26. “
26
・今回の検証で無表情な時よりは表情を付けた時の方が共感が持てるという事が
わかった。
・医療・介護などの現場や教育で利用されるためには、
一定の共感が生まれる方が信頼される。
・次のステップとして面白い話ができるようにレベルアップを図りたい。
その為には対話者の
イメージに面白いと思う映像や音が再現されるようにしたい。