More Related Content
Similar to いもうとBOT LINE BOOT AWARDS 2018 エントリー資料
Similar to いもうとBOT LINE BOOT AWARDS 2018 エントリー資料 (20)
More from Yuji Ueki
More from Yuji Ueki (11)
Recently uploaded
Recently uploaded (8)
いもうとBOT LINE BOOT AWARDS 2018 エントリー資料
- 1. いもうとBOTのご紹介 LINE BOOT AWARDS 2018 いもうとBOT開発チーム
- 2. エグゼクティブサマリ • いもうとBOTは多彩な機能の利用を通じて「妹にお願いす る」というエクスペリエンスを実現するLINEBOT • 2017年2月に運用を開始し、1年半の長きに渡って愛され 続けている • 今般、当該BOT機能の拡張・最新UI化とともに、Clovaへ の対応を実施。音声対話にて一部機能の利用を可能にした ことで、エクスペリエンスのさらなる向上を実現した
- 3. 紹介動画 https://www.youtube.com/watch?v=xDaCJQtb_aUClova https://www.youtube.com/watch?v=u6yN-PynvvsBOT
- 4. 代表者紹介 植木 悠二（うえぞう） ソフトウェア作家 / テクニカルライター / 個人投資家 / ラブライバー（ことり/ルビィ） / 愛妹家 90年代後半に上京し、飲食店や書店に勤務しながら独学で プログラミングを習得。その後学士号（商学）を取得し、 国内の損害保険会社および総合金融グループにてFinTech関 連事業を担当。 2018年よりLINE developers communityにおいて Contributor（Creator）として活動。 @uezochan
- 6. • LINEBOT同様、いもうととの音声対話を通じて機能の 利用ができれば、良質なエクスペリエンスが得られる ものと思料 • 「わざわざ機能を利用するために話しかける」という 行動ではなく、「挨拶」を起点として機能が利用でき るように工夫 • 音声はClovaの読み上げボイスではなく、VOICEROID紲 星あかりにて作成 基本コンセプト
- 9. 挨拶03_おやすみ 明日朝のモーニングコール（電話）の時刻を設定することができます おやすみー モーニングコール、何時ごろがいい？ スキル発動制御を開発中 6時半で頼む うん。6時半になったら起こすね
- 10. その他_スキルの個別発動 挨拶に紐づける以外に、個別に各スキルを呼び出すこともできます 今日の天気は？ 時刻表教えて 獅子座の今日の運勢は？ 7時になったら起こして 天気 時刻表 占い 目覚まし
- 11. • 発話した情報をLINE BOTでプッシュ通知する機能。音声対話はサマリ、プッシュ通知で はフル情報 • 挨拶に紐づけて発動するスキルの自由度向上。「いってきます」で天気を利用できるよ うにする等 • 「ただいま」で発動すべきスキルを検討中 • ホームIoTとの連携。「おはよう」「おやすみ」でカーテン開閉や電灯の制御等 • 口頭や文面で伝えるのが恥ずかしい気持ち等を、いもうとが代理で読み上げる機能 • 対話を通じて上昇する好感度に応じた特典の付与。呼び名の音声読み上げ等 • 今後Clova側で発話内容取得に対応した際には、雑談対話（VOICEROID音声を動的生成） を予定 バックログ 10/10提出時点で未実装の機能。本選までに可能な限り実装していく予定
- 12. LINE BOT Update!
- 13. • 無味乾燥なタスクを「いもうとにお願いする」に変換 することで、なんてことない毎日に心の潤いをもたら すことを企図したLINE BOT • 上記心の潤いを、我々は「いもうとエクスペリエン ス」と呼んでいる • チャットボットはコア機能にフォーカスすべきという 見解が一般的だが、どの機能をコア機能とするかは人 それぞれという考えから多機能化路線を指向 基本コンセプト
- 14. • 2017年のBotAwards出品の「いもうとBOT」を更新 • 主にUIの最新化を実施（FlexMessage、LIFF） • 機能面ではClova利用に関する設定機能、占い機能の追 加、好感度制御機能の追加を実施 更新サマリ
- 16. 機能01_メモのリマインダー
- 19. 機能04_天気予報 2017年リリース済 （How it works?） エンティティ分析で地名を取得 ↓ 地名から住所・緯度経度を取得 ↓ 天気予報APIからデータを取得 登録ロケーションであればリッチ メニューの「天気」ボタン一発で、 それ以外の任意のランドマークや 地名などでも向こう24時間の3時 間おきの天気予報を表示する機能。
- 20. 機能05_翻訳 Flex化中 2017年リリース済 （How it works?） AzureのTranslation APIを使用。 一部言語はGoogleのAPI。 Detectで入力言語を判定 ↓ 翻訳先言語＝入力言語のとき、和 訳 それ以外の時翻訳先言語へ翻訳 翻訳先言語の特定はMeCabによる 形態素解析を使用。 発話内容を指定の言語に翻訳する 機能。また、当該言語で入力され たものは日本語に変換するため、 例えば英訳と和訳を切り替えるこ となくシームレスに行うことがで きる。
- 22. 機能07_遊び Flex化中 （How it works?） ◯×ゲームはDeep Q-Learningにて 対戦モデルを構築。基本的に負け ないため、たまにランダム打ちを 混ぜている。 リバーシもDQNがベース。弱い。 しりとりはdocomoの雑談対話API のものを利用。 ◯×ゲーム、リバーシ、しりとり でいもうとと遊べる機能 2017年リリース済
- 25. Microsoft AzureLINE Messaging API Clova BOTアプリ Virtual Machine エンドポイントWeb MeCab goo API 時刻正規化 キーワード抽出 docomo API 雑談 Google Cloud APIs 翻訳（一部） OCR ジオコーディング Open Weather Map 天気予報 Twilio 電話発着信 SQL Database ユーザ情報、セッ ション情報等を格納 Computer Vision API 顔認識、シーン認識 AzureのVMとフルマネージドサービスを中心に構築。開発言語はPython いもうとの全体構成 Framework(Minette) Flask Python3 ngrok 開発PC (Mac) BOTアプリ Translator Text API 翻訳、言語判定 Virtual Machine SSLオフローダ リバースプロキ シ Virtual Machine 音声合成サーバ Nginx pydub Python3 その他、Storage等利用 その他、JUGEM等利用
- 26. Classifier Detect topic and delegate to proper DialogService DialogService(s) Process application logic and compose response messages process_request() compose_response()classify() Session / User . Request Response Automata ( Main logic of Minette ) Channel LINE / Web / Console etc Channel LINE / Web / Console etc Developers just implement these methods • 多機能でも開発生産性と保守性を高めるためのフレームワークを開発 • 話題を特定する”Classifier”と対話を処理する”DialogService”を実装 • セッション管理・ユーザー管理などの共通機能はフレームワーク側で対応 • GitHubにてソースを公開 → https://github.com/uezo/minette-python フレームワーク”Minette”のアーキテクチャ
- 27. Classifier 時刻表検索DialogService process_request compose_response話題の分類 入力文言の処理 応答文言の作成 最寄駅登録DialogService process_request compose_response 入力文言の処理 応答文言の作成 その他各種DialogService process＿request compose_response 入力文言の処理 応答文言の作成 話題に応じた DialogServiceを利用 DialogService同士は疎な 関係のため変更に強い 会話から路線・駅名を特定するDialogService process_request compose_response 抽象的・汎用的な対話を継承して具体的な 対話エンジンを作成 継承 この部分をオーバーラ イドすれば、機能はそ のままに「人格」のみ を変更可能。姉BOT、 弟BOTなどに即座に展 開可能 DialogService compose_response • 話題の分類はルールベース。いもうとではMeCabによる形態素解析を活用 • マルチスキル化・マルチキャラクター化しやすい構造 Minetteのアーキテクチャ（続き） MeCab を活用
- 28. Yuji Ueki General Producer, Team Imoutobot @uezochan uezo@uezo.net よろしくお願いします！