Azure FunctionsでLine Botを作成した話です

1. 懲りずにAzure Functionsで
Line Botを作ってみた
2017年4月19日
第7回 城東.NET勉強会

2. まずは自己紹介
・名前
木下 裕之
・HN：kingkino
・SNS
Twitter @kingkinoko FaceBookやってます。GitとLinkedInもちょこっと・・・。
・Azure暦：6年
・Azure Function暦：8ヶ月
・MCSE : Cloud Platform and Infrastructure 2017
(MCP 70-532 : 70-533 : 70-534)
※この資料は2017年4月19日時点での情報を元に作成しています。

3. デモ
DEMO
Azure Functions + CSX
Azure Storage
Cognitive Service
Computer Vision API
Translate Text API
LINE API

4. 懲りずにAzure Functions + C#でLine Botを作りました その１
懲りずにAzure Functions + C#でLine Botを作ってみました。
今回はCognitiveServiceを利用してみましたよ。
ComputerVisionAPIを利用して投稿した画像から文字を抽出して
返信します。
※なお、このBotは予告なく削除しますので予めご承知おきください。

5. 懲りずにAzure Functions + C#でLine Botを作りました その２
懲りずにAzure Functions + C#でLine Botを作ってみました。
今回はCognitiveServiceを利用してみましたよ。
ComputerVisionAPIを利用して投稿した画像から英字のみを
抽出して日本語に翻訳して返信します。
※なお、こちらのBotも予告なく削除しますので予めご承知おきください。

6. 画像から英字を抽出して日本語に翻訳して返信する処理シーケンスについて
画像投稿
WebHook
リクエスト
画像取得
文字抽出
翻訳
リプライ
リプライ
ストレージ保存
WebHook
レスポンス

7. Comupte Vision APIの考察
読み込む画像の解像度やピントにもよりますが以前に比べると識字率は高くなってきたと思います。
体感ですが英語で95％、日本語で90％くらいはあるんじゃないかと思います。
また、英語日本語が混在する場合、抽出文字を指定しなければ混在した状態で抽出します。
混在文字で抽出文字を指定した場合は指定した言語だけ抽出してくれます。これは凄い。
言語の自動検出 英語を指定 日本語を指定

8. Translator APIの考察
はっきり言って残念です。
色々と試してもらえればわかってもらえると思うので先ほどのBotをQRコードから友達登録して試してみてください。

9. まとめと今後の課題
Computer Vision APIのOCR識字率の精度の高さは認識できました。
残念なのはTranslate APIの翻訳精度です。ここはGoogle翻訳APIに置き換えることも視野に入れて行きたいですね。
精度の比較なんかも出来たら面白いかなと思ってます。
次は「Speech To Text」で音声から文字を起こすのを試してみようと思います。
LINEアプリには録音機能があるので簡単に実現は出来ると思います。
音楽ファイルを投稿すれば自動的にリリクス作成してくれるなんてことも出来ますね。
課題としてはLINE APIの認証トークンのバリデーションが未実装なので実装します。
ビジネス利用を意識したときには必要な処理になりますので。
また、FaceBookMessangerやSKYPEなどにも対応してチャットクライアントの対応種類を増やさなくてはと思ってます。
WebHookのIFを各種チャットクライアントに合わせて作成しFaçade対応するなんてことも意識していきたいです。
アイデア次第ではまだまだ出来ることは沢山あるので今後も研究して行こうと思います。

10. 参考：今回使った技術の参考URL等々
LINE BUSINESS CENTER
https://business.line.me/ja/services/bot
LINE BOTの作り方を世界一わかりやすく解説（１）【アカウント準備編】
http://qiita.com/yoshizaki_kkgk/items/bd4277d3943200beab26
Computer Vision API
https://azure.microsoft.com/ja-jp/services/cognitive-services/computer-vision/
Translater API
https://azure.microsoft.com/ja-jp/services/cognitive-services/translator-text-api/
サンプルソース：Azure Functions + C# kokoni-ocr-linebot
https://github.com/kingkino/kokoni-ocr-linebot
サンプルソース：Azure Functions + C# kokoni-ocr-translator-linebot
https://github.com/kingkino/kokoni-ocr-translator-linebot