cogbot勉強会のLT資料。 Computer Vision APIをChrome Extensionsから使ってみた

1. Computer Vision APIを
Chrome Extensionsから
使ってみた
株式会社フロッグポッド 星野 洋
Twitter @hoshino335
Blog https://yo-hoshino.hatenablog.com/

2. 自己紹介
 株式会社フロッグポッドにてプログラマーをしています。
 この１月からは営業も兼務することになりました。
 主にXamarinでモバイルアプリ、ASP.NETでWebアプリなど開発。
 久々のCogbot参加。まずはやってみた系のLTから。。。

3. このLTを見てわかること
 初心者がComputer Vision API を使ってみた感想。
 お手軽にAIを使ったツールを作れる楽しさ。
 いろんなツールからCognitive Service を使って、可能性を広げられること。

4. やってみたこと
 Computer Vision APIのAnalyze Image API を使用して不適切なコンテンツを検
出。
 ↑をChrome Extensions において実装することで、リンクURLにマウスオーバー
し不適切コンテンツを検出するとアラートダイアログで警告する。
 https://github.com/yoHoshino/InappropriateContentChecker
※注意！！！
Chrome Extensions にはキー情報などを隠す機能が無いっぽい。
サンプルソースは直書きしているので、試すならプライベートな場所で！！

5. Analyze Image API でわかること
https://docs.microsoft.com/ja-jp/azure/cognitive-services/computer-vision/concept-detecting-adult-content

6. 実際にやってみた
リンクの先にはお笑い芸人、とにかく明るい安村
さんの画像が。。。(全身画像自粛)

7. マウスオーバーでアラートで警告
analyze Image API の答えは
「安心できない」

8. こんな感じのJsonが返ってきます

9. 暴力的なコンテンツはどうか？
 大仁田厚さんの有刺鉄線電流爆破デスマッチの画像を判定してみました。
(画像自粛)
暴力的コンテンツとは判定されな
かったが、"goreScore"は高い。アプ
リ側で閾値を設けてブロックする必
要がある。

10. 実はコンテンツ検出にもっとよさそうなAPIが
あった。その1 Azure Content Moderator
https://docs.microsoft.com/ja-jp/azure/cognitive-services/content-moderator/overview

11. 実はコンテンツ検出にもっとよさそうな
APIがあった。その2 URL Preview
https://docs.microsoft.com/ja-jp/azure/cognitive-services/labs/url-preview/overview

12. わからなかったこと
 Analyze Image、Content Moderator、URL Preview の使い分け。
（これから試していって、また後日発表します。）

13. わかったこと
 不適切コンテンツ検出はすでに専用のAPIが用意されているので、APIたたくだ
けでいける。
 Webに公開されているURLでも、ローカルからファイルアップロードでもいけ
る。
 似た機能を持ったAPIがあるので、自分のプロダクトにふさわしいものを選択
すること。
 すでにあるツール(今回はChrome)から使うことで鬼に金棒になる。

14. 他のブラウザでも使いたい
 Chrome Extensions は新しくなったChromiumベースのMicrosoft Edgeでも使え
ます！

15. 他のツールでも使いたい
 Microsoft Flow の後継ツール「Power Automate」で使ったら幸せになれそう！
 次回までに使ってみます！
https://flow.microsoft.com/ja-jp/

16. ご清聴ありがとうございました