shibuya.apk #28 発表資料

1. 初めてMLKITを
使ってみた
SHIBUYA.APK #28
ICHI-KATO

2. ABOUT ME
▸加藤一郎
▸ Android歴：半年ちょっと
▸ 趣味：キャンプ、BBQ、旅行
▸ 好きな物：猫、キングダム、
肉、フォートナイト

3. FIREBASE
MLKIT

4. 概要
▸モバイル開発者のための機械学習のモバイルSDK
▸現時点ではベータ版
▸既に用意されてるAPIもしくは自作のTensorFlow Liteを使う
ことができる
▸APIはオンデバイスまたはクラウド環境で実行できる

5. 実装の流れ
▸SDKの追加
▸使用するデータを用意
▸認識用のDetectorを生成する
▸APIの結果を受け取りアプリ内で使用する

6. イメージ
元の画像 テキストを検出した後の結果

7. MLKITのSDKを追加
dependencies {
implementation 'com.google.firebase:firebase-ml-vision:15.0.0'
}

8. DETECTORの生成
private fun runTextRecognition() {
val image = FirebaseVisionImage.fromBitmap(mSelectedImage ?: return)
val detector = FirebaseVision.getInstance().onDeviceTextRecognizer
detector.processImage(image)
.addOnSuccessListener { texts ->
processTextRecognitionResult(texts)
}
.addOnFailureListener { e ->
e.printStackTrace()
}
}

9. DETECTORの生成
val image = FirebaseVisionImage.fromBitmap(mSelectedImage ?: return)

10. DETECTORの生成
val detector = FirebaseVision.getInstance().onDeviceTextRecognizer

11. DETECTORの生成
detector.processImage(image)
.addOnSuccessListener { texts ->
processTextRecognitionResult(texts)
}
.addOnFailureListener { e ->
e.printStackTrace()
}

12. API結果を処理
FirebaseVisionText

13. API結果を処理
lines[j].elements

14. クラウド上でのAPI実行の場合
ちなみに月に1000回までの使用なら無料
FirebaseVision.getInstance().cloudDocumentTextRecognizer
texts // FirebaseVisionDocumentText

15. イメージ
正しい結果
惜しい結果

16. まとめ
▸導入自体はめちゃくちゃ簡単
▸用意されているAPIは気軽に使える
▸機械学習の経験あれば、カスタムモデルを使って色々と実
現できそう

17. THANK
YOU