20017年5月17日 (水) に開催されたWebセミナーです。

1. 稲葉葉洋幸(Hiroyuki Inaba)
Platform Specialist
画像認識識AI
Einstein Visionを試してみよう
Salesforce Developer Web セミナー

2. 2 | (c)2017 Salesforce
Forward-‐‑‒Looking Statement
​ Statement under the Private Securities Litigation Reform Act of 1995:
​ This presentation may contain forward-looking statements that involve risks, uncertainties, and assumptions. If any such uncertainties materialize or
if any of the assumptions proves incorrect, the results of salesforce.com, inc. could differ materially from the results expressed or implied by the
forward-looking statements we make. All statements other than statements of historical fact could be deemed forward-looking, including any
projections of product or service availability, subscriber growth, earnings, revenues, or other financial items and any statements regarding strategies
or plans of management for future operations, statements of belief, any statements concerning new, planned, or upgraded services or technology
developments and customer contracts or use of our services.
​ The risks and uncertainties referred to above include – but are not limited to – risks associated with developing and delivering new functionality for
our service, new products and services, our new business model, our past operating losses, possible fluctuations in our operating results and rate of
growth, interruptions or delays in our Web hosting, breach of our security measures, the outcome of any litigation, risks associated with completed
and any possible mergers and acquisitions, the immature market in which we operate, our relatively limited operating history, our ability to expand,
retain, and motivate our employees and manage our growth, new releases of our service and successful customer deployment, our limited history
reselling non-salesforce.com products, and utilization and selling to larger enterprise customers. Further information on potential factors that could
affect the financial results of salesforce.com, inc. is included in our annual report on Form 10-K for the most recent fiscal year and in our quarterly
report on Form 10-Q for the most recent fiscal quarter. These documents and others containing important disclosures are available on the SEC
Filings section of the Investor Information section of our Web site.
​ Any unreleased services or features referenced in this or other presentations, press releases or public statements are not currently available and may
not be delivered on time or at all. Customers who purchase our services should make the purchase decisions based upon features that are currently
available. Salesforce.com, inc. assumes no obligation and does not intend to update these forward-looking statements.

3. 稲葉葉 洋幸 (Hiroyuki Inaba)
担当・役割 : Platform 製品全般 のソリューションエンジニア
( +Salesforce Connect / Salesforce1 / Einstein Vision )
経歴 :
最近気になる : India Pale Ale
⾃自⼰己紹介

4. 4 | (c)2017 Salesforce
今⽇日の内容
内容
• Einstein Vision についてのご紹介
• Force.com や Heroku のアプリデモ
対象者
• Force.com や Heroku でアプリを開発/利利⽤用している⽅方
• 画像認識識AI機能を使って何かできないか、検討中の⽅方
ゴール
• Einstein Vision は容易易に扱える画像認識識AI機能であり、ひとまず独⾃自の予測・
解析モデルを作って試してみよう、と思ってもらえる

5. 5 | (c)2017 Salesforce
Salesforce Einstein
& Einstein Vision
全体概要
Force.com /
Heroku から使う
利利⽤用シーンに⾒見見る
Einstein Vision の
位置付け
各種仕様・
参考資料料
ü 最後に質問への回答の時間を設けます
ü 質問はいつでも送ってもらってOKです
1 2 3 4
セミナーの流流れ

6. Salesforce Einstein &
Einstein Vision 全体概要
1

7. 7 | (c)2017 Salesforce
Intelligent Customer Success Platform
プラットフォーム
アプリケーション
セールス サービス
マーケ
ティング
アナリ
ティクスコミュニティ アプリ コマース IoT Quip AppExchange
Einstein
Lightning
Thunder
AppExchange Force.com
Heroku
予測分析
機械学習
ディープラーニング
⾃自然⾔言語処理理
CRMデータ
IoT/ソーシャル
データ
データ管理理
プラットフォーム

8. AI
Relationship
Intelligence
Predictive
Scheduling
Data
Discovery
Machine
Learning
Deep
Learning
MinHash
Search
Intelligence
Sales
Intelligence
Data
Management
Platform
Infrastructure
Intelligence
2015 2016
Analytics
Leading
AI Experts
企業買収によりAI機能強化を加速
CRMのさらなる進化を後押し

9. 9 | (c)2017 Salesforce
各クラウド製品で続々とAI機能をリリース
App Cloud Einstein
Einstein Vision
Analytics Cloud Einstein
Einstein Data Discovery
Sales Cloud Einstein
Einstein Lead Scoring
Einstein Opportunity Insights
Einstein Account Insights
Einstein Activity Capture
Marketing Cloud Einstein
Einstein Journey Insights
Einstein Segmentation
Einstein Social Insights
Einstein Recommendations
Community Cloud Einstein
Einstein Recommendations
Einstein Feed Insights
Einstein Experts
Commerce Cloud Einstein
Einstein Commerce Insights
Einstein Recommendations
Einstein Predictive Email
Service Cloud Einstein
Einstein Supervisor
※⽇日本での未提供機能含む

10. 10 | (c)2017 Salesforce
① APIを通して利利⽤用するクラウドサービス
② Force.com / Heroku ⽤用のライブラリやサンプル
③ 独⾃自の予測・解析モデルの容易易な作成
ü ⽉月間1,000予測までのフリートライアル
アプリケーションを画像認識識AI機能でもっとスマートに
Einstein Vision | App Cloud Einstein
smarter with
einstein
⼊入⼒力力された画像を、指定されたモデルで解析し、
結果を返す画像認識識AI機能

11. 11 | (c)2017 Salesforce
• 画像・物体認識識(Image Recognition)と物体検出(Object Detection)の2種類がある。
• 現時点(2017年年5⽉月)では、画像・物体認識識はリリース済み。物体検出の製品化開発を継続中。
画像認識識の種類と Einstein Vision の対応状況
種類 概要 例例 Einstein Vision
画像・物体認識識
(Image Recognition)
画像全体から仕分け(ラベ
ル付け)を⾏行行う
この画像は○○(確率率率?%)
です。
2017年年4⽉月末 提供開始
物体検出
(Object Detection)
画像の特定領領域(例例えば⼈人
の顔、⼈人間など)を抽出・
特定した上で、仕分けを
⾏行行う
この画像には「○○(確
率率率?%)、△△(確率率率?%)、
□□(確率率率?%)」が写って
います。
製品化に向けて開発中

12. 12 | (c)2017 Salesforce
クラウドサービスであるが故の利利⽤用開始までのスピード感
利利⽤用開始までのステップ
③利利⽤用開始！②アカウント紐紐付け①Force.com / Heroku のアカウント取得
Einstein Vision を利利⽤用するためには、
Force.com / Herokuのアカウントが必要です。
Force.comは、無償で⼊入⼿手できるDeveloper
Editionのアカウントでも構いません。
Force.com:
MetamindのWebサイトからサインナップします。
Heroku:
Add-‐‑‒onsを追加します。
Einstein Vision を利利⽤用するための登録・認証情報
の取得が完了了しました！ この時点で、curlコマン
ドを利利⽤用したアクセス＆プリセットされたモデル
を使った予測・解析が可能です。
Examples
cURL
curl
-­‐X
POST
-­‐H
"Authorization:
Bearer
<token>"
-­‐H
"Cache-­‐Control:
no-­‐cache"
-­‐H
"Content-­‐Type:
multipart/
form-­‐data"
-­‐F
"sampleContent=@IMG_0188.jpg"
-­‐F
"modelId=FoodImageClassifier"
https://api.metamind.io/
v1/vision/predict
Result
Format
200
OK
/
400
Bad
Request
{"probabilities":[{"label":"tomato","probability":
0.97663295},{"label":"persimmon","probability":
0.01534434},{"label":"tomato_sauce","probability":
0.003616338},{"label":"tomato_soup","probability":
0.0012611124},{"label":"ketchup","probability":
6.7350786E-­‐4}],"object":"predictresponse"}
特徴①: APIを通して利利⽤用するクラウドサービス

13. 13 | (c)2017 Salesforce
ローカルファイルの予測・解析を実⾏行行する命令令⽂文
$
curl
-­‐X
POST
-­‐H
“Authorization:
Bearer
[アクセストークン]”
-­‐H
“Cache-­‐Control:
no-­‐cache”
-­‐H
“Content-­‐Type:
multipart/form-­‐data”
-­‐F
“sampleContent=@[ファイルへのパス]"
-­‐F
“modelId=[使⽤用する予測・解析モデル]"
https://api.metamind.io/v1/vision/predict

14. 14 | (c)2017 Salesforce
←この画像をFoodImageClassifierモデルを使って予測・解析した結果
実⾏行行結果として受け取るJSON
{"probabilities":
[
{"label":"tomato","probability":0.97663295},
{"label":"persimmon","probability":0.01534434},
{"label":"tomato_sauce","probability":0.003616338},
{"label":"tomato_soup","probability":0.0012611124},
{"label":"ketchup","probability":6.7350786E-­‐4}
],
"object":"predictresponse"}

15. 15 | (c)2017 Salesforce
REST API: ⼀一般的なWebサービス利利⽤用と同じやり⽅方で画像認識識AIを扱える
Einstein Vision の利利⽤用の仕⽅方
Einstein Vision
解析
(仕分け)
Food
Image
Classifier
General
Image
Classifier
インテリア
解析モデル
利利⽤用者
プリセット
独⾃自構築
トマト
97%
写真をデータに変換
認証トークンを取得
HTTPリクエストを作成
エンドポイントに送付
HTTPレスポンスを解析
JSONデータをわかりや
すいように変換
REST APIのエンドポイント(https://api.metamind.io/v1/vision/predict)
HTTPリクエスト
・OAuthトークン
・画像データ
・モデル指定
HTTPレスポンス
・解析結果
(JSON形式)
※この部分のUI・仕組みは要開発
特徴①: APIを通して利利⽤用するクラウドサービス

16. 16 | (c)2017 Salesforce
Force.com / Heroku それぞれに提供
アプリ開発を⽀支援するライブラリやサンプル
Force.com: APEXクラス / サンプルコード Heroku: Add-‐‑‒ons / サンプルアプリ
Ø https://metamind.readme.io/docs/apex-‐‑‒qs-‐‑‒get-‐‑‒the-‐‑‒code
クラス 内容
JWT 認証⽤用として登録した証明書から
JWT(JSON Web Token)を⽣生成する
JWTBearerFlow JWTを使ってOAuthトークンを取得する
HttpFormBuilder 画像データをHTTPマルチパートフォーム
データに変換する
Vision Einstein Visionへのコールアウトをサポー
トする
VisionController サンプルVFページ⽤用のコントローラー
Ø https://elements.heroku.com/addons/einstein-‐‑‒vision
特徴②: Force.com / Heroku ⽤用のライブラリやサンプル

17. 17 | (c)2017 Salesforce
動きを⾒見見てみましょう①
サインアップ / トークンの取得 / curlコマンドでのアクセス

18. 18 | (c)2017 Salesforce
予測・解析に使⽤用するモデルにより、得られる結果が変わる
ラベル、モデル、データセットの関係
特徴③: 独⾃自の予測・解析モデルの容易易な作成
予測・解析
(仕分け)
モデル データセット
トレーニング
{
"label":"tomato",
"probability":0.97663295
〜～中略略〜～
}
ラベルと抽出された
特徴の集合体
ラベルとトレーニング
(学習)⽤用画像の集合体
ラベル
特徴適合度度
Einstein Vision

19. 19 | (c)2017 Salesforce
わずかな⼿手順でニーズに合わせたモデルを作成し利利⽤用可能に
モデル作成のステップ
③利利⽤用開始！②Einstein Vision へデータ投⼊入①ラベルの設計と画像の収集
⼊入⼒力力する画像に対して、得たい出⼒力力(ラベル)を定
義し、それぞれの⾒見見本となる画像を収集します。
収集した画像をディレクトリに整理理し、全部をま
とめたzipファイルを作成します。
作成したzipファイルをEinstein Visionへ投⼊入し、
モデル作成のトレーニングを指⽰示します。
トレーニングが成功すると、個別に振り出された
モデルIDを指定して、予測・解析が⾏行行えるように
なります。
ZIP
shogi.zip
Examples
cURL
curl
-­‐X
POST
-­‐H
"Authorization:
Bearer
<token>"
-­‐H
"Cache-­‐Control:
no-­‐cache"
-­‐H
"Content-­‐Type:
multipart/
form-­‐data"
-­‐F
"sampleContent=@IMG_0541.JPG"
-­‐F
"modelId=7OPMF26PJSFAVHTD2ZWIQU62SQ"
https://
api.metamind.io/v1/vision/predict
Result
Format
200
OK
/
400
Bad
Request
{"probabilities":[{"label":"narigin","probability":
0.8721041},{"label":"narikei","probability":
0.12663883},{"label":"narikyo","probability":
3.4748824E-­‐4},{"label":"kinsho","probability":
2.893734E-­‐4},{"label":"ryuma","probability":
2.540572E-­‐4}],"object":"predictresponse"}
Einstein Vision
モデル作成
(学習)
独⾃自の
モデル
データ
セット
modelId=7OPMF26PJSFAVHTD2ZWIQU62SQ
ラベル
サンプル画像
(学習データ)
特徴③: 独⾃自の予測・解析モデルの容易易な作成

20. 20 | (c)2017 Salesforce
動きを⾒見見てみましょう②
データセット作成⽤用画像 / トレーニング

21. 21 | (c)2017 Salesforce
• 例例えば、⼝口コミ型グルメサイト。利利⽤用者が投稿する画像を4種類(ラベル)に仕分ける業務プロセスを、
画像認識識AIを使って⾃自動化。
• この画像認識識AIの予測・解析モデルは、4ラベルのどれの可能性が⾼高いかを出⼒力力するのみで良良い。
多くのアプリが得たい画像認識識の予測・解析結果はそれぞれ独⾃自のもの
なぜ独⾃自の予測・解析モデルが重要なのか？
解析
(仕分け)
独⾃自
モデル
Ø 料料理理
Ø メニュー
Ø 店舗(内観)
Ø 店舗(外観)
店舗(内観): 88%
料料理理: 96%

22. 22 | (c)2017 Salesforce
画像認識識AI機能を組み込んだアプリ開発に、専⾨門家を必要としない
• 画像認識識AIの仕組みやその構築・実装を熟知したエンジニアやデータサイ
エンティストなど
トライアルやPoCを容易易に実施し、結果を得ることができる
• 現在の技術⽔水準の確認、やりたいことを実現させるためには何が必要かの
⾒見見極めなど
Einstein Vision がもたらすメリット

23. Force.com / Heroku
からの利利⽤用
2

24. 24 | (c)2017 Salesforce
Force.com / Heroku それぞれに提供
(再掲)アプリ開発を⽀支援するライブラリやサンプル
Force.com: APEXクラス / サンプルコード Heroku: Add-‐‑‒ons / サンプルアプリ
Ø https://metamind.readme.io/docs/apex-‐‑‒qs-‐‑‒get-‐‑‒the-‐‑‒code
クラス 内容
JWT 認証⽤用として登録した証明書から
JWT(JSON Web Token)を⽣生成する
JWTBearerFlow JWTを使ってOAuthトークンを取得する
HttpFormBuilder 画像データをHTTPマルチパートフォーム
データに変換する
Vision Einstein Visionへのコールアウトをサポー
トする
VisionController サンプルVFページ⽤用のコントローラー
Ø https://elements.heroku.com/addons/einstein-‐‑‒vision
特徴②: Force.com / Heroku ⽤用のライブラリやサンプル

25. 25 | (c)2017 Salesforce
A) 提供されているライブラリの内容
B) Force.comへの実装
C) サンプル Visualforce Page デモ / 内部構造
Force.com
動きを⾒見見てみましょう③

26. 26 | (c)2017 Salesforce
A) Einstein Vision Add-‐‑‒ons の追加
B) Node.js サンプルアプリのデプロイ
C) サンプルアプリのデモ / 内部構造
Heroku
動きを⾒見見てみましょう④

27. 想定される利利⽤用シーンと
Einstein Vision の役割
3

28. 28 | (c)2017 Salesforce
• 摂取カロリーの記録。⾷食事の写真からカロリーの⽬目安を提⽰示し、記録を⽀支援する。
利利⽤用シーンに⾒見見るEinstein Visionの適⽤用範囲(例例1)
③修正した値を登録する②必要であれば値を修正する①⾷食事の写真を撮る
Einstein Vision
カロリーDB
ユーザー情報
記録DB
画像解析 カロリー検索索 記録
600 +-‐‑‒
kcal
登録
今⽇日は⼤大盛りを⾷食べたので
少し上⽅方修正
おそらくナポリタンですね
ナポリタンの平均的な
1⼈人前のカロリーを取得
ナポリタン
800 +-‐‑‒
kcal
登録
ナポリタン
Ø 現時点では、定⾷食の写真を撮り「ご飯が???kcal、お味噌汁が???kcal、ハンバーグが???kcalなので合計???kcal」とはできない。(「洋定⾷食なので???kcal」とは出来るかもしれない)
Ø また、⼤大きさの判定もできない。このため、調整の余地をユーザーに残し、あくまでも⼊入⼒力力を⽀支援するにとどまる。(それでも値を好きに⼊入⼒力力してもらうよりは精度度向上が⾒見見込める)
独⾃自モデル
開発アプリ

29. 29 | (c)2017 Salesforce
• 画像認識識AIはアプリケーション全体の中では⼀一機能。アプリケーション/サービスが為すべき⽬目的実現に
向けて、適したプラットフォームを使うことが肝要
利利⽤用シーンに⾒見見るEinstein Visionの適⽤用範囲(例例1)
会員 従事者
(トレーナー/アドバイザー)
スマホ
アプリ
スマホアプリ
バックエンド
会員管理理
ヘルスケア
⽀支援アプリ
データ
連携
Heroku Salesforce
Einstein
Vision
会員の⾷食事データをもとにしたヘルスケアサービスの仕組み全体例例
問い合わせ
管理理

30. 30 | (c)2017 Salesforce
• 旅⾏行行者のInstagramから写真を共有してもらい、その⼈人の趣味嗜好を選別、対象地域内のゆるキャラに例例
えてレコメンドを⾏行行う(○○占いなイメージ)
• 利利⽤用者に新たな気づきを与え、地域への回遊を促すとともに、アプリ利利⽤用時のデータを短いタイムラグで
可視化、協⼒力力企業・⾃自治体などに提供し、需要予測に役⽴立立てる
利利⽤用シーンに⾒見見るEinstein Visionの適⽤用範囲(例例2)
③イベント/グルメ/体験などのレコメンドを得る②候補から選ぶ①簡単な属性を⼊入⼒力力&Instagramへのアクセス許可
Einstein Vision
ゆるキャラ
ペルソナDB
イベント/グルメ/
活動情報DB
画像取得&
解析
ゆるキャラ判定
&情報検索索
レコメンド
情報検索索
Type A / Type D の適性が⾼高いです
ゆるきゃらの情報・特徴
を取得
Codey
ナパバレー出⾝身。美味しいもの
を⽇日夜探し求めるグルメな…
Hootie
他にもこんなキャラクターが
中華街巡り
4/16〜～30:熟練の案内⼈人が魅⼒力力…
Pier39 Seafo.. 地図アプリを起動
選択されたゆるキャラ情報と
⼊入⼒力力された属性情報を元に
レコメンド情報を抽出
独⾃自モデル
サンフランシスコといえば新鮮な
シーフード。なかでもオイスタ…
イベント
開発アプリ
性別:
年年代:
Instagram連携
⾒見見る
Instagram
認証
画像を取得
エリア:
アプリ利利⽤用履履歴
グルメ
協⼒力力企業・⾃自治体など
※このモデルは何とかして
作る必要がある

31. 各種仕様・参考資料料
2017年年5⽉月時点
4

32. 32 | (c)2017 Salesforce
主な仕様
分類 項⽬目 内容
データセット ローカルのzipファイルをアップロード • ファイルサイズ最⼤大50MB
• 20MB以上の場合は認証不不要URLによる取得を推奨
URLでzipファイルを取得 • ファイルサイズ最⼤大1GB
• 1GB以上のサンプル画像をアップロードしたい場合は、複数zipファイルに分割し、PUTコマンドによ
るサンプル画像の追加を使⽤用する
• URLはダイレクトリンクのみ対応
データセット名 • zipファイルのファイル名をそのまま使⽤用 / 最⼤大100⽂文字 / 英数半⾓角⽂文字のみ
zipファイル構造 • 正しい構造をしている必要がある(サブディレクトリや画像ファイル以外が含まれているとデータセッ
ト作成がエラーになる)
データセットのサンプル画像数 • 最⼩小40
データセットの内容を変更更した場合 • 予測・解析モデルの再作成が必要
ラベル ラベル名 • ディレクトリ名をそのまま使⽤用 / 最⼤大20⽂文字 / 半⾓角英数のみ
• 21⽂文字以上の場合は先頭20⽂文字のみ使⽤用される
データセットのラベル数 • 最⼩小2 / 最⼤大250
ラベルのサンプル画像数 • 最⼩小12〜～13 (トレーニングの際のテストデータ選別条件により変化)
独⾃自の予測・解析モデルを作るには:
• データセット全体で40枚以上のサンプル画像 && 2つ以上のラベル && ラベルごとに12〜～13枚以上のサンプル画像

33. 33 | (c)2017 Salesforce
主な仕様
分類 項⽬目 内容
サンプル画像 サンプル画像名 • ファイル名をそのまま使⽤用 / 最⼤大100⽂文字(拡張⼦子込み) / 半⾓角英数のみ
• 101⽂文字以上の場合は先頭100⽂文字のみ使⽤用される
• ファイル名に空⽩白が含まれる場合は、空⽩白が削除されて登録される
画像仕様 • 最⼤大サイズ: 1MB / 最⼤大ピクセル数: 縦横2,000 / サポート形式: PNG,JPG,JPEG
サンプル画像の追加 • zipファイルでデータセットを作成した場合、サンプル画像の追加はzipファイルで⾏行行わなければなら
ない
同⼀一サンプル画像名＆同⼀一内容 • 同⼀一ディレクトリ内に、ファイル名と内容が全く同じ複数のファイルが存在する場合は、最初の1画
像のみがアップロードされる
予測・解析 画像仕様 • 最⼤大サイズ: 1MB / 最⼤大ピクセル数: 縦横2,000 / サポート形式: PNG,JPG,JPEG
• Base64変換を⾏行行う際にファイルサイズが⼤大きくなるので、ディスク上のファイルサイズは700KB程
度度を⽬目安にする

34. 34 | (c)2017 Salesforce
モデル作成におけるベストプラクティス
項⽬目 内容
サンプル画像数 • 1データセット: 1,000以上
• 1ラベル: 100以上
• ラベルごとのサンプル画像数を揃える
サンプル画像種類 • 種類・内容ともにバリエーションを豊富に
• カラー / ⽩白⿊黒 / ぼやけている / 他の何かと⼀一緒に写っている / ⽂文字の有無
• 例例えば”buildings”のラベルに対して、様々なスタイル(Asian,Medieval,Renassance,Modernなど)のサンプル
画像を⽤用意
ラベルが2つのモデルを作る場合 • ⽚片⽅方のラベルのサンプル画像と同様のイメージのサンプル画像をもう⼀一⽅方のラベルに⼊入れる
• 例例えばラベル1が「オレンジ」の場合、ラベル2には「グレープフルーツ、タンジェリン、レモン、その他柑橘
類」を含める
ラベルの親⼦子関係に注意 • 例例えば”Fish”と”Salmon”を⾒見見分けるようなモデルはうまく機能しない

35. 35 | (c)2017 Salesforce
参考URL
項⽬目 内容
Einstein Vision ドキュメント https://metamind.readme.io/docs/
Heroku アドオン https://elements.heroku.com/addons/einstein-‐‑‒vision
Heroku アドオン ドキュメント https://devcenter.heroku.com/articles/einstein-‐‑‒vision#provisioning-‐‑‒the-‐‑‒add-‐‑‒on
Einstein Vision Support FAQs https://help.salesforce.com/articleView?id=Einstein-‐‑‒Vision-‐‑‒Support-‐‑‒FAQs&language=en_̲US&type=1

36. Thank Y u