Eggplant Functional - Lesson 3 (Japanese slides)

Eggplant Functional
レッスン 3
OCRの利用
© Copyright 2019 Eggplant

An Overview
• OCR利用でのテキスト検索／テキスト読み取り
• 検索範囲を指定してOCR検索
• 画像検索とOCR検索での比較

What Is OCR?
• 解釈アルゴリズムによる、画面上の文字を解読
• テキストは、指定された言語の辞書定義と比較
• 何百もの限度をサポート
Optical Character Recognition

A Simple OCR Search
• OCR検索の構文は、画像検索での参照可能
• インラインで宣言されているテキストプロパティを参照

A Simple OCR Read
• OCRを使用し、画面からテキスト読み取りが可能
• 次レッスンで詳細説明実施する。

OCR Search Properties
OCRのパフォーマンスと精度を向上方法
・ searchRectangleプロパティを追加
・ searchRectangleグローバルプロパティの使用

More OCR Search Properties
・CaseSensitiveプロパティを使用し、ケースマッチングを制御（適用／無視）
・コントラストプロパティを使用し、難しいテキスト処理可能
（低コントラスト、小さいフォントサイズなどの処理）

More OCR Search Properties
・英語以外の言語の場合は、Languageプロパティの指定が必要
・各モバイルデバイスにおいて、画面サイズと解像度が異なるため、
使用するデバイスのDPIと一致するようにDPIを設定して、OCRの信頼性を高める必要がある。

・デフォルトでは、Eggplant Functionalは画像検索中に画面の全領域を検索
・SearchRectangleグローバルプロパティを変更し、
検索する画面の領域を制限することが可能
2つの主要なアプローチ
•Set the SearchRectangle with ‘hard’ coordinates
•Set the SearchRectangle with images
Using Search Rectangles(検索範囲の指定)

the SearchRectangle: Hard Coordinates
ターゲットUI要素が安定している場合に使用するアプローチ
ヒント：Viewerウィンドウから座標情報をコピーし、スクリプトに貼り付ける

the SearchRectangle: Images
ターゲットのUI要素が安定していない場合に使用するアプローチ
ヒント：2つの異なるホットスポットで同じピクセル配列を使用する

OCR and Hot Spots
• ホットスポットは、画像の範囲指定をする際の基準点です。(デフォルト位置は中央)
• ImageLocation（）関数を使用してホットスポットの場所にアクセスする。
• locationOCR検索のホットスポットを使用して、ホットスポットの場所に関連するアクションを実行できる。

画像検索 vs OCR検索
OCR検索のパフォーマンスと信頼性は、アプリケーションにより異なる。
OCRは通常、最初により多くのスクリプト作成作業を必要としますが、
テキスト間の違い（フォントサイズ、書体など）に敏感ではない。
一般的に、テキストのいくつかの異なる外観のみを処理する必要がある場合は、
画像検索を使用する。多くの異なる外観の場合は、OCRを使用する。
テキストが非常に小さいか、読みにくい書体の場合、OCRは十分に信頼できない
可能性がある。 (画像検索推奨)
画像を適切にキャプチャできない場合は、OCR検索を利用する。
たとえば、数百の異なる顧客住所の表示を検証する必要がある場合など。
OCR検索を頻繁に使用する場合は、SearchRectangleを設定してパフォーマンスを
最適化し、精度を向上させる。

RemoteClipboard() Function
・” RemoteClipboard（）” 関数は、SUTのクリップボードの内容を返す。
・キーボードショートカットのコピーを使用して、テキストをクリップボードに入力する。
・テキストの場所をダブルクリックすることは、コピーする前にテキストを選択するもう1つの良い方法である。

Using the RemoteClipboard() Return
・変数に”RemoteClipboard（）”の戻り値を入力し、ロジックを使用して変数の内容を検証

ReadText() Function
・”ReadText() “は、OCRを利用して画面からテキストを読み取る。
・”Pass ReadText()”は、point もしくは rectangleでの範囲指定が可能。

Using the ReadText() Return
・”ReadText() “は、OCRを利用して画面からテキストを読み取る。
・”Pass ReadText()”は、point もしくは rectangleでの範囲指定が可能。

ReadText() Properties
・多くの場合、プロパティ値を”ReadText（）”に渡して、返されるテキスト値を制限
・多くのOCRプロパティを使用して、”ReadText（）”の精度を向上可能

RemoteClipboard() vs. ReadText()
・可能であれば、”ReadText（）”の代わりに”RemoteClipboard（）”を使用する
- “RemoteClipboard()”は、より優れたパフォーマンスと信頼性を提供
・テキストの選択やコピーをサポートしていないコンテキスト（AndroidやiOSなど）では、
“ReadText（）”関数を使用する

演習: OCR
サマリ:
• OCRを使用して画面外のテキストを読み取る。
• OCRを使用して画面上のテキストに対してマウスアクションを実行する。
• RemoteClipboardを使用する。

演習: OCR
演習：
• Web browserを開く。
• 以下へアクセスする。 http://nopcommerce.eggplant.io
• Select the “Electronics”カテゴリ内の“Camera & photo” サブカテゴリを選択する。
- OCRのみを使用する。
• 製品「Apple iCam」の価格を確認する
- OCRのみを使用する。
• RemoteClipboardを使用して価格を読み取り、ログに記録する。

Eggplant Functional - Lesson 3 (Japanese slides)

Recommended

Recommended

More Related Content

More from Eggplant

More from Eggplant (20)

Recently uploaded

Recently uploaded (9)

Eggplant Functional - Lesson 3 (Japanese slides)

Editor's Notes