SlideShare a Scribd company logo
2023/1/17(火)
JAWS-UG AI/ML支部
深江 健士
Amazon Comprehendを用いた
インテリジェントなドキュメント処理
JAWS-UG AI/ML支部 #15
•名前
深江 健士( Takeshi Fukae )
•所属
JAWS-UG AI/ML支部(運営メンバー)
•業務内容
金融系システムのインフラエンジニア
保険/共済領域におけるクラウドCoEに所属
顧客提案や技術支援、クラウド人財の育成に従事
•好きなAWSサービス
Amazon S3、Amazon EC2、Amazon SageMaker
Who am I ?
#jawsug̲aiml
Takeshi Fukae
2
1. Amazon Comprehendとは
2. Amazon Comprehendを使ってみよう!
3. 感想/気づいた注意点
4. おわりに
3
Agenda
1.Amazon Comprehendとは
4
✓機械学習を使用して、テキストからインサイトや関係性を発見するための自然言語(NLB)サービス
✓Custom Entity Recognition、カスタム分類、キーフレーズ抽出、感情分析、エンティティ認識などの
API を使用することにより、お使いのアプリケーションに自然言語処理を簡単に統合できる
5
1.Amazon Comprehendとは
1-1.Amazon Comprehendの特徴
6
1.Amazon Comprehendとは
1-2.AWS re:Invent 2022 速報!!
[新機能]
Amazon Comprehend for IDP を使用して
PDFやWord ドキュメント、画像の処理が可能になりました!
7
1.Amazon Comprehendとは
1-2.AWS re:Invent 2022 速報!!
[仕組み]
Amazon Comprehend はドキュメント処理 API を提供して、簡単に大規模なドキュメント処理を行う。
(従来)
PDFや画像に対してAmazon ComprehendでNLP処理を行うために、事前にテキストの抽出が必要。
(今回のアップデート)
最初にテキストを抽出する必要なく、Amazon Comprehend からテキストの分類や抽出が直接可能に!
2.Amazon Comprehendを
使ってみよう!
8
9
2.Amazon Comprehendを使ってみよう!
2-1.概要
今回は、workshop sudioの「Intelligent Document Processing with AWS AI Services」を行います。
次頁以降で『文書分類→文書抽出→文書抽出とエンリッチメント→レビューと検証』のそれぞれの処理の流れを
説明します。
10
2.Amazon Comprehendを使ってみよう!
2-2.文書分類
Amazon Textract を使用して、最初にドキュメントからテキストを抽出し、次にそれらにラベルを付けてから、
データを使用して Amazon Comprehend カスタム分類子をトレーニングします。
カスタム分類子を使用して Amazon Comprehend リアルタイム エンドポイントを作成し、ドキュメントを
分類します。
11
2.Amazon Comprehendを使ってみよう!
2-3.文書抽出
Amazon Textract は、スキャンしたドキュメントからテキスト、手書き、データを自動的に抽出する
機械学習 (ML) サービスです。フォームやテーブルからデータを識別、理解し、抽出します。
<半構造化データ抽出>
<構造化データ抽出>
<Textractクエリによる抽出>
<非構造化データ抽出> <身分証明書の抽出>
<請求書と領収書の抽出>
12
2.Amazon Comprehendを使ってみよう!
2-4.文書抽出とエンリッチメント
独自のエンティティリストを使用してAmazon Comprehend Custom Entity Recognizerを
トレーニングし、ドキュメントからそれらのエンティティを抽出できるようにします。
次に、トレーニングしたモデルを使用して、Custom Entity Recognizerでエンドポイントを作成し、
抽出したエンティティをファイル保存し、さらなる分析のためにS3へアップロードします。
13
2.Amazon Comprehendを使ってみよう!
2-5.文書のレビューと検証
Amazon Augmented AI(以降、Amazon A2Iと記載)を使用すると、ML予測の人間によるレビューに
必要なワークフローを簡単に構築できます。
Amazon A2Iは、コンテンツのモデレーションやドキュメントからのテキスト抽出など、一般的な機械学習のユース
ケースに人間が組み込まれているため、Amazon RekognitionとAmazon Textractからの予測を簡単にレビューで
きます。
3.感想/気づいた注意点
14
3.感想/気付いた注意点
15
ビジネス要件に合わせた自然言語処理(NLP)が可能!
✓ 業界特有のドキュメントカテゴリーや用語を正確に取得するためのカスタムモデルを作成する
✓ ユーザが作成、アクセスするデータを用いて専用の機械学習モデル、エンドポイントを使用する
他サービスとの組み合わせにより活用する幅が広がる!
✓ 言語検出、感情分析、キーフレーズ抽出、エンティティ認識、公文解析などの通して、
様々なビジネスの洞察に活用ができる
例)
・顧客の声を把握し、効果的なプロモーションを実施
・顧客満足度スコアにより、満足度が低い原因を特定し、対策を実施
・Amazon Connectと組み合わせ、顧客応対情報から感情を可視化し、CX向上に寄与
4.おわりに
16
ご清聴頂きありがとうございました。
[参考文献]
AWS re:Invent 2022アップデート速報 AWS Black Belt Online Seminar
https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt̲2022̲reInvent2022digest̲1202̲v1.pdf
インテリジェントドキュメント処理のための Amazon Comprehend
https://aws.amazon.com/jp/comprehend/idp/
NEW ― Amazon Comprehend for IDP を使用して PDF、ワードドキュメント、および画像を処理
https://aws.amazon.com/jp/blogs/news/now-process-pdfs-word-documents-and-images-with-amazon-comprehend-for-idp/
Intelligent Document Processing with AWS AI Services
https://catalog.workshops.aws/intelligent-document-processing/en-US
4.おわりに
17

More Related Content

Similar to 【AI:ML#15】Amazon Comprehendを用いたインテリジェントなドキュメント処理.pdf

[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
Amazon Web Services Japan
 
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデートAmazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Web Services Japan
 
[CTO Night & Day 2019] CTO のためのセキュリティ for Seed ~ Mid Stage #ctonight
[CTO Night & Day 2019] CTO のためのセキュリティ for Seed ~ Mid Stage #ctonight[CTO Night & Day 2019] CTO のためのセキュリティ for Seed ~ Mid Stage #ctonight
[CTO Night & Day 2019] CTO のためのセキュリティ for Seed ~ Mid Stage #ctonight
Amazon Web Services Japan
 
JAWS-UG 情シス支部 #3
JAWS-UG 情シス支部 #3JAWS-UG 情シス支部 #3
JAWS-UG 情シス支部 #3
Nobuhiro Nakayama
 
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
Yoshitaka Seo
 
AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
AI & Deep Learning on AWS at CTO Night&Day 2016 WinterAI & Deep Learning on AWS at CTO Night&Day 2016 Winter
AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
Yasuhiro Matsuo
 
エンタープライズ向けクラウドサービスにおける ID 連携の有用性
エンタープライズ向けクラウドサービスにおける ID 連携の有用性エンタープライズ向けクラウドサービスにおける ID 連携の有用性
エンタープライズ向けクラウドサービスにおける ID 連携の有用性
Koji Asaga
 
KIXS Vol.000: Microsoft Cognitive Services 入門 & Azure サーバー管理ツール
KIXS Vol.000: Microsoft Cognitive Services 入門 & Azure サーバー管理ツールKIXS Vol.000: Microsoft Cognitive Services 入門 & Azure サーバー管理ツール
KIXS Vol.000: Microsoft Cognitive Services 入門 & Azure サーバー管理ツール
Ayako Omori
 
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
schoowebcampus
 
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
schoowebcampus
 
逆襲の Well-Architected Framework (Alternative Architecture DOJO #5) 20201118
逆襲の Well-Architected Framework (Alternative Architecture DOJO #5) 20201118逆襲の Well-Architected Framework (Alternative Architecture DOJO #5) 20201118
逆襲の Well-Architected Framework (Alternative Architecture DOJO #5) 20201118
Masanori KAMAYAMA
 
Container x AI
Container x AIContainer x AI
Container x AI
Tsukasa Kato
 
Aws IoT Security101
Aws IoT Security101Aws IoT Security101
Aws IoT Security101
Shogo Matsumoto
 
セグメント?クラスタリング? ユーザーを分類し、サービスの改善に活かすポイント
セグメント?クラスタリング? ユーザーを分類し、サービスの改善に活かすポイントセグメント?クラスタリング? ユーザーを分類し、サービスの改善に活かすポイント
セグメント?クラスタリング? ユーザーを分類し、サービスの改善に活かすポイント
Naoto Tamiya
 
JAWS-UG IoT専門支部 Amazon AI
JAWS-UG IoT専門支部 Amazon AIJAWS-UG IoT専門支部 Amazon AI
JAWS-UG IoT専門支部 Amazon AI
Jun Ichikawa
 
【de:code 2020】 学生諸君! Azure であそぼう! ~Microsoft の AI を自作アプリに取り入れるまで~
【de:code 2020】 学生諸君! Azure であそぼう! ~Microsoft の AI を自作アプリに取り入れるまで~【de:code 2020】 学生諸君! Azure であそぼう! ~Microsoft の AI を自作アプリに取り入れるまで~
【de:code 2020】 学生諸君! Azure であそぼう! ~Microsoft の AI を自作アプリに取り入れるまで~
日本マイクロソフト株式会社
 
60分でわかった気になるMicrosoft Azure
60分でわかった気になるMicrosoft Azure60分でわかった気になるMicrosoft Azure
60分でわかった気になるMicrosoft Azure
Kazumi Hirose
 
スタートアップならおさえておきたいAWS(Amazon Web Services)入門 ~メディア露出時のピーク対策編~ 先生:高山 博史・今井 雄太
スタートアップならおさえておきたいAWS(Amazon Web Services)入門 ~メディア露出時のピーク対策編~ 先生:高山 博史・今井 雄太スタートアップならおさえておきたいAWS(Amazon Web Services)入門 ~メディア露出時のピーク対策編~ 先生:高山 博史・今井 雄太
スタートアップならおさえておきたいAWS(Amazon Web Services)入門 ~メディア露出時のピーク対策編~ 先生:高山 博史・今井 雄太
schoowebcampus
 
jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207
Toshiyuki Konparu
 
20130615 オンプレ\(^o^)/クラウドにモヤモヤしてる人が押さえておくべき3つのこと
20130615 オンプレ\(^o^)/クラウドにモヤモヤしてる人が押さえておくべき3つのこと20130615 オンプレ\(^o^)/クラウドにモヤモヤしてる人が押さえておくべき3つのこと
20130615 オンプレ\(^o^)/クラウドにモヤモヤしてる人が押さえておくべき3つのこと
真吾 吉田
 

Similar to 【AI:ML#15】Amazon Comprehendを用いたインテリジェントなドキュメント処理.pdf (20)

[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
 
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデートAmazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
 
[CTO Night & Day 2019] CTO のためのセキュリティ for Seed ~ Mid Stage #ctonight
[CTO Night & Day 2019] CTO のためのセキュリティ for Seed ~ Mid Stage #ctonight[CTO Night & Day 2019] CTO のためのセキュリティ for Seed ~ Mid Stage #ctonight
[CTO Night & Day 2019] CTO のためのセキュリティ for Seed ~ Mid Stage #ctonight
 
JAWS-UG 情シス支部 #3
JAWS-UG 情シス支部 #3JAWS-UG 情シス支部 #3
JAWS-UG 情シス支部 #3
 
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
 
AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
AI & Deep Learning on AWS at CTO Night&Day 2016 WinterAI & Deep Learning on AWS at CTO Night&Day 2016 Winter
AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
 
エンタープライズ向けクラウドサービスにおける ID 連携の有用性
エンタープライズ向けクラウドサービスにおける ID 連携の有用性エンタープライズ向けクラウドサービスにおける ID 連携の有用性
エンタープライズ向けクラウドサービスにおける ID 連携の有用性
 
KIXS Vol.000: Microsoft Cognitive Services 入門 & Azure サーバー管理ツール
KIXS Vol.000: Microsoft Cognitive Services 入門 & Azure サーバー管理ツールKIXS Vol.000: Microsoft Cognitive Services 入門 & Azure サーバー管理ツール
KIXS Vol.000: Microsoft Cognitive Services 入門 & Azure サーバー管理ツール
 
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
 
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
 
逆襲の Well-Architected Framework (Alternative Architecture DOJO #5) 20201118
逆襲の Well-Architected Framework (Alternative Architecture DOJO #5) 20201118逆襲の Well-Architected Framework (Alternative Architecture DOJO #5) 20201118
逆襲の Well-Architected Framework (Alternative Architecture DOJO #5) 20201118
 
Container x AI
Container x AIContainer x AI
Container x AI
 
Aws IoT Security101
Aws IoT Security101Aws IoT Security101
Aws IoT Security101
 
セグメント?クラスタリング? ユーザーを分類し、サービスの改善に活かすポイント
セグメント?クラスタリング? ユーザーを分類し、サービスの改善に活かすポイントセグメント?クラスタリング? ユーザーを分類し、サービスの改善に活かすポイント
セグメント?クラスタリング? ユーザーを分類し、サービスの改善に活かすポイント
 
JAWS-UG IoT専門支部 Amazon AI
JAWS-UG IoT専門支部 Amazon AIJAWS-UG IoT専門支部 Amazon AI
JAWS-UG IoT専門支部 Amazon AI
 
【de:code 2020】 学生諸君! Azure であそぼう! ~Microsoft の AI を自作アプリに取り入れるまで~
【de:code 2020】 学生諸君! Azure であそぼう! ~Microsoft の AI を自作アプリに取り入れるまで~【de:code 2020】 学生諸君! Azure であそぼう! ~Microsoft の AI を自作アプリに取り入れるまで~
【de:code 2020】 学生諸君! Azure であそぼう! ~Microsoft の AI を自作アプリに取り入れるまで~
 
60分でわかった気になるMicrosoft Azure
60分でわかった気になるMicrosoft Azure60分でわかった気になるMicrosoft Azure
60分でわかった気になるMicrosoft Azure
 
スタートアップならおさえておきたいAWS(Amazon Web Services)入門 ~メディア露出時のピーク対策編~ 先生:高山 博史・今井 雄太
スタートアップならおさえておきたいAWS(Amazon Web Services)入門 ~メディア露出時のピーク対策編~ 先生:高山 博史・今井 雄太スタートアップならおさえておきたいAWS(Amazon Web Services)入門 ~メディア露出時のピーク対策編~ 先生:高山 博史・今井 雄太
スタートアップならおさえておきたいAWS(Amazon Web Services)入門 ~メディア露出時のピーク対策編~ 先生:高山 博史・今井 雄太
 
jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207
 
20130615 オンプレ\(^o^)/クラウドにモヤモヤしてる人が押さえておくべき3つのこと
20130615 オンプレ\(^o^)/クラウドにモヤモヤしてる人が押さえておくべき3つのこと20130615 オンプレ\(^o^)/クラウドにモヤモヤしてる人が押さえておくべき3つのこと
20130615 オンプレ\(^o^)/クラウドにモヤモヤしてる人が押さえておくべき3つのこと
 

【AI:ML#15】Amazon Comprehendを用いたインテリジェントなドキュメント処理.pdf